激活值码本编码

一句话定义

激活值码本编码指在设备之间传递中间结果（激活值）之前，先用一个预先学好的码本把它编码成少量索引，接收方按索引查表得到所需数据，而不是传输原始张量。

码本本身就是一个向量量化器（Vector Quantizer，VQ）：把高维向量映射到有限个「代表向量」上，传输时只传代表向量的编号。

它解决什么问题

把一个 Transformer 按序列维度切开、分到几台设备上跑（序列并行），每层都要在设备之间交换激活值。在门店、园区这类商品级带宽下，这段交换往往比计算本身更耗时，学界把这叫通信受限。

已有压缩方案能减少传输量，但留了一个结构性瓶颈：收到的数据还得先做 key/value 投影，才能进入注意力计算。计算被排在通信后面，一段等一段。

关键做法

arXiv 上的 TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference（编号 2610.22435）的做法是把这段「等」去掉：

在每层 post-attention 残差处放一个 VQ。 这里正是层间激活的出口。
预先算好按码本索引排列的 key/value 表。 投影这一步在部署阶段就做完了。
传输只走索引。 接收方拿索引直接查表得到 key/value，跳过下游投影计算，通信与计算可以重叠。
码本层次化。 用层次聚类把码本组织成多分辨率结构，运行时可以调整传输码率，不用重新训练。
两种工作模式。 一种优先精度，一种在精度和效率之间折中（配合 buffer 兼容的量化）。

论文报告：在 ViT-Base（ImageNet-1K、CIFAR-100）和 ViViT-B（UCF-101）上，相对此前最好的 VQ 分布式推理框架，精度最高高 1.89 个百分点、端到端最高 1.27 倍加速；相对不做压缩的序列并行，通信开销最多降低 22624 倍。

常见误区

「22624 倍就是快两万多倍。」 那是通信量的比值。端到端加速是 1.27 倍——因为拿到数据之后还得算，通信只是其中一段。
「单机也用得上。」 用不上。同一块芯片内部传数据走片上网络和共享内存，不走这条路径。
「码本是通用的。」 码本跟模型、跟切分方式绑定，换模型或改切法都要重做。
「压缩比拉满最划算。」 码率越低精度越差，接收方查表也有开销。档位要按业务指标定，不是按压缩比定。

用不上的时候

通信本来就不是瓶颈的场合——单机多卡走高速互联，或者模型小到一层就能算完——这套东西带来的复杂度不划算。它真正针对的是「带宽普通、又想几台设备合跑一个模型」这类部署。

参考

arXiv:2610.22435，TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference（2026-10-15），在每层 post-attention 残差处放置 VQ，并预计算码本索引对应的 key/value 表。