一句话定义

2 的幂量化（Power-of-Two Quantization，PoT） 指量化时不用等距分布的整数格点，而把权重限制成 ±2^e 这样的形式（e 取整数），相邻格点相差一倍。

好处很直接：乘以一个 2 的幂等价于移位；一组这样的权重做乘加，可以只用移位器和加法器完成，不需要真正的乘法器。这类数据通路通常被称为无乘法（multiplier-free）推理。

它解决什么问题

端侧推理里，线性层（全连接、卷积）的乘加操作占了很大一部分计算量和能耗。硬件上，一个乘法器的门数远多于一个加法器，芯片面积、功耗、时序都跟着上去。

对算力宽裕的设备这不是问题。但对靠 PoE 供电、无风扇、一颗低成本 SoC 跑几路视频的设备，乘法器是实打实的成本——它决定这块板子上能塞几个运算单元，也决定满载时会不会烫到降频。

PoT 的思路不是把模型改小，而是：既然本来就要量化，那就把格点选在乘法便宜的位置上。

关键做法

朴素 PoT 的问题在格点太粗。底数为 2 意味着相邻可选值差一倍，权重里那些小数值会被直接舍成 0，位宽一低精度就崩。

arXiv 上的 Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference（编号 2610.21257）把底数从 2 换成 √2，也就是「半个八度」的分数次幂格点，在保持纯整数移位加法通路的前提下做到 4 位权重。三个组成：

  • 分数次幂权重格点 + 均匀整数激活。 权重走 2 的幂次，激活仍用普通整数格点，两侧不必采用同一种量化方式。
  • 校准期的格点对齐。 把格点位置的微调吸收进每通道的静态缩放系数，推理时不多出一次运算。
  • 一个加法器的 √2 近似。 √2 倍无法靠单次移位实现，作者用一个加法器近似，近似误差在权重校准阶段通过「近似格点量化」吸收掉。

论文报告：Llama-3-8B 上 4 位权重 + 4 位激活，零样本常识推理相对朴素 PoT 基线提升 8.72%（相对值），与均匀整数基线只差 0.4 个百分点；结论在 7 个模型、3 种位宽上成立，并且可以和现有 PTQ 方法叠加。硬件侧的说法是，其处理单元的门数明显少于一个 4 位整数乘法器。

用不上的时候

  • 芯片本来就有高效的整数乘法单元。 主流端侧 NPU 把 INT8 乘加做成了标配，走 PoT 拿不到速度收益，反而多担一份精度风险。
  • 位宽不低。 8 位量化下格点粗的问题不明显，收益随之变小。
  • 「无乘法」不等于「更快」。 要看推理后端有没有对应的移位加法算子。没有的话编译器会把权重还原成普通乘法，白折腾一场。
  • 部署链路要跟着改。 非均匀格点意味着校准、算子实现、精度对齐都要单独验证，不是换一个权重文件就完事。

参考

arXiv:2610.21257，Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference（2026-10-15），提出 base-√2 的分数次幂权重格点，在 4 位权重下保持整数移位加法通路。

延伸阅读

相关词条

火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。