一句话定义

重建损失(Reconstruction Loss) 衡量量化后的数值和原始数值差了多少——把模型的输出(或某一层的激活值)重新算一遍,和量化前的结果比对,差得越小,说明量化后的模型越「像」原来的模型。

它是训练后量化(PTQ)里最常用的目标函数:不需要标注数据,只要一小批校准样本,就能比较不同缩放方案的好坏。

它解决什么问题

量化的难点是「怎么把有限的格子分好」。每一层、每个通道的数值范围都不一样,缩放系数定得合不合适,直接决定精度损失。要判断定得好不好,总得有个尺子。

重建损失就是这把尺子。它的优点是快、不需要标签:拿几十到上百张样本跑一遍,就能看出哪个方案更接近原模型。

为什么它不够用

问题在于,这把尺子量的是「像不像原模型」,而不是「业务上对不对」。

  • 它依赖校准样本。 重建损失是在你挑的那批样本上算出来的。样本里有哪些商品、什么光照、有没有堆叠,会直接决定结论偏向哪一边。
  • 压得越低未必越好。 arXiv 上有一篇工作(编号 2610.11226)的结论正是如此:一味把重建误差往下压,会在校准数据上用力过猛,反而伤害真实分布上的表现——论文标题直接写成「重建损失更低反而更糟」。
  • 量化的损失不是均匀分布的。 平均值上很小的一点差距,可能集中砸在某几个难品类上,而平均值看不出来。

关键做法

  • 把重建损失当筛选指标,不当验收指标。 用它快速砍掉明显坏掉的候选方案,最后仍要在真实业务数据上按品类、按场景评测。
  • 校准集和验收集分开。 拿同一批数据既调参又验收,等于自己给自己判分。
  • 校准集要覆盖真实难度。 除了标准光照下的单品,至少加入反光包装、商品堆叠、夜间光照这些已知的难例。

用不上的时候

  • 走**量化感知训练(QAT)**路线时,模型在训练过程中已经见过量化误差,最终效果由训练目标决定,重建损失只是中间的一个量。
  • 当现有方案的效果已经够用、也没有换硬件的计划时,不必为了压小重建误差反复调参——那点差异在门店的真实波动面前通常看不出来。

参考

  • arXiv When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization(编号 2610.11226)
  • arXiv FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization(编号 2610.14934):把目标定在「保持预测行为」而不是「保持数值接近」,与上一条是同一个思路。

延伸阅读

相关词条


火眼识别提供端侧视觉引擎与设备管理平台,相关方案见 火眼识别官网。