一句话定义

异构平台压缩评测指：固定模型和测试数据，只换压缩方法，然后把压缩后的模型分别放到从低算力边缘设备到通用处理器的一系列硬件上跑，同时记录精度、速度、体积三项指标，看哪种方法在哪些平台上站得住。

它评的不是「哪个压缩算法先进」，而是「在我要买的那几档设备上，哪种压缩划算」。

它解决什么问题

模型压缩的方法已经很多：量化、剪枝、知识蒸馏、低秩分解，还有各种组合。每种方法都能在自己的论文里给出漂亮的数字，但落到端侧部署时，有三个东西让这些数字无法直接比较：

  • 平台不一样。 同一个模型在带 NPU 的边缘盒子上和在通用 CPU 上，瓶颈完全不同：一个可能卡在算子支持，一个卡在内存带宽。压缩方法省下的那部分开销，未必是这台设备的瓶颈。
  • 指标互相拉扯。 压得越狠，精度越可能掉；算得越快，模型可能越大。只报一项，等于只报了对自己有利的那一栏。
  • 任务不一样。 图像分类、目标检测、时序预测对压缩的敏感度差别很大，在一个任务上排第一的方法，换个任务未必还在前面。

所以评测要做的，是把这三件事固定住：一批平台、一组指标、一个任务。

关键做法

arXiv 上有一篇 2026 年 10 月的工作（编号 2610.30228），做的就是这件事。它的设定值得拆开看：

  • 任务固定。 旋转机械的预测性维护，用真实工业数据集，模型是一个性能较高的卷积网络。
  • 只变压缩方法。 对比四种当前主流的压缩技术，其余条件不动。
  • 平台横跨九档。 从算力很紧的边缘设备，到通用处理器，再到高性能处理器，覆盖工业现场那种碎片化的硬件现状。
  • 三项指标一起排。 分类性能、推理速度、压缩比放在同一个排序里权衡，而不是单项冠军。
  • 结论是可核对的。 在这组设定下，知识蒸馏的综合表现最好：相对未压缩模型，精度只小幅下降（平衡 F 值 91.22%），体积减少 98.9%，并且在所有九台设备上都取得了超过 90% 的加速。

值得注意的是最后一条：加速是在所有平台上都成立的，这才叫跨平台结论。只在一台设备上快一倍，说明不了什么。

用不上的时候

  • 论文的结论不能当通用结论。 它赢在「旋转机械预测性维护 + 卷积网络 + 这九台设备」这个组合上。换成商品识别、换成检测网络、换成另一批芯片，排名要重新测。引用它的时候，引用的是方法，不是冠军名字。
  • 加速比不是时延。 90% 是相对未压缩模型的比值。未压缩模型本身如果在这个平台上跑 200 毫秒，压缩完仍然不是实时。绝对值要自己测。
  • 平台清单要和采购清单对齐。 评测里没有你实际要买的那颗芯片，那这份评测对你的参考价值有限。硬件碎片化正是这个领域的常态，评测覆盖不到的地方就是风险。
  • 别把蒸馏当成「一定更好」。 蒸馏要教师模型、要训练流程、要调参，工程成本比量化高。设备只有一两档、算力又不紧的时候，这笔投入未必收得回来。

参考

arXiv:2610.30228，Benchmarking Model Compression Techniques Across Heterogeneous Edge Platforms: A Predictive Maintenance Use Case for Rotating Machinery（2026-10-21）。四种压缩技术在真实旋转机械数据集上对比，跨九台异构平台评测，以分类性能、推理速度、压缩比三项联合排序；知识蒸馏方案在全部设备上取得 90% 以上加速、98.9% 体积缩减，平衡 F 值 91.22%。

延伸阅读

相关词条

火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。