一句话定义
推理能效（Inference Energy Efficiency） 指完成一次推理实际消耗的能量——通常折算成「处理一帧、一个请求耗多少焦耳」，或者「一瓦电能跑多少帧」。
它和另外两个常用指标不是一回事：
| 指标 | 回答的问题 |
|---|---|
| 精度 | 结果对不对 |
| 延迟 | 一次推理要多久 |
| 能效 | 这次推理花了多少电、变成多少热 |
一台设备可以又快又费电，也可以慢但省电。端侧设备真正卡住的地方，经常是后者。
它解决什么问题
门店里的收银一体机、边缘盒子，多数是无风扇设计：热量只能靠外壳和内部金属件散出去。这带来两条硬约束：
- 热量会堆积。芯片温度升到温控点就自动降频，外在表现是「刚开机挺快，跑一阵越来越慢」。
- 高温影响寿命。长时间在高温下运行，电容、存储、电池的衰减都更快。
所以门店要的往往不是「最快」，而是「一整天稳定地跑」。能效决定的正是这件事：做同样的活，发热越少，越不容易碰到降频线。
关键做法
- 先测量，再优化。 能效没法从参数量和位宽推出来。要在固定输入、固定批次的条件下同时记录功耗与耗时，得到的数字才可比。
- 看能耗花在哪儿。 推理耗电不只在乘加运算。数据在内存和芯片之间来回搬运，往往占掉相当大一块，而这一块与算子类型、张量形状、批处理方式都有关。
- 量化改的是整套流水线的能耗结构。 低位整数在多数端侧芯片上有专用通道，单次运算更省；但若某个算子在目标芯片上没有对应实现，退回通用路径反而更费电。
- 能效要和延迟一起看。 只追最低位宽，可能拿到一个既没更快、也没更省电的模型。
用不上的时候
- 设备常供插电、有主动散热（机架、带风扇的工控机）时，能效的优先级排在延迟和精度之后。
- 负载很轻。一天只跑几百次推理的设备，省电省不到值得优化的程度，这时更该关心启动时间和内存占用。
- 没有测量条件。拿不到真实功耗数据时，「能效」很容易退化成纸面推算，不如不写。
参考
- arXiv Towards Green AI: Evaluating Energy Efficiency for Quantized LLM Inference（编号 2610.17531）：把量化带来的能耗变化当作可评测的对象，而不是默认「位宽低就等于省电」。
延伸阅读
- 收银机为什么越跑越烫、越跑越慢 —— 这篇讲的是这件事对门店意味着什么。
相关词条
火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。