一句话定义
弹性推理（Elastic Inference） 指同一套模型能在不同算力的设备上运行，并按设备能力自动调整实际参与计算的部分——算力弱的设备少算一些，算力强的设备多算一些。
与之相对的做法是「一档硬件训一个模型」：手机一个、盒子一个、服务器一个。硬件一多，模型数量就爆炸，训练和评测都要乘以份数。
它解决什么问题
端侧硬件是碎的。同一个业务，可能要跑在安卓收银机、RK 边缘盒子、x86 工控机、甚至服务器上。如果为每一档单独训模型：
| 代价 | 具体表现 |
|---|---|
| 训练成本 | 每档都要训一遍、评一遍，改一次算法要乘 N |
| 维护成本 | N 份模型各自有版本、各自的发版与回滚 |
| 效果不一致 | 同一件事在不同设备上表现不同，问题难复现 |
弹性推理把「按设备选模型」变成「按设备选计算量」，一份权重覆盖多档算力。
关键做法
- 宽高可伸缩：推理时只走网络的一部分通道或层，用「算多少」控制延迟。
- 早退（Early Exit）：简单样本在中间层就给出结果，不再往后算——门店里多数商品是常见品类，这条省得最多。
- 按需选择子网络：一次训练产出多个可用的子配置，部署时按设备挑。
用不上的时候
- 所有设备算力本来就差不多（比如统一采购同一型号盒子），弹性带来的复杂度不划算。
- 设备算力高到不需要省（此时直接跑满即可）。
参考
2026 年出现了把视觉基础模型做成跨设备弹性部署的研究方向，例如 arXiv 上的 EV-JEPA: Elastic V-JEPA for Any Device and Cross-Device Inference（编号 2610.14324）。
相关词条
火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。