一句话定义

端云协同推理（Collaborative Inference） 指把一个大模型切成两段：前几层放在门店设备上跑，后几层放在边缘服务器或云端跑，两边通过网络串起来完成一次推理。

关键差别在传什么：不是把原始摄像头画面传上去，而是传中间特征——一段已经压缩过的数值。

为什么切

端侧设备和云端各有一处短板，切分的意义是把两者的短板错开：

做法 卡在哪
全部放端侧 设备算力与内存有限，只能上小模型，精度有上限
全部放云端 每路视频持续上传，带宽和流量成本高，断网即停摆
端云切分 端侧承担前段（数据量大、单层算得快），云端承担后段（层数深、决定精度）

关键做法与约束

  • 切分点选在传输量最小的地方。切得靠前，中间特征张量大（分辨率还没降）；切得靠后，端侧又算不动。真实可用的切分点是少数几个，不是随便切。
  • 中间特征必须压缩。不压缩的话，它的带宽未必比编码后的视频小。常见做法是先降分辨率，再压到低位。
  • 两边算力要匹配。端侧算得快而云端排队，或者反过来，都会让快的一边空等。协同的瓶颈通常在等待，不在计算本身。
  • 用蒸馏把端侧那一段训好。arXiv 上的 HintKD（编号 2610.08412）让端侧部分借助云端的「提示」来训练，使它只看局部信息也能给出接近整模型的中间表示——这样切分带来的精度损失才可控。
  • 断网要有降级路径。协同依赖网络，门店网络波动时必须有本地兜底：降级为端侧小模型，或转人工收银。

常见误解

  • 中间特征天然保护隐私。不一定。特征图在特定条件下可以被反推回图像。隐私要靠设计——不落盘、不留存、只传必要部分——不能默认。
  • 切分点越靠后越好。越靠后，端侧要跑的层越多，可能根本跑不动。
  • 协同一定比纯端侧准。如果门店网络抖动严重，等待与重传造成的失败，体验可能比端侧小模型直接出结果更差。

参考

arXiv 论文 HintKD: Hint Knowledge Distillation for Bandwidth-Constrained Cloud-Edge Inference（编号 2610.08412），讨论的正是带宽受限条件下端云如何分工。

延伸阅读

相关词条

火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。