一句话定义

端侧推理服务指模型以常驻进程的形式待在设备上，持续对外提供能力（识别、语音、问答），而不是被调用一次、跑完就退出。

判断一件事是不是做成了「服务」，看四个条件：

  1. 设备重启后能自己起来；
  2. 请求来了能在可接受的时间内回应；
  3. 坏了能恢复；
  4. 版本能更新。

四个都满足，才算上线；只满足第二条，那是演示。

它解决什么问题

把模型放到设备本地，能得到三样东西：数据不出设备、断网也能用、没有按次计费的云端成本。arXiv 上讨论端侧语音客服小模型的工作就是从这个动机出发的——但把这件事做成一项对外服务，约束会立刻出现：

约束 具体表现
内存常驻 模型占住的内存，收银软件、打印、扫码就用不了；设备内存是共享的
并发 一台设备可能带多路摄像头，或多个终端同时请求
冷启动 进程崩溃或设备重启后，多久重新可用，就是业务中断的时长
更新 模型要能下发、灰度、回滚，而不是到店里重装
可观测 出了问题，本地得留下能查的东西

换句话说，端侧推理的难点从「模型能不能跑」转移到了「它能不能一直被依赖」。

关键做法

  • 先定内存预算，再选模型。 顺序反了，最后一定是塞不进去再回头砍模型，代价高得多。
  • 给并发设上限，并准备好降级。 请求超过设备能力时，宁可降分辨率、少算一步、给一个保守结果，也不要让队列无限堆积，把整台设备拖慢。
  • 模型与设备解耦。 模型文件独立管理、单独替换，不跟固件绑死，否则每次算法迭代都变成一次停机操作。
  • 留一条人工路径。 模型服务不可用时，业务要能退回扫码或人工选择，不能一起停。
  • 本地留日志与留样。 服务化之后，问题发生在你到不了的现场，没有本地证据就只能靠猜。

用不上的时候

  • 低频调用不划算。 一天只用几十次的场景，用时再拉起更省内存，没必要常驻。
  • 设备常年稳定联网、对延迟不敏感时，放云端更省事——但断网和数据不出店的诉求会重新把它推回本地，这也是端云协同推理要解决的问题。
  • 模型上完就冻结、永不更新的场景可以省掉更新通道。但在零售里，品类天天在变，这种情况很少见。

参考

arXiv ixi-sLM: On-Device sLM for AI Call Agent Service（编号 2610.19382，2026-10-14），讨论端侧小模型作为真实服务上线时要面对的工程约束。

延伸阅读

相关词条

火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。