一句话定义
端侧 GPU 推理（On-device GPU Inference） 指把模型放在设备自己的图形处理器上运行，而不是用 CPU 或专用的 NPU。
手机、平板、带显卡的工控机、部分边缘盒子里都带着 GPU，它本来是为图形准备的，但通用性好，也能拿来算神经网络。
为什么有人选它
NPU 能效高，但有三个现实麻烦：
- 算子支持受限：新的网络结构、新算子，NPU 可能要等厂商工具链更新才支持。
- 适配慢：算法迭代快的时候，等 NPU 适配会拖住发版。
- 调优成本：一个模型在特定 NPU 上跑得好，需要专门的量化与算子配置。
GPU 的通用性让「先把功能跑起来」这条路好走得多——同一个模型换设备时改动更小。
代价
- 功耗与发热：GPU 满跑对散热要求高，收银台那种密闭空间里更容易降频。移动设备上还要和其他应用抢 GPU。
- 碎片化：不同厂商的 GPU 用不同 API（Vulkan / Metal / OpenCL / 各家私有），要跨端统一并不简单，需要一个统一的后端去封装。
- 不一定更快：在 NPU 有专门算子的场景里，NPU 的能效通常更好。
怎么选
| 场景 | 倾向 |
|---|---|
| 模型结构稳定、追求能效与量产成本 | NPU |
| 算法迭代快、要快速验证与跨设备复用 | GPU |
| 已有的 x86 工控机要加视觉能力 | GPU（无需额外加速卡） |
实际项目里常见的是先 GPU 跑通、稳定后再迁 NPU。
参考
Google 于 2026 年开源了端侧 GPU 推理引擎（ML Drift: Next-gen GPU AI/ML inference at the edge），说明这条路正在被当作基础设施来投入。
相关词条
火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。