端侧 AI 与智能零售的中文词条库
全部条目（25）
把权重的取值格点限制成 2 的幂次，乘法就退化成移位和加法；代价是格点变粗，低比特下精度吃不消，分数次幂是折中办法。
2026-10-20 · 词条
几台设备合跑一个模型时，卡住推理的常常不是算力而是设备之间传的激活值；把这部分数据换成码本索引，接收方查表即可拿到 key/value，通信就从关键路径上让开了。
2026-10-20 · 词条
模型答对了，不代表它看了图。视觉证据依赖衡量的是「把图里那块证据拿掉，答案的支持度会不会掉」——识别类模型最容易被指标掩盖的一种失效。
2026-10-20 · 词条
专家混合模型每个 token 只算一小部分参数，算力账很好看；但权重得整份存着，端侧部署真正的对手是存储和内存带宽。
2026-10-19 · 词条
权重压小了，算子在层与层之间搬运的中间数据仍然占着内存带宽；要压这一段，得先决定编解码算子放在计算图的哪个位置。
2026-10-19 · 词条
模型一旦装进别人的设备，就在别人的硬件上运行。端侧模型保护要回答的是：对手拿到这台机器，能做到什么。
2026-10-16 · 词条
对话越长内存吃得越多，问题往往不在权重，而在逐字生成时不断累积的 KV 缓存。
2026-10-16 · 词条
训练时就模拟量化误差，让模型主动适应低位运算与硬件的取整规则，而不是训练完再硬压过去。
2026-10-16 · 词条
让模型在设备上作为常驻服务一直活着，和把模型跑通一次，是两件难度不同的事。
2026-10-15 · 词条
模型文件不会自己跑。推理引擎负责把模型翻译成设备能执行的算子，并决定它在你的芯片上到底快不快。
2026-10-15 · 词条
量化之前先给激活值做一次旋转，把少数撑大取值范围的离群值摊平——改的是数值分布，不是模型算的东西。
2026-10-15 · 词条
模型上线后用现场数据做少量在线调整，抵消灯光、摄像头与包装变化带来的分布漂移，不改主干权重。
2026-10-14 · 词条
量化时常用「重建误差最小」当优化目标。这把尺子快、不需要标注，但量的是「像不像原模型」，不是「业务上对不对」。
2026-10-14 · 词条
在设备自带的 GPU 上跑推理，用它换 NPU 适配慢、算子支持受限的问题。
2026-10-14 · 词条
把模型切成两段，前段在门店设备本地跑，后段在边缘服务器或云端跑，中间只传压缩后的特征，不传原始视频。
2026-10-14 · 词条
量化不只有权重：每层输出的激活值也要压到低位，而它是动态的，难度比权重高得多。
2026-10-14 · 词条
同一个模型按设备算力自动伸缩运行，而不是给每档硬件各训一个模型。
2026-10-14 · 词条
跑一次推理要花掉多少电、变成多少热。低位量化省了内存，但省不省电要实测，不能从参数量推。
2026-10-14 · 词条
每次量化都会舍掉一小块数值，把这部分误差累积起来、在后续步骤里补回去，避免误差越滚越大。
2026-10-14 · 词条
用一个大的教师模型带一个小的学生模型，把学生的效果拉近教师。学生学到的是任务能力，也可能连带学到教师的行为倾向。
2026-10-14 · 词条
AI 收银指用视觉识别自动完成商品识别与计价、替代或辅助人工录入的收银方式，多见于烘焙、生鲜、卤味、团餐等无条码场景。
2026-10-09 · 词条
端侧 AI 推理指模型直接运行在设备本地（如摄像头、收银机、边缘盒子），不依赖云端服务器完成计算。
2026-10-09 · 词条
模型量化把浮点权重压缩成低位整数，以换取更小的体积、更低的功耗与更快的推理速度，是端侧部署的常规手段。
2026-10-09 · 词条
无条码商品识别指对没有条形码的商品（烘焙、生鲜、卤味、小碗菜等）用视觉方式自动判断品类并计价。
2026-10-09 · 词条
向量检索把图像、文本等非结构化数据转成高维向量，再按距离找相似项，是以图搜图与商品识别的底层能力。
2026-10-09 · 词条