视频理解的免训练加速

一句话定义

视频理解的免训练加速指不重新训练、不微调权重，只改变推理路径来降低成本：少看一些帧、少留一些视觉 token、压缩中间表示、跳过部分计算。它把「该看哪里」的判断从训练阶段挪到推理阶段。

它解决什么问题

一段 30 秒、每秒 2 帧的片段进视觉编码器后会展开成上千个视觉 token，再由 projector 送进语言模型做 prefill 和逐 token 解码。开销沿序列长度增长，而门店关心的问题——谁拿了什么、哪格货架空——往往只由其中几秒、几个区域决定。

训练侧的办法是让模型学会看重点，代价是数据、算力和一次完整的版本迭代。推理侧的办法可以直接套在已有模型上，但少了任务监督：选错证据不会有损失函数来纠正，只会安静地给一个看上去正常的答案。

关键做法

arXiv 上的综述 Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation（2610.36327）按干预发生在流水线的哪一段来组织方法：

输入：抽帧、选帧、降分辨率。省得最多，也最不可逆，没进的帧补不回来。
视觉编码：在 ViT 内部做 token 合并或剪枝，按注意力或相似度决定保留哪些 patch。
projector：编码器之后、语言模型之前，把视觉 token 压到更少。位置靠后，压缩时可以带一点语言侧的信息。
prefill：对长序列做稀疏或分块注意力，压掉一次性前向的平方级开销。
decode：减少生成步数、提前退出、复用缓存。
PTQ 被单独拿出来讨论：它跨越多个阶段，但校准数据的选取依赖插入位置。

综述里两个判断比方法清单更有用。其一，干预位置决定证据保留：越靠前的压缩越省算力，也越容易把细小但关键的信息——小字、手部动作、短暂遮挡——和冗余一起丢掉。其二，局部效率提升不自动等于端到端加速：瓶颈如果在数据搬运、kernel 启动或解码阶段，编码阶段省下三成也只让总时延动一点。所以论文在统一的评测设置下同时报精度与时延，而不是只报 FLOPs 降幅。

常见误区

把「token 少了三成」当成「快了四成」。 token 数与墙钟时间之间隔着算子实现、内存带宽和 batch 形态。
只看平均精度。 视频任务里最难的是短时事件，平均值会把它们抹平。
在同一段视频上比较各方法。 抽帧策略的效果高度依赖画面内容（静止货架与人来人往完全不同），必须跨场景测。
默认加速与量化互斥。 两者作用在不同位置，可以叠，但校准数据要按叠加后的路径重新选。

用不上的时候

任务只需单帧判断，比如看清一个价签。视频路径带来的复杂度换不来收益。
算力有余、时延不敏感，例如夜间批处理的巡检回放。
证据极细：读小字、数零散商品。任何抽帧都可能抽掉答案，此时该改输入方式，而不是在加速上使劲。

参考

arXiv:2610.36327，Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation（2026-10-26）。按输入、视觉编码、projector、prefill、decoding 五个干预阶段组织免训练加速方法，PTQ 作为跨阶段扩展单独讨论；指出干预位置影响任务相关时空证据的保留，局部效率改进不一定转化为端到端加速，并在共享评测设置下给出精度与时延的权衡。