一句话定义
物理约束蒸馏指在知识蒸馏的训练目标里，除了让学生对齐教师的输出，再加入领域本身必须满足的关系——在电网里是潮流方程和功率残差，在别的领域可能是几何一致性、守恒关系、量纲约束。
普通蒸馏问的是「学生答得像不像老师」，物理约束蒸馏额外问一句「学生答的东西，符合这个领域的规律吗」。
它解决什么问题
有一类端侧部署是被时限逼出来的，不是被成本逼出来的。
电网里的例子很典型：图上预训练的电网基础模型（GridFM，图 Transformer，用掩码潮流预测目标预训练）算潮流比迭代求解器快几个数量级，但它的规模是按数据中心推理设计的。而低惯量运行场景要求在测量点旁边、以 batch size 1、在一个同步相量（PMU）上报帧之内出结果。这是两种完全不同的部署条件。
arXiv 2610.21833 就是在这个矛盾上做蒸馏：教师 20.1M 参数、12 层，学生 0.62M 参数、6 层，参数量压到 1/32.5，消息传递深度减半。
关键做法
这篇工作的训练目标由几项相加：掩码潮流损失，加上输出迁移、物理残差迁移、隐状态迁移、注意力迁移。其中物理残差项对齐的是教师的功率残差曲线——作者说这一项此前没有在带类型的电网上用过。
评测条件也值得记下来：IEEE 118 节点基准的可再生能源变体，26 台常规同步机换成带电池灵活性的逆变器型新能源，采用 IEEE 1547 的无功限值，共 97,529 个满足交流最优潮流约束的运行场景。八种迁移项组合全部做了消融，并且把「对真值的准确率」和「对教师的保真度」分开报。
结果有三条，其中两条反直觉：
- 蒸馏让四个预测量的误差全部下降，有功调度上最多降 48%。
- 在无功调度上，每一个蒸馏出来的学生都比它的教师更准。教师不是上限。
- 增益主要来自输出匹配项。而物理残差项，按论文这种「层聚合」的形式使用，结果是一致变差的——作者归因于它对母线级残差场做了空间平均，把局部信息抹平了。
常见误区
- 「把业务规则加进训练目标，模型就更守规则。」 这篇的结论正相反：约束项怎么写、在哪一层聚合，决定了它是有用信号还是噪声。加得不对，比不加更差。
- 「学生不可能超过教师。」 在特定指标上可以。教师是在自己的目标上最优的，学生在另一个受限结构里学，某些量上反而更贴真值。但这不是普遍规律，只在被测量的那几个量上成立。
- 「保真度高就是好。」 保真度衡量的是像不像教师，准确率衡量的是对不对。两件事必须分开报，否则一个更像教师但更差的学生会被当成进步。
- 「蒸馏一定比量化省事。」 蒸馏要教师、要训练、要消融，工程链条长得多。设备只有一两档、算力不紧的时候，不值得。
参考
arXiv:2610.21833，Physics-Aware Distillation of a Grid Foundation Model for Real-Time Edge Inference（2026-10-15）。20.1M 参数、12 层教师蒸馏为 0.62M 参数、6 层学生（参数量 1/32.5）；目标含掩码潮流损失与输出、物理残差、隐状态、注意力四项迁移；在 IEEE 118 节点可再生能源变体、97,529 个可行场景上做八组合消融，有功调度误差最多降 48%，物理残差项按层聚合形式一致有害。
延伸阅读
- 供应商说小模型比大模型还准，这句话怎么验 —— 这篇讲的是这件事对门店意味着什么。
相关词条
火眼识别提供端侧视觉引擎与设备管理平台，相关方案见 火眼识别官网。