lifcc (@mylifcc) “怪不得Step-5这么强，原来是掌握了蒸馏的焚决。。。 阶跃星辰团队发布论文P²-MOPD：让” — TopicDigg

怪不得Step-5这么强，原来是掌握了蒸馏的焚决。。。 阶跃星辰团队发布论文P²-MOPD：让一个小模型同时继承多个专家模型的能力，训练时间几乎减半，能力恢复率却从 80% 提升到了 95%。 过去做这件事通常只有两条路。一条叫“任务算术”（Task Arithmetic），直接把专家模型和底座模型的权重差值按比例加起来，不用训练，但能力上限被锁死在原有权重的线性组合里。另一条叫多教师在线策略蒸馏（MOPD），让学生模型自己生成回答，再由各个领域的老师模型打分纠偏，上限更高，但学生得从零开始往每个老师的方向爬，训练慢，还很容易出现严重偏科。 论文第一作者 Sinuo Wang 在社区分享时抛出了一个很直接的问题：“如果专家模型的权重本身也能直接给学生指路，而不只是靠输出概率来监督呢？”基于这个想法，他们提出了 P²-MOPD，把学生模型的每一层线性投影拆成两部分：可自由训练的学生自身权重，加上一组冻结的专家权重差值（每个模块只配一个可学习的混合系数）。 在在线蒸馏的同一次反向传播里，学生权重和这组混合系数会一起更新。冻结的专家权重相当于给学生铺好了“参数先验”高速路，一个标量就能推着模型沿专家方向大步前进；而学生自己的权重依然保持可训练，不会被困在死板的权重合并范围里。等训练结束，混合系数直接折算回模型权重里，导出的依然是一个标准模型文件，推理阶段没有任何额外开销。 【一半步数反超，顺手治好严重偏科】 团队在 Qwen3-1.7B 和 4B 两个尺寸上，横跨医疗、法律、金融和指令遵循四个领域做了测试。从完全相同的任务算术初始状态出发，P²-MOPD 只用了一半的训练步数（实际耗时不到原方法的 55%），平均能力恢复率就已经反超了传统多教师蒸馏跑完全程的最终成绩。 跑满训练后，1.7B 模型的平均能力恢复率从传统方法的 80.9% 提升到了 94.7%，4B 模型则从 83.1% 升至 94.9%。更明显的变化在短板领域：此前传统蒸馏在最差领域的恢复率只有 32.0%（1.7B）和 47.2%（4B），用上新方法后直接拉升到了 88.0% 和 89.4%，跨领域的恢复率标准差也从二十多骤降到 5 以内。 【为什么以前总会落下几个领域】 过去大家常以为多教师蒸馏偏科是因为“不同领域的知识互相冲突”。但这篇论文通过实验证明，真正的瓶颈其实是参数空间的可达性不足：只靠常规权重更新时，学生模型在落后领域的专家方向上几乎挪不动步；而加上模块级的混合系数后，模型在专家方向上的推进距离直接放大了 13 到 15 倍（如果把专家方向换成随机方向，增益立刻归零）。 这套混合系数还展现出了很强的稳定性与可解释性。在三次不同随机种子的实验里，每个老师最终学到的平均系数误差全部在 0.01 以内；哪怕不喂任何验证集数据，梯度也会自动给最吃力的短板领域加码——比如最难啃的医疗领域，混合系数会自动从初始的 0.25 一路涨到 0.63 至 0.65。正如作者在总结里写的：“不仅专家的预测结果能监督蒸馏，专家的权重本身也可以。把它们作为可学习的先验保留在训练全程，就能指引学生往哪走。”