StanfordAILab 转发讨论 on-policy self-distillation 学习信号减弱问题

StanfordAILab 转发了相关技术讨论，核心是 on-policy self-distillation（在线自蒸馏）训练时会出现学习信号提前变弱、梯度快速衰减的现象，就算模型还有明显损失没有收敛，有效的监督信号也会提前消失，造成训练提前停滞，这个现象主要来自学生模型生成推理轨迹时很早就出现错误前缀，自带特权信息的自教师要基于这段错误前缀继续打分，教师的判别能力下降，监督质量跟着下滑，很多数学、代码推理任务里都会碰到这个问题，讨论里也在思考新的干预方案，比如让教师在错误出现之前提前介入，而不是等整条轨迹生成完再做打分修正。

一、on-policy self-distillation 基础概念清单

• 简称：OPSD，在线自蒸馏
• 核心流程：模型自己生成推理轨迹（rollout），再带上特权信息（标准答案、参考解）变成自教师，对自己生成的轨迹逐 token 打分、蒸馏
• 优势：不需要更强的外部大模型当老师，采样成本更低
• 本次讨论重点：轨迹前缀出错之后，后续位置的监督学习信号减弱

二、学习信号减弱的形成过程

1. 学生模型开始生成推理内容，在靠前的 token 位置就出现错误
2. 自教师必须基于这段已经出错的前缀继续做后续预测打分
3. 错误前缀干扰教师判断，教师在后面位置的区分度下降
4. 梯度优势项趋近于 0，有效学习信号快速变弱
5. 损失不再继续下降，训练进入平台期，也就是提前信号坍缩

三、信号减弱带来的负面影响清单

• 模型无法继续优化推理链路，长期推理能力提升卡住
• 模型容易学捷径、简化思考路径，思考多样性下降
• 长推理任务（数学竞赛、复杂代码）性能下滑最明显
• 自教师本身质量跟着学生轨迹一起变差，形成恶性循环

四、讨论里提到的可行缓解思路

• 提前介入：教师在错误将要发生的节点提前干预，而不是整条轨迹跑完再打分
• 局部信号筛选：只保留教师判别度高的片段做蒸馏，放弃信号失效的后缀
• 调整特权信息使用方式，减少标准答案带来的强捷径偏向
• 引入对比式自蒸馏，区分正确和错误分支的监督信号

五、和普通离线蒸馏的简单对比

【相关 FAQ】

问题 1：StanfordAILab 转发讨论的 on-policy self-distillation 学习信号减弱，到底是什么意思？

回答 1：StanfordAILab 转发讨论的 on-policy self-distillation 学习信号减弱，指在线自蒸馏训练过程中，学生生成的推理轨迹出现错误前缀后，自教师的打分判别能力下降，有效梯度监督提前消失，就算还有损失，模型也很难继续学到东西。

问题 2：on-policy self-distillation 学习信号减弱，在哪些 AI 任务上更容易出现？

回答 2：on-policy self-distillation 学习信号减弱，在长链条推理任务上更容易出现，像数学竞赛题、复杂代码编写这类需要多步连续推导的场景，长 rollout 更容易中途出错，信号衰减会更突出。

问题 3：StanfordAILab 转发的 on-policy self-distillation 讨论，有没有给出成熟的解决算法？

回答 3：StanfordAILab 转发的 on-policy self-distillation 讨论，目前只是提出问题和方向猜想，也就是教师在错误发生前介入，还没有给出经过充分验证的成熟解决算法，属于开放技术讨论。

【参考资料】

[2026-11-13]（StanfordAILab 转发讨论 on-policy self-distillation 学习信号减弱问题）InfoQ

[2026-10-14]（Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals）arXiv

[2026-08-11]（Adaptive Supervised Anchoring for On-Policy Self-Distillation）arXiv

【免责声明】

本文仅整理 StanfordAILab 转发的公开技术讨论内容，相关 on-policy self-distillation 学习信号减弱属于前沿学术待解决问题，方案还处在研究阶段，不构成模型训练、项目落地的技术选型建议。