2026开年新风向：上下文即Teacher，三文详解Self-Distillation新范式

本文围绕2026年初MIT、ETH Zurich和UCLA等团队提出的基于上下文的自我蒸馏新范式展开。背景方面，传统知识蒸馏依赖外部强模型作为教师，而新范式利用推理时的额外上下文构建更强的“自我”作为教师。研究目的上，三篇论文分别针对持续学习中的灾难性遗忘、强化学习中的稀疏奖励分配以及复杂推理中的训练-推理分布偏移问题，探索通过上下文构建自我教师以提升模型性能。结论显示，SDFT在持续学习中有效克服遗忘，SDPO在代码生成中利用反馈实现密集监督，OPSD在数学推理中通过答案引导提升效率，共同证明了上下文自我蒸馏在多个领域的有效性和性价比。