从DeepSeekV4的多专家on-policyDistillation反观人类学习模式

本文从DeepSeekV4的多专家on-policy蒸馏技术出发，类比人类学习模式，深入探讨了两种核心学习机制：forward KL（如传统SFT）和reverse KL（如RL和OPD）。研究背景是大型语言模型在预训练后，需将多个领域专家模型（如数学、代码专家）整合为统一模型，传统方法易导致灾难性遗忘和知识稀释。研究目的为分析OPD如何通过让student在自身生成的轨迹上接收teacher反馈，实现mode-seeking，从而减少模式覆盖产生的遗忘。结论指出：OPD并非绝对优越，其成功依赖于student与teacher初始分布重叠率；人类高效学习应类似“学霸模式”——先通过pre-train/SFT对齐基础分布，再借助专家进行on-policy式反馈修正；LLM并未改变学习本质，只是降低了获取高质量反馈的门槛，但前提是学习者需先建立足够的知识基础。