聊聊AgenticRL热门话题：Off-policyness，SampleEfficiency与PriviledgeInformation

本文讨论了强化学习（RL）中关于Off-policyness、样本效率（Sample Efficiency）与特权信息（Priviledge Information）的热门话题。背景是，在Agentic RL时代，为了平衡样本效率与策略覆盖范围，研究者们探索了多种融合方法。研究目的在于分析如何利用不同类型的特权信息（如更强策略、最优轨迹、环境奖励等）来设计算法，以在保持高样本效率的同时避免因Off-policyness导致的性能崩溃。结论指出，通过适度引入Off-policyness并结合特权信息（例如On-Policy Distillation、OPSD、SDPO、POPE和InT等方法），可以有效提升训练效果，其中InT方法通过轻量干预在数学问题上展现了优越的样本效率和泛化能力。