预训练数据太差怎么办？Bengio团队引入显式贝叶斯，无梯度实现In-Context RL

背景：在In-Context RL研究中，现有方法如DPT通常依赖于大量离线轨迹的监督学习，但面临行为策略偏差问题，当预训练数据质量差或上下文包含次优轨迹时，模型难以超越演示者水平，缺乏真正的探索能力。研究目的：为了解决In-Context RL在次优数据下的局限性，Bengio团队提出SPICE方法，通过引入显式贝叶斯推断，将预训练模型视为价值先验来源，并与上下文证据融合，以实现测试时的强化学习和探索。结论：SPICE在理论和实验上均表现出色，证明了在对数级遗憾界下，即使预训练数据质量极差，也能通过贝叶斯更新和UCB决策收敛到最优策略，显著优于DPT等基线模型，但该方法目前依赖于核函数衡量状态相似度，在高维环境中可能存在挑战。