预训练数据太差怎么办？Bengio团队引入显式贝叶斯，无梯度实现In-ContextRL

背景：In-Context RL方法如DPT通常依赖大量离线轨迹进行监督学习，但面临行为策略偏差问题，当预训练数据质量差时，模型易拟合次优行为，难以实现真正的强化学习探索。研究目的：Bengio团队提出SPICE方法，旨在通过显式贝叶斯融合与深度集成，解决预训练数据质量差时In-Context RL的性能局限，实现测试时的有效探索与策略改进。结论：SPICE将Transformer视为价值先验提供者，在测试时通过贝叶斯公式融合上下文证据，利用UCB决策，理论证明具有对数级遗憾界，实验在Bandit和MDP环境中显著优于DPT等基线，尤其在噪声大或次优数据下展现出强鲁棒性和适应性。