窦士涵@复旦大学：Learning from context is harder than we thought

背景：语言模型在知识推理、数学、编程等任务上表现突出，但主要依赖已有参数化知识进行推理。研究目的：探讨语言模型在从当前输入上下文中学习新知识并基于此推理的能力（即上下文学习）上的不足，分析其存在的系统性偏差，并探索改进方向。结论：研究发现，模型在需要从上下文学习新知识时性能显著下降，倾向于忽略或误用上下文信息，并未真正掌握“如何从上下文学习”，未来可能通过合成规则等方式提升模型对上下文的理解与利用能力。