破案实锤!Qwen用假信号也能拿高分?虚假的RLVR如何激活隐藏记忆回路?
PaperWeekly
2026-01-28 14:23
文章摘要
本文探讨了在虚假奖励信号下,大语言模型(如Qwen2.5)通过RLVR训练后准确率仍能提升的现象。研究发现,这种提升并非源于推理能力的增强,而是模型激活了内部记忆捷径,高效检索训练数据中的污染知识。研究揭示了“困惑度悖论”这一关键宏观信号,并定位了驱动记忆检索的微观机制,即第18-20层的“锚点层”与后续“结构适配层”构成的协同电路。实验表明,可通过干预特定神经元来操控模型对污染知识的依赖。该工作为评估RLVR效果、检测数据污染及开发去污染技术提供了新视角。
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。