普林斯顿陈丹琦团队:免微调破解长文本衰退,推理性能提升25%
数据派THU
2026-03-11 17:00
文章摘要
背景:随着大模型支持更长的上下文窗口,长文本推理中的“Context Rot”现象导致模型性能随输入长度增加而急剧下降。研究目的:普林斯顿陈丹琦团队提出免训练的DYSCO解码算法,旨在通过动态调整注意力权重来提升模型在长文本中的推理性能,无需微调模型参数。结论:DYSCO算法通过聚合、选择和重缩放三个阶段,动态聚焦关键上下文,实验表明其在128K长文本基准上使Qwen3-8B性能提升高达25%,计算开销小,且与思维链(CoT)协同效果显著,为长文本应用提供了低成本解决方案。
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。