32倍压缩率下性能反超25个点!破解长文本压缩「翻车」难题|ICLR2026

机器学习算法与自然语言处理 2026-02-25 00:00
文章摘要
背景:现有上下文压缩方法在高压缩率下常因过度保留语义重复内容导致性能下降,陷入“信息内卷”困境。研究目的:阿里巴巴团队提出COMI框架,通过边际信息增益指标和粗到细压缩策略,旨在同时优化信息相关性与多样性,破解高压缩率下的性能瓶颈。结论:COMI在32倍压缩率下显著提升模型性能,如在NaturalQuestions上EM分数超出基线近25点,并实现效率提升,证明高质量压缩可兼顾信息提纯与推理速度,为长上下文高效推理提供新范式。
32倍压缩率下性能反超25个点!破解长文本压缩「翻车」难题|ICLR2026
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
机器学习算法与自然语言处理
最新文章
热门类别
相关文章
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术官方微信