清华、智谱团队:探索 RLHF 的 scaling laws

学术头条 2024-12-24 08:11
文章摘要
本文由清华大学与智谱的研究团队对基于人类反馈的强化学习(RLHF)在大语言模型(LLM)中的扩展性能进行了全面研究。研究指出,增加训练数据的多样性和数量能显著提升奖励模型的性能,而策略训练的效率在初期增加响应样本后会迅速趋于平稳。研究还发现,RLHF的计算资源投入带来的回报递减,其扩展效率低于模型预训练阶段。研究团队提出了多任务目标训练统一模型和策略训练中的多响应采样等优化策略,并通过实验验证了这些策略的有效性。研究结果为优化RLHF在LLM中的应用提供了重要指导,同时也揭示了其在扩展性能上的潜在瓶颈。
清华、智谱团队:探索 RLHF 的 scaling laws
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
学术头条
最新文章
热门类别
相关文章
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信