OpenAI最新研究:「打假高手」大模型事实性基准SimpleQA来了,已开源

学术头条 2024-10-31 18:02
文章摘要
SimpleQA 是 OpenAI 开发的一个事实性基准,旨在测量语言模型回答简短事实性问题的能力。该基准通过简短的事实搜索查询,使事实性的测量变得更加容易。SimpleQA 具有高正确性、多样性、对前沿模型的挑战性和良好的用户体验等特性。通过 SimpleQA,OpenAI 希望创建一个具有高质量和多样性的数据集,以评估语言模型的事实性。此外,SimpleQA 还可以用于测量语言模型的校准能力,即模型是否“知道它们知道什么”。SimpleQA 的主要局限性在于其范围,它只能在具有单一可验证答案的简短事实查询这一受限环境下测量事实性。
OpenAI最新研究:「打假高手」大模型事实性基准SimpleQA来了,已开源
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
学术头条
最新文章
热门类别
相关文章
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信