法学硕士准备好从事天文学研究了吗？

随着现代天文学的成熟，单个研究人员的专业化程度越来越高，这往往以牺牲其他领域的详细知识为代价；同时，当今望远镜收集的大量数据集的传播也受到研究界可用工作时间的限制。最近迅速发展起来的大型语言模型（LLM）可能是解决这两个问题的一种方法，但前提是它们对天文学文献的掌握和处理必须值得信赖。作者汇编了一套约4500道多选题的基准测试题，涵盖了超过85篇已发表评论文章中的一系列天文学主题，并将这些问题输入到精选的约20个大型语言模型中，以评估每个模型的准确性、成本效益、改进率和置信度。他们发现，虽然 Anthropic 的 Claude 系列等专有模型普遍优于开放式权重模型--准确率最高可达 85%，但存在显著差异--其当前成本可能过高，而开放式权重模型的准确率往往较低，但运行成本更低，而且改进速度更快。有趣的是，他们还发现了模型之间基于人类语言和特定主题的性能差异，并将其归因于每种情况下可用的训练数据量不同。