scaling law再遭质疑：“退化式AI”竟成终局？大模型的“大”错了？

本文探讨了当前大模型行业中scaling law热潮的潜在问题，指出暴力数据扩展可能导致的“退化式AI”现象。研究指出，大语言模型（LLM）在预测不确定性方面存在严重缺陷，其核心机制可能导致错误积累和信息灾难。尽管LLM在自然语言处理方面展现出强大能力，但在科学和数学等可验证领域进展有限。文章还讨论了LLM扩展面临的“壁垒”问题，以及准确性困局和泛化能力的挑战。最后，研究团队提出了避免“退化式AI”的潜在解决方案，包括构建“世界模型”和重视科学方法。