OpenAI塌房！Scalinglaw原作曝bug，万亿算力全白烧

文章揭示了OpenAI在2020年提出的Scaling Law存在根本性错误，误导了全球AI行业。研究背景是Scaling Law曾被视为推动AI发展的核心规律，促使业界优先堆叠模型参数。研究目的是指出原始Scaling Law因训练数据固定、学习率衰减不当以及权威误导，导致对模型最优规模的错误判断，进而造成大量算力浪费。结论是，这一错误导致全球算力错配，模型“虚胖”而训练不足，且Scaling Law本身仅为经验拟合，并非普适规律。此外，文章还提及后续的Chinchilla模型及修正研究同样存在bug，并指出当前的Scaling Law可能仅适用于“形态贫乏”的英语，存在语言偏见。因此，更高效AI的实现需要基于更合理的算力配比和优质数据。