不用任何人类语言训练，大模型反而更强了？

背景：随着高质量文本数据逐渐枯竭，研究者开始探索不依赖人类语言的大模型训练新范式。研究目的：探讨使用完全非语言的合成数据（如神经细胞自动机生成的数据）对大语言模型进行预预训练的可行性及其效果。结论：实验表明，在合成数据上进行预预训练能提升语言建模性能、加快收敛速度并增强下游推理能力，其效果甚至优于使用更多自然语言数据，这揭示了模型智能可能源于对数据结构的理解而非语义内容，为高效、可控的训练开辟了新路径。