哈布斯堡AI的诅咒：合成数据递归下的模型坍缩

背景：随着高质量原始语料被AI大模型消耗殆尽，研发者开始使用AI生成的合成数据来训练下一代模型。研究目的：探讨在递归使用合成数据进行模型训练的过程中，模型性能如何演变及其潜在风险。结论：研究发现，递归训练会导致模型逐渐丢失真实世界的复杂性和多样性，最终发生“模型坍缩”，表现为输出内容趋于重复和无意义，其根本原因在于合成数据在递归过程中系统性地压缩了数据分布的方差，使模型陷入自我重复的“吸收态”。