别争了！香农老婆，才是世界上第一个大语言模型

本文从香农和妻子贝蒂在1950年开展的猜字母实验出发，探讨了预测下一个token与压缩、熵以及智能之间的关系。背景部分介绍了香农实验中妻子贝蒂根据上下文猜测下一个字母，而香农记录正确字母和短横的过程。研究目的旨在说明这种看似简单的游戏实际上是人类历史上最早的next-token prediction，并借此剖析预测能力如何实现文本压缩。结论指出，预测与压缩是一体两面：模型预测得越准，对文本的压缩效率就越高，而熵则是衡量预测不确定性的量化指标。文章进一步将这一原理与大语言模型的交叉熵损失联系起来，说明模型通过降低loss来提升压缩能力，从而捕捉语言和世界规律，并指出这揭示了“压缩即智能”这一观点中的合理成分。