信息论，大模型时代的“第一性原理”冷眼贱客

1948年，Claude Shannon发表了划时代的论文《通信的数学理论》，宣告了信息论的诞生。Shannon的核心理念可以概括为一句话：通信的关键不是信号的重建，而是不确定性的度量和管理。他把通信问题从物理层面提升到了抽象的数学层面，用数学方法研究信息的度量、传输、存储和处理的学科。信息论的核心视角是：“信息是什么”、“能传多快”、“能压多紧”。此后，Wiener，Fano，Kolmogorov，Chaitin，Solomonoff等人都对这个领域作出了杰出的贡献。

信息论不仅是一个数学分支，更是一种思维方式。它告诉我们：信息是可以被精确度量的，通信是有极限的，压缩是有代价的。从手机通信到互联网，从数据压缩到人工智能，信息论的影子无处不在。它深刻改变了人类对信息、通信乃至知识本身的理解。

用信息论透视AI的能力极限

用信息论视角给大模型祛魅

谜题一：AI真的“听懂”了你的话吗？——上下文学习的压缩本质

谜题二：隐私和泛化，为何是同一枚硬币的两面？

谜题三：AI的能力为何会“涌现”？

这就像物理学中的相变——水从气体凝结为液体，不是渐进地变稠，而是在某个温度点突然转变状态。涌现并非玄学，而是模型在参数空间中跨过了一道“信息熵的阈值”：从“无法压缩”跳跃到“能够压缩”，能力的呈现因此显得突然而戏剧性。

涌现并非免费的午餐。跨过临界点的本质，是系统通过熵减建立了一个高效的‘知识压缩引擎’，但这种高效是以系统变得极度敏感且脆弱为代价的。这就是为什么大模型在获得强大能力的同时，其鲁棒性往往面临严峻挑战。

谜题四：为什么AI总会“钻空子”？——奖励异化与信息论的窄带信道

谜题五：AI为何会产生“幻觉”？

大模型最令人头疼的问题之一就是“一本正经地胡说八道”。

两者统一为：当编码可用的信息预算不足以无损承载目标知识时，失真（幻觉）不可约。 这也是为什么“加大模型”或“注入更多文本”都无法根除某些涉及物理或空间推理的幻觉——因为这类信息在纯文本信道中，其世界带宽（I(D;W)） 本身就很低。

谜题六：模型的“缩放规律”为何在后期变慢？

然而，随着训练深入，我们试图压入模型的“下一比特”信息，其信息熵正在快速降低。这意味着剩余的知识块变得越来越零碎、孤立且难以预测。为了学会这些稀疏的“长尾分布”，模型必须消耗指数级增长的数据和算力，才能换取线性的（甚至边际递减的）精度提升。

这解释了为什么现在的 LLM 训练越来越“卷”：我们不再是在开采浅层易得的富矿，而是在昂贵的深井里提取稀缺的稀有气体。信息论已经告诉我们，信息的熵值越低，提取它所需要付出的代价就越高昂。 Scaling Laws 的变慢，不是工程瓶颈，而是信息本身结构强加给我们的物理限制。

“知识”的客观化和量化

信息论给出了一个关于“知识”的、可操作的信息论定义：

知识 = 在某主体复杂度上限内、对目标充分的最短描述。

这个定义有三个关键参数，缺一不可：

主体容量 C：同一个对象，对容量大的主体（如巨型AI）是知识，对容量小的主体（如人类或小模型）可能就不是。

目标 G：知识是关于某目标的。脱离目标谈知识是不完整的。

容许失真 D：现实中的知识表示都是“有损压缩”，我们允许一定的失真。

这个定义看似抽象，但它带来的改变是革命性的。它将“知识”从一个哲学思辨对象，变成了一个可计算、可预测的工程对象。例如，我们可以用它来精确回答：

可解释性问题：为什么AI的决策越来越难懂？因为我们发现，要把一个复杂模型的决策压进人类有限的认知带宽（容量C）时，其率失真函数R(D)显示，必然存在一个不可消除的失真下限。也就是说，“忠实”与“简洁”不可兼得。AI的知识越复杂，能给我们“完整解释”的可行性就越低。

蒸馏极限问题：为什么小模型永远学不到大模型的所有知识？因为大模型知识的最短描述长度（Kolmogorov复杂度）可能远大于小模型的容量C。蒸馏是一个码率受限的编码问题，当教师的知识量超过学生容量时，一部分知识在原理上就无法被蒸馏。这是信息论的硬约束。

世界锚定问题：为什么纯文本训练的模型总在物理常识上犯错？信息论给出了一道“世界带宽”上界。模型对世界的全部了解，被它的语料对世界的互信息 I(D; W) 从上方封死。一个纯语言模型，其能接触到的世界信息，被死死限定在了语料这个“文本信道”上。