香农的媳妇，才是世界上第一个大语言模型量子位
世界上第一个明牌自己是大语言模型的人，可能是香农的老婆。
1950年前后的某一天晚上，咱们的信息论鼻祖香农跟老婆贝蒂在客厅做了一个小实验。
实验里，香农扮演着一个拿着书本考试的教官，Betty则扮演一个做做词语接龙的学生，根据香农的提示，猜下一个字母。
具体的，香农会从书中某一段开始，一个字母一个字母往后走。
每到一个位置，他先不报答案，而是先问贝蒂，下一个字母是什么？
就这样，贝蒂猜，香农记。
猜错了，香农写下正确字母。猜对了，他画一个短横。
这样一来，就像上面图里展示的那样，一段完整的英文被拆成了两部分：
贝蒂已经能预测的地方，用短横带过；贝蒂预测不了的地方，才需要把原字母写下来。
乍一看，这画面有点像什么高知伉俪玩的饭后游戏。
但在3Blue1Brown最新的视频里，这个实验被放回了一条更大的线索里——
它可能是人类历史上最早的一场真人版next-token prediction。
更进一步，借由香农的例子，3Blue1Brown主理人Grant Sanderson还探讨了一个从信息论一路通向大语言模型的问题：
为什么预测下一个token这件看起来再简单不过的事，会和压缩、熵，甚至智能扯上关系？
而答案，可能就藏在贝蒂画掉的那些短横里。
LLM只是一场猜字母实验？
尽管Grant的视频已经讲得足够清楚，但为了更平滑一些，咱还是先回到香农和贝蒂那个实验。
表面上看，香农和贝蒂玩的点像双人语音版填字游戏，一个给前文，一个猜下一个字母。
比如，在英文里t后面很可能跟着h，所以当香农给出线索t的时候，贝蒂很可能会回答h。
换成中文，其实也差不多。比如，当你看到一个「你」，后面很可能接好，来组成「你好」。
但香农真正关心在意的，可能并不是贝蒂猜得准不准，而是猜对之后，会发生什么。
就像我们开头提到的，实验最后得到的那个转录版本，真实字母比原文少得多。
贝蒂猜对的地方，只剩一个短横。贝蒂猜错的地方，才保留原来的字母。
看上去，字是变少了，但在某种意义上，它包含的信息量没有变。
原因也很简单。
如果香农能复制出另一个一模一样的贝蒂，再让她看这份缩短版文本，她理论上仍然可以把原文复原出来。
而这，就是「可预测性允许压缩」最直观的版本。
这很好理解，就像你跟哥们聊天一样。
一开始表达同意，你们会说「好的」，到后面变成「OK」，再后来只剩一个「k」，到最后甚至只是一个唐人表情包就足以心领神会。
表达越来越精简，并不是因为信息消失了，而是因为双方已经知道上下文，所以没必要把完整形式再打一遍。
不过相信聪明的大伙已经发现了，香农这个实验有点问题：
人不是机器。贝蒂这次猜对的字母，下次未必还会猜对。一个人两次面对同一段前文，也未必会给出完全一样的答案。
所以，虽然这个实验能说明语言可以被预测，所以语言可以被压缩，但它还不能精确测量语言到底有多少信息。
于是乎，香农后来把这个实验做得更系统。
在后续发表的论文Prediction and Entropy of Printed English中，香农找来更多受试者，不再只记录猜对还是猜错，而是记录一个人需要猜多少次，才能猜中正确的下一个字母。
猜一次就中，说明这个字母在当前上下文里很容易预测，如果猜很多次才中，就说明它更意外。
换句话说，香农其实在用一套方法，把猜了几次转换成受试者心里对正确字母的隐含概率。
这一步很关键。
因为同一个位置，不同人会给出不同猜法。有人第一次就猜中，有人猜到第五次才猜中。差别不在字母本身，而在每个人脑子里那套对英文的判断。
所以，香农测的不是书本上的静态词频，他测的是人如何根据自己的上下文来分配概率。
看到th，下一个字母可能是e，也可能是a。到底先猜哪个，猜到第几次才轮到正确答案，背后都是这个人对英文的理解在排序。
到这，相信你也看出来了。
香农这是把人当成语言模型整了，而他的妻子Betty，可能就是第一个明牌自己在做next-token prediction的人。
只不过那个模型不是Transformer，是人脑。
这些人脑知道语法、常识、上下文、语感，也知道一段英文接下来大概率会怎么走。
而香农干的，就是不断地追问：下一个字母是什么？
预测和压缩，大模型的一体两面
到这里，贝蒂的任务其实就已经完成了：
她用自己的模型（大脑），划掉了一段文本里可以被预测的部分。
后面香农找来更多受试者，本质上也都是在做同一件事：
把能够预测的部分划掉，只留下那些预测不了、必须写出来的字母。
于是，原本的长文本，就这样被压缩成了一份更短的新文本。
所以，顺理成章的，我们会想：
假如一个人，读过一本书，就能靠自己的语言经验，预测书里一部分字母，从而把它压缩得更短；
那么，有没有一个模型，能吃下整个互联网，然后预测各种上下文里的空白呢？
