从热力学到AI核心——Softmax的前世今生元宇宙胖大叔
7/14/2026
每个深度学习模型最后一层都在用的 softmax，它的数学形式其实比计算机科学本身还早 80 年。这是一段横跨物理学、统计学和人工智能的奇妙旅程。
一、起源：热力学里的"偶然发现"（1868-1902）
玻尔兹曼的洞察
吉布斯的系统化
二、统计学的独立发现：多项 Logit 模型（1966-1969）
物理学家发明了公式后就放到一边了。几乎一个世纪后，统计学家和经济学家在解决完全不同的问题时，独立地"重新发明"了它。
从二分类到多分类
三、"Softmax" 这个名字的诞生（1989）
John Bridle 与 NIPS 1989
为什么叫 "softmax"？
四、神经网络时代的普及（1990s-2010s）
反向传播的完美搭档
ImageNet 时代的基石
五、Transformer 时代的新高度（2017-至今）
注意力机制的核心
大语言模型中的输出瓶颈
六、变体与探索
softmax 虽然好用，但并非完美。研究者们提出了各种变体：
七、历史时间线总览
八、为什么这个故事值得讲？
同一个公式，三个世界，三次发现：
物理学（1868）：描述气体分子在能级上的分布
统计学（1966-1969）：多类别概率建模
深度学习（1989-至今）：激活函数 + 注意力机制
同一个公式，三个世界，三次
这可能是数学史上最美的巧合之一：21 世纪最强大的 AI 模型，其核心运算的数学形式，是一个维也纳物理学家在蒸汽机还没普及的年代，为了理解气体分子的行为而写下的。
也让人不禁想：今天躺在某个学科课本里的公式，会不会就是下一个 AI 革命的基石？
