奥特曼宣判Transformer死刑新智元

终结Transformer的架构即将诞生！奥特曼最新访谈豪言，下一代AI架构彻底颠覆Transformer，LSTM的命运或将再次上演。

Transformer的最大受益者，亲手给它判了死刑！

这几天，Sam Altman回到斯坦福，面对一群大二学弟学妹，扔出了一颗深水炸弹——

未来一定会诞生全新的底层架构，性能跃升不亚于当年Transformer对LSTM的降维打击。

要知道，GPT帝国就建在Transformer上面。

ChatGPT、GPT-4、o1、Codex，全是这套架构的果实。

而现在，摘果子的人亲口说：这棵树的寿命快到头了。

甚至，奥特曼直言不讳，我们所追求的AGI可能只是一次「热身」（warm up）而已！

而下一代全新架构突破已在路上——现有的高阶LLM已具备足够的认知力，能够作为人类智力杠杆，亲手推开另一个技术范式的大门。

用AI找到下一个Transformer

人们都说，暴力出奇迹，但暴力本身也有极限。

Transformer有一个天生的算力黑洞：文本长度翻10倍，计算量翻100倍。

这就是为什么今天跑GPT-5.4级别的模型，烧钱速度是天文数字。

奥特曼显然看到了这面墙。但他并不觉得没路走了，恰恰相反，他觉得推翻这堵墙的工具已经到手了。

访谈中有一句极其关键的话：现在的模型终于聪明到可以辅助人类去做这种级别的科研了。

意思是，找到下一代架构这件事本身，已经可以让AI来帮忙了。

用当下的AI去发现能取代它的新架构，逻辑链条很清楚：

模型越强→科研效率越高→新架构被发现的概率越大→新架构反过来让模型更强。

一个自我加速的飞轮，就这样形成了。

奥特曼之所以有底气下这个判断，跟一路走来对范式转换的独特嗅觉有关。

大一暑假，他跑去斯坦福的AI实验室打工，结论是「这些玩意儿根本没戏」，然后就跑去搞别的创业了。

不过，对AI的关注却从未间断过。用奥特曼自己的话说，这是一种「抬头看全局」的习惯，别陷入管中窥豹。

2012年AlexNet横空出世，他和大多数人一样，觉得「挺酷的」，但没往心里去。

接下来几年，深度学习模型越做越大、越做越强，奥特曼一直在旁边看着。直到某个临界点，感觉彻底变了——这东西简直像一颗正在逼近的小行星，极其疯狂，但整个世界居然没几个人当回事。

于是2015年OpenAI成立。核心信念只有一条：把深度学习的规模往死里推，看看会发生什么。

但当时说要建AGI实验室，整个行业的老前辈都觉得他们疯了，甚至直接说他们是骗子。

不过结果大家都看到了。

GPT-2让奥特曼第一次见到计算机做出了前所未有的事情，GPT-3惊艳了世界，GPT-4更上一层楼。当你站在一个正确的范式上死磕，回报是指数级的。

现在，同样的直觉被投射到了下一个范式上。

Transformer不是终点，就像LSTM不是终点。

奥特曼甚至给了具体建议：

如果现在是一个研究者，会死磕这个方向，去找「哪里能挖出核弹级突破」，而且会重度依赖大模型来做科研助手。

Greg公寓里的白板

一个改变世界的夜晚

这场访谈最好看的部分，是奥特曼对OpenAI草创期的回忆。

OpenAI第一天上班，大家聚在联合创始人Greg Brockman的公寓里。

早上9点半、10点，八九个人陆陆续续到了，坐在沙发上，面面相觑。

然后有人开口：「好吧，咱们干点啥？」

有人提议写几篇论文。又有人说得先弄块白板。然后就有人直接在亚马逊上下单，加急配送。

奥特曼说当时内心一阵恐慌：这不行啊。这既不像正儿八经的创业公司，也不像任何能成事儿的组织。

但他紧接着说了一句非常奥特曼的话：在那种时刻，你只要深呼吸，相信如果身边聚的都是最优秀的人，事情总会迎刃而解。

就在那第一周，后来成为OpenAI前四年核心理念的大部分点子，都被写在了那块白板上。尽管当时他们自己都觉得这些想法不靠谱。

他们一开始压根没想过做产品。

奥特曼反复强调，他们以为自己就是个纯研究实验室，发发论文就好了。

但后来两件事变得越来越清晰：

第一，这条路蕴含的经济价值远超想象；

第二，需要的资金不是几十亿，而是数以千亿计。

而真正让奥特曼建立起信仰的转折点，是GPT-2。

他说不记得GPT-2发布那天的具体日期了，但他永远记得第一次跟那个模型对话的那个夜晚。

它做出了我以前从未见过计算机能做出的事情。

那一刻他觉得，妥了，这就是了。

至于GPT-2为什么暂缓发布？奥特曼承认，事后看来有些过度谨慎，但他觉得面对AI每一个新的能力台阶，稍微偏向谨慎一点没坏处。

当然也不能怂过头。如果企业不以足够快的速度拥抱AI，就会被完全自治的AI公司干掉，那才是真正的灾难。

斯坦福访谈全景

奥特曼的10个判断

架构预言和创业往事之外，奥特曼在这场访谈中还密集输出了大量观点，几乎每一条都值得单独拎出来聊。

1. AGI两年内降临。

奥特曼直接告诉台下的大二学生：

等你们毕业的时候，你们将踏入一个已经有AGI的世界。

当然，人类的底层驱动力不会变，你还是得搬家、找工作、考虑成家立业。

但科学研究将被高度自动化，创办初创公司和去大厂打工的意义都将被彻底改写。

2. 编程智能体是下一个ChatGPT时刻。

下一个引爆点是什么？奥特曼没犹豫：编程AI智能体。

紧随其后、但尚未完全引爆的，是AI在所有知识型工作中执行任务的同等能力。

不过，距离这一天已经不远了。

3. 一个人能干出一家中型公司的活儿。

未来会涌现大量一个人或六个合伙人的微型初创公司，影响力和营收甚至能跟今天的中大型企业掰手腕。

奥特曼说iPhone问世算是上一次这种级别的机会，这一次更猛。

不仅能做以前不敢想的事，还能用极少的人力极快地把产品和公司建起来。