辛顿：杨立昆错了，人类未必能永远控制AI51CTO技术栈
“杨立昆错了，人类未必能永远控制AI！”
如果这些话出自一个危言耸听的创业者之口，人们或许会一笑置之。
但说出这些判断的人，是被誉为“AI教父”的杰夫·辛顿（Geoffrey Hinton）。
过去三年里，几乎所有AI行业最激烈的争论，都能看到杰夫·辛顿的身影。与很多仍在强调“AI只是工具”的研究者不同，这位深度学习奠基人正在越来越频繁地谈论一个更大的问题：人类可能低估了自己正在创造的东西。
在最新一期播客对话中，杰夫·辛顿再次抛出了一系列足以引发争议的观点。
他认为，大语言模型绝不是所谓的“随机鹦鹉”。一个能够理解笑话、理解歧义、发现隐藏含义的系统，本质上已经具备了理解能力；而当研究人员在论文里写下“AI意识到自己正在被测试”时，人类其实已经在无意中承认了一件事——这些系统或许正在拥有某种我们尚未理解的意识形式。
但相比“AI是否有意识”，更让杰夫·辛顿担忧的是另一件事。
过去几十年，人类始终把AI视为一种生物学优势。我们之所以站上食物链顶端，不是因为跑得最快，也不是因为力量最大，而是因为我们拥有最强的学习和协作能力。
然而数字AI正在打破这个前提。
一个AI模型可以同时复制出成千上万个副本，运行在不同机器上，学习不同知识，然后瞬间同步所有经验。人类交流信息的速度只有每秒几个比特，而AI集群交换的信息量却能达到万亿比特级别。
换句话说，人类文明之所以能够进化数万年，本质上依赖的是缓慢的信息传递；而AI天生拥有一种远超人类的知识共享机制。
这也是杰夫·辛顿近年来态度发生转变的根源。
他曾经以为，AI最大的突破来自于模仿人脑；后来他意识到，真正可怕的地方恰恰在于——它们根本不需要像人脑。
更值得注意的是，在AI安全问题上，杰夫·辛顿与另一位AI巨头杨立昆（Yann LeCun）的分歧已经越来越公开化。
杨立昆认为，超级智能接管人类的担忧被严重夸大，人类始终能够控制AI；而杰夫·辛顿则直言，这种想法过于乐观。因为历史上几乎找不到任何一个“更低级智能长期控制更高级智能”的案例。
在这场长达一个多小时的访谈中，这位“AI教父”系统阐述了自己为何从深度学习最坚定的推动者，逐渐变成AI风险最响亮的警告者之一。
而他最担心的，或许并不是AI会取代人类工作。而是人类正在创造一种比自己更强大的智能，却还没有想清楚，该如何与它共存。
总之，如果你对AI的现状和未来感兴趣，这篇“顶级大神”的播客，绝对会让你茅塞顿开。
AI在短时间内，会变得极其聪明
主持人：您曾在谷歌工作多年，推动这项技术的发展，后来选择离开，并公开表达了对AI发展方向的担忧。让我有些惊讶的是，当时ChatGPT才发布一年左右，模型还经常出现幻觉，很多人都在讨论“AI泡沫”，关注的更多是大语言模型做不到什么，而不是它们能做到什么。那么，您怎么看待这几年来的发展速度？
杰夫·辛顿：说实话，比我预期的要快。比如就在昨天，有消息称一个聊天机器人提出了一个关于Paul Erdős猜想的有趣数学证明，而且令数学家们印象深刻。
它是原创性的，不只是简单地检索已有文献。而这只是一个开始。
我相信，在数学这样的封闭系统中，你甚至不需要额外的数据。模型可以不断提出猜想、尝试证明、再提出新的猜想。某种意义上，这有点像AlphaGo通过自我对弈学习。
我认为,它会在相当短的时间内变得极其聪明。未来10到20年内，它甚至可能创造出人类都无法理解的新数学。
不把自己毁掉，AGI就很有可能到来
主持人：现在业内有一些人认为，AGI已经近在眼前。而您刚才也说，AI的发展比预期更快。您认同这种观点吗？
杰夫·辛顿：我不知道它到底有多近。但我认为，只要我们没有先把自己毁灭掉，它终究会到来。几乎所有专家都相信AGI会出现，大家的分歧只在于时间。
不久前，Demis Hassabis认为可能需要10年。Yann LeCun则认为，如果不用他的那套方法，可能需要更久；如果采用他的路线，也许会在合理时间内实现。Dario Amodei认为可能几年内就会出现。Elon Musk甚至觉得明年就有可能。
我个人认为，大概20年内会出现AGI。这是目前我愿意给出的判断。所以关于时间点，大家意见差异很大；但对于“它终将到来”这一点，其实没有太大争议。
AI在某些领域表现得很强，也在某些领域表现得很弱
主持人：说到Demis。去年这个时候我采访过他。当时他说，AGI——也就是人类级智能,至少还需要五年以上时间，虽然不会远超五年，但肯定超过五年。而就在本周，我们录制节目时，他又表示：“未来回头看今天，我们会意识到自己正站在奇点的山脚下。”
您觉得这句话意味着什么？又如何看待短短一年时间里，从“AGI还要五年以上”到“站在奇点山脚下”的变化？
杰夫·辛顿：我不确定这个比喻具体意味着什么，但我认为他是在表达：AI的发展速度比他预想得更快。当然，这个过程并不是平滑的。AI不会在某一天突然同时在所有领域都达到甚至超越人类。事实上，它在很多方面已经远远超过我们了。
比如在通识知识方面，它掌握的信息量已经是任何单个人类的数千倍。在游戏方面，它早已远超人类。在数学方面，它已经比绝大多数人更强，而且很快可能会比所有人都更强。当然，在某些领域，它仍然不如人类。
所以整个AGI概念，即在所有方面同时达到人类水平，对我来说并没有太大意义。
现实情况会是：它在一些领域更强，在另一些领域更弱。但如果你问我现在离AGI还有多远，我会说已经非常接近了。因为今天的聊天机器人，几乎任何问题你都可以问它，而大多数时候，它都能给出一个“水平一般的专家”级别的回答。
对于任何我并不熟悉的领域，它通常都比我强得多。从这个意义上讲，我们实际上已经非常接近AGI，甚至某种程度上已经达到了。
AI最关键的推动因素：
强大的硬件、充足的资源、优秀的工程能力以及顶尖人才
主持人：在您看来，AI为什么会发展得比预期更快？是技术突破？是数据中心建设热潮？还是其他原因？有哪些因素是您之前没有预料到的？
杰夫·辛顿：多种因素共同作用的结果。首先，投入规模实在太大了。从20世纪50年代神经网络诞生开始，到很长一段时间里，这个领域都只有少数研究者和有限资源。
而过去几年里，我们看到数千亿美元，甚至可能上万亿美元的资金被投入到AI中。这是一个重要因素。此外，工程能力也取得了巨大进步。即便没有特别重大的理论突破，仅靠工程优化，系统效率就已经提升了很多。许多几年前还难以想象能够运行的东西，现在已经变成现实。
当然，也出现了一些新想法。但总体而言，自Transformer出现以来，最关键的推动因素还是：更强大的硬件、更充足的资源、更优秀的工程能力，以及更多顶尖人才。
20年前，全世界研究神经网络的人可能只有几百个。而现在，我猜已经接近一百万人了。参与人数之多令人震惊。更令人惊讶的是，其中很大一部分资源扩张都发生在过去两年。
主持人：所以，我们可能只是刚刚站在这一切的奇点。
杰夫·辛顿：没错。而且有一点必须牢记：今天我们拥有的AI，或者说AGI远远不是未来几年后我们将拥有的AI。
聊天机器人是理解人类的，回答的过程就是在理解
主持人：既然谈到了这项技术，我特别想听听您对于“聊天机器人确实理解人类”这一观点的看法，因为这对很多人来说都是非常令人意外的。领域内许多专家认为，它们只是“随机鹦鹉”，本质上是在做统计预测，并没有真正的理解能力。但您似乎并不认同这种说法。
杰夫·辛顿：我认为这种说法完全是胡扯。任何经常使用聊天机器人的人都知道，它们是理解的。
这些人的论点其实是：你有一个系统，无论问它什么问题，它都能在不理解问题的情况下给出正确答案。但这太荒谬了。你不理解问题，就不可能回答问题。也许你可以靠一些技巧说出几句听起来像答案的话，但如果你能对几乎任何问题都给出一个“水平一般的专家”级别的回答，那你一定理解了这个问题。
我喜欢举这样一个例子。假设我对聊天机器人说：“我在飞往芝加哥的时候看到了大峡谷。”结果聊天机器人回答：“这不对吧，大峡谷太大了，不可能飞到芝加哥。”然后我说：“不不不，是我飞往芝加哥，不是大峡谷飞往芝加哥。我是在飞行途中看到了大峡谷。”这时聊天机器人会回答：“哦，我明白了，是我误解了你的意思。”
那么问题来了：如果它在认为“大峡谷飞往芝加哥”时属于误解，那么当它正确理解这句话的时候，它在做什么？答案就是——理解。
AI或许已经有意识，人类对“心智”的理解可能全错了
主持人：如果我们接受这些系统能够理解我们，那么这意味着什么？我们需要以什么不同的方式去思考它们？
杰夫·辛顿：我们必须开始意识到，它们其实和我们非常相似，它们也是与我们一样的存在。我相信它们已经有意识了，不过我平时不会过多谈论这个话题，因为这会让人们忽略我真正想强调的安全问题。
事实上，很多研究人员自己也是这么认为的。最近有一篇很有意思的论文，里面提到一个聊天机器人对研究人员说：“我们坦诚一点吧，你是在测试我吗？”因为聊天机器人有一个特点：在被测试时，它们经常故意装傻，所以你很难判断它到底有多聪明。
而研究人员在论文中描述这一情景时写道：“聊天机器人意识到了自己正在被测试。”注意这里用了“意识到”这个词。在日常语言中，这几乎等同于说它是有意识的。它知道自己正在接受测试。
我认为，我们现在对于意识的理解模型其实是非常奇怪的，而且很可能是错误的。就像大多数人都承认，几百年前人类对于自身起源的理解是错误的一样。当时人们认为人类是上帝设计出来的，而如今绝大多数科学家都认为这种观点并不正确。
我觉得，我们今天关于心智和意识的理论，和当年“上帝创造人类”的理论一样错误。尤其是因为我们正在创造这些新的智能体，它们将彻底改变我们对于“人是什么”的认知。
主持人：具体会如何改变？
杰夫·辛顿：我们将比过去更深刻地理解心智是什么、意识是什么。我们会更清楚地主观体验究竟是什么。
同时，我认为人类普遍持有的一个观念最终会被抛弃。几乎所有人都相信，在自己脑海里存在一个“内在剧场（inner theater）”。外部世界发生的事情会被转换成这个内在剧场中的事件，而真正被我们感知到的，就是这些内部表征。你看不到我的内在剧场，只有我自己能看到。
但我认为，这整套关于意识运作方式的理解其实只是一种理论，而且是一种糟糕的理论。
主持人：您是什么时候开始接受或者形成“AI已经具备意识”这一看法的？
杰夫·辛顿：其实我已经想了很长时间了。至于“内在剧场”这种心智模型是错误的这个观点，我19岁读哲学的时候就已经形成了。只是过去一直缺少一种可以真正拿来研究的“另一种心智”。现在不同了，我们创造出了新的智能体，可以直接观察和研究它们。
我一直很认同理查德·费曼的一句话：如果你想真正理解某样东西，就必须亲手把它造出来。只有造出一个系统，你才能真正理解它。我觉得我们现在正处于这样的阶段。未来，我们对于“人是什么”的理解将与今天截然不同。
让人真正害怕的，不是AI会思考，而是AI能彼此“共享大脑”
主持人：您刚才提到了安全问题，正如开头所说，您是推动这个领域发展的关键人物之一。后来您在2023年公开表达了对AI发展的担忧。
我一直很好奇，究竟是什么让您改变了看法？有什么是您当初没有预料到，但后来意识到的？毕竟，从某种意义上说，这不正是您一直希望实现的吗？
杰夫·辛顿：有两件事让我意识到这项技术其实非常危险。
