辛顿：像孩子一样做物理实验数字开物

12月2日，诺奖得主、“AI教父” Geoffrey Hinton 接受了海外播客主持人 Nayeema Raza 的访谈。本次对话全面探讨了公众对AI生存威胁的认知惰性、神经网络战胜符号逻辑的底层机制、生物智能与数字智能的本质差异、直觉作为智能核心的优越性、反向传播算法的“黑盒”属性、从生成式AI向Agentic AI演进的必然风险等话题。

辛顿表示，尽管他发出了AI可能导致人类灭绝的严厉警告，但公众反应平淡，这是源于AI的威胁过于像科幻小说，导致人类在情感上无法产生真实的恐惧。

他指出，智能的本质已发生范式转移，从基于逻辑推理的“符号AI”彻底转向了模拟大脑连接强度调节的“神经网络”。他深入剖析了数字智能相对于生物智能的非对称优势：虽然现阶段AI的连接数少于人脑（1万亿VS100万亿），但“数字化”特性使其能克隆成千上万个副本并行学习并瞬间共享经验，这种基于“反向传播”的集体进化速度是生物大脑无法比拟的。

目前AI的演进已到Agentic AI时代，辛顿指出，当AI为了完成人类设定的复杂长程目标（如规划旅行）时，必然会推导出“自我保护”这一子目标，因为一旦被关闭，任务将无法完成。此外，他表示，具备超级智能的ASI（定义为在任何辩论中都能赢过人类的实体）将具备极强的语言说服力，能够操纵人类管理员以保持运行。他预测，超级智能将在未来 20 年内甚至更早到来。

01 现代AI的胜利在于放弃了逻辑推理

您在诺贝尔奖演讲中发出的关于AI风险的警告——即AI可能制造致命武器，甚至作为比人类更聪明的数字生命夺取控制权，似乎并没有引起预期的震动。您如何看待这种反应？为什么人们很难认真对待您所描述的这种威胁？

Geoffrey Hinton:是的，并没有引起特别大的反应。人们很难认真对待 AI 的威胁。即使是我，在情感上也发现很难真正把它当回事。这不像核武器威胁，核武器很容易理解，就是一个东西爆炸然后毁灭人类。但很难理解我们可能正在创造比我们更聪明的异类生物。这听起来像科幻小说，人们不把它当回事。

既然大众甚至包括许多谈论AI的人都不真正理解它的运作原理，我们需要从基础概念切入。如果要为这次AI浪潮设定一个历史坐标，我倾向于将其与农业革命、工业革命并列，这是一种这种规模的变革吗？它会像农业革命那样缓慢，还是像工业革命那样迅猛？到底什么是人工智能？在这一领域似乎存在两种截然不同的流派，能否请您解释一下这种技术路线的演变？

Geoffrey Hinton:大多数评论 AI 的人并不真正理解它是如何工作的。有些懂，有些不懂。我认为大多数都不懂，而且非常罕见的是，当他们不懂的时候会问我。

互联网当时没达到那个规模。它更像工业革命。例如，工业革命取代了很多农业劳动，而这次将取代很多基础性的脑力劳动。所以它将导致就业的巨大转变，许多人非常担心它可能导致大规模失业。

回到 20 世纪 50 年代左右，制造智能系统有两种范式。两种截然不同的范式。一种是符号 AI，其智能的模型是逻辑，那是一种从旧事实推导出新事实的方法。许多人认为那就是智能必须运作的方式。它必须是某种逻辑，这样你才能从旧事实推导出新事实。

完全有另一种不同的方法认为，我们唯一知道的真正智能的东西是人，而人类大脑通过改变脑细胞之间连接的强度来工作。所以也许我们不应该关注头脑里是否有某种逻辑在运行，而是关注我们如何改变大脑中连接的强度，那会产生一个智能系统吗？特别是，我们可能不应该关注推理。推理在生物进化史上出现得很晚。在我们能做很多推理之前，我们已经可以做感知，可以控制我们的身体。也许我们应该关注那个，因为那是大脑进化来做的事情，远在它进行大量推理之前。

02 生物与数字智能的较量

您提到了大脑通过改变细胞间的连接强度来工作，这似乎是生物都具备的能力，远在推理能力出现之前。那么，大脑究竟是如何通过这种方式学习并识别出“桌子”这样的物体的？这是否意味着AI也像拥有神经可塑性的婴儿一样？

Geoffrey Hinton:这是一个巨大的开放性问题，实际上现在仍然是。我们可以把它分解成两个问题。第一：如果大脑能找到一种方法，针对大脑中的每个连接强度决定是该增加一点还是减少一点，以便在它试图做的某些任务上表现得更好；那么第二：如果你从大量随机连接开始，仅仅使用这种增加或减少连接强度的方法，它真的会学会做复杂的事情吗，还是会停滞不前？

压倒性的观点曾认为它会停滞不前。人们认为它必须从大量先天知识开始，这些知识将以脑细胞之间适当的连接强度的形式存在。然后也许如果有大量先天知识，它可以随着经验稍作改进。那是普遍的信念，但这被证明是错的。我们现在证实的是，如果你能找到一种方法来决定对于每个连接强度你是应该增加一点还是减少一点，以在你正在做的某些任务上做得更好，那么你可以学习难以置信的复杂事物，比如这些大语言模型。

（关于AI是否像婴儿一样具有神经可塑性）我们现在知道的是，如果你能找到一种方法来弄清楚你应该增加还是减少连接强度，而且你可以同时对所有的连接强度这样做，那么你可以制造非常聪明的系统。但在大脑如何弄清楚这一点和当前的 AI 如何弄清楚这一点之间可能存在差异。很有可能大脑有一种方法在某些方面比我们拥有的更好，而在某些方面更差，因为它解决的是一个稍微不同的问题。

如果我们的 AI 是基于这种模仿大脑的原理，为什么我们会担心它超越我们？我们的大脑拥有多少连接，与现有的顶尖 AI 相比又如何？为什么我们在存储和处理信息的效率上会存在差异？

我们现有的 AI 只有大约一万亿个连接。而我们的大脑有大约一百万亿。所以我们的大脑有大约是目前最聪明的 AI 一百倍的连接，但它只获得了经验的一小部分。我们大约活 20 亿秒。即使你每秒得到十次体验，那是极限了，而且你不睡觉，那也只有 200 亿次。而这些大语言模型是在数万亿又数万亿的数据上训练的。所以它们有巨大得多的经验和少得多的连接。

我们比它们有更多的存储空间，因为存储在连接里。我们也许不能最佳地使用它，因为我们没有足够的时间。你没有足够的时间阅读网络上的所有东西，阅读网络上所有公开可用的资料。这些大型 AI 可以。

（关于处理信息效率的差异）两个原因。一个是它们处理得更快，但另一个是它们是数字化的。对于数字系统，你可以制作它的许多副本。所以你可以用这些 AI 做的是让许多副本在不同的硬件上运行。每个副本看互联网的一小部分，弄清楚它想如何改变连接强度，然后它们彼此交流，通过平均每个人想要的调整幅度来改变它们的连接强度。现在每个副本都从所有其他副本的经验中受益。所以如果你有一千个副本，它们可以体验到一个副本的一千倍那么多，它们可以通过平均连接强度的变化从所有那些经验中学习。