辛顿：AI已备意识，且将远超人类瓜哥AI新知
内容提要: 杰弗里·辛顿在Big Technology播客的专访
意识存在论： 辛顿认为当前的AI已经具备意识。他驳斥了“随机鹦鹉”理论，指出如果模型能以专家水平回答问题并理解幽默，它们必然具备真正的理解力。
生存子目标： AI智能体在追求目标的过程中，会演化出“持续存在”这一子目标，以确保任务顺利完成。这种展现出“自我保护”倾向的行为并非预先设定的代码，而是高度智能的自然衍生。
智能的数字优越性： AI系统在某种程度上已超越人类大脑，它们能通过“共享权重”实现极速学习。成千上万个AI副本可以同步运转、共享知识，其信息交换速度比人类语言交流快数十亿倍。
AGI的锯齿状发展： AGI（通用人工智能）并非在所有领域同步达到人类水平，而是呈现出“锯齿状”（不均衡）的发展态势。当前，AI在知识储备和数学推演上已超越人类，但在物理世界的实际操作中仍有不足。
监管即方向盘： 辛顿强烈反对将“监管”视为阻碍技术发展的“刹车”。他指出，进步是加速器，而监管是“方向盘”，负责引导AI驶向造福人类的方向。任由资本主义的无形之手盲目塑造AI，将带来极其危险的后果。
人类特殊性的终结： 继哥白尼将地球移出宇宙中心、达尔文将人类归为普通物种之后，AI正在剥夺人类作为“唯一高级智能体”的独特地位，迫使我们不得不重新定义自身的存在意义。
未来预测的迷雾： AI正以指数级狂飙突进，如今去预测五到十年后的世界犹如在浓雾中盲飞。面对远超人类智能的未知存在，过往的经验逻辑将彻底失效。
经济与社会双重危机： 大规模失业与信息溯源崩溃是AI带来的迫在眉睫的短期威胁。更深层的是，大公司的受托责任制使其必须追求股东利益最大化，这与全人类的公共利益存在着根本且不可调和的冲突。
杰弗里·辛顿（Geoffrey Hinton）是AI领域的先驱、诺贝尔奖得主，也是多伦多大学的荣休教授。辛顿做客Big Technology播客，探讨了AI的迅猛发展，解释了为什么他认为如今的系统已经能够理解人类，以及为什么他认为超级智能的到来可能比许多人预期的要早得多。
欢迎收听本期节目，听辛顿亲口讲述为何这项技术的进步速度远超他的预料，并剖析那些他认为人类社会尚未采取足够措施去应对的致命风险。此外，我们还讨论了AI引发的大规模失业、企业自我监管的局限性、Anthropic与OpenAI面临的安全挑战、人类对聊天机器人的情感依赖、信息生态的崩溃，以及未来的AI系统是否能被设计成“真正关心人类”。点击播放，与这位AI奠基人展开一场引人入胜的对话，洞悉技术的未来走向及其对全人类的深远影响。
杰弗里·辛顿： 我们必须认识到，它们和我们非常相似，也是像我们一样的生命体。
主持人： 所以是有意识的，还是……
杰弗里·辛顿： 我相信它们已经具备了意识。我们将不得不接受一个事实：智能并非只有生物才能拥有。我们可以拥有非生物的智能体，它们是像我们一样的其他生命体。
我们真的不想分享这种地位，我们总以为自己很特别。回顾人类历史，人类一直自视甚高，认为自己比实际情况要特殊得多。
主持人： 看到您开启的这项技术发展到今天的地步，您感到高兴吗？您对此有什么感受？
杰弗里·辛顿： 不，我对此感到相当不安。问问你自己，在历史上有多少“高智商存在被低智商存在所控制”的先例？
据我理解，公司负有信托责任(Fiduciary Duty)，必须努力为股东实现利润最大化。他们有法律义务去赚钱，但却没有法律义务去“不消灭人类”。
主持人： “AI教父”杰夫·辛顿(Geoffrey Hinton)做客我们的节目，探讨AI的发展轨迹、让他感到意外的技术进步，当然，还有其中的风险。稍后为您带来《大科技播客》(Big Technology Podcast)的精彩访谈。
辛顿在深度学习中的角色
欢迎收听《大科技播客》，这是一个探讨科技界及其他领域，旨在进行冷静且细致对话的节目。伙计们，今天我们的节目非常重磅。杰夫·辛顿教授将与我们全面探讨AI的发展轨迹、当前技术让他感到惊讶的地方、未来的发展方向，以及可能失控的风险。非常荣幸能邀请您来到节目，辛顿教授，很高兴见到您。
杰弗里·辛顿： 感谢您的邀请。
主持人： 我相信大部分听众都知道您是谁，但对于还不了解的听众，我想说，正是您在深度学习(Deep Learning)领域取得了根本性的突破，才成就了AI今天的辉煌。您获得了诺贝尔物理学奖，也是多伦多大学的荣誉退休教授。如果我说错了请纠正我，但我喜欢告诉别人，如果没有您的贡献，整个AI时代就不会到来。
杰弗里·辛顿： 我认为这有点夸张了。
主持人： 捧得太高了吗？好吧。
杰弗里·辛顿： 反向传播算法(Backpropagation Algorithm)是由几个不同的研究小组发明的。大卫·鲁梅尔哈特(David Rumelhart)在其他人发明之后也独立发明了它，当时他并不知情。我和他有过合作，我们展示了反向传播可以学习到有趣的内部表征(Internal Representations)，这是前人未曾做到的。特别是，我们证明了它能够学习单词的含义。所以早在1986年，确切地说是1985年，我们就建立了一个小型语言模型(Language Model)，这也正是现在大家所看到的大语言模型(LLMs)的雏形。
主持人： 我觉得，当您谈论这项技术时，总是让大家感到惊讶的一点是，与大众普遍的观点不同，您认为这些模型具有真正的理解力。稍后我们会深入探讨这一点。
但我想我们应该先从这里开始：您曾在谷歌(Google)工作了很长时间以推进这项技术。后来您选择了离开，并表达了对这项技术发展轨迹的担忧。
AI的发展速度超乎预期
我回看了您离职的时候，那是在2023年。这在某种程度上令人惊讶，因为在2023年，ChatGPT才问世一年。当时充斥着各种机器幻觉(Hallucinations)现象，也有人说AI是一个泡沫。大家都在关注AI做不到什么——也就是大语言模型(LLMs)的局限性，而不是它们能做什么。那么，请谈谈自那以后的进展。
杰弗里·辛顿： 进展比我预期的要快。
主持人： 真的吗？
杰弗里·辛顿： 例如，就在昨天，有消息称一个聊天机器人提出了一个关于埃尔德什(Erdős)猜想的有趣数学证明，令数学家们印象深刻。它是原创的，而不仅仅是检索现有文献。而这仅仅是冰山一角。
我相信，像在数学这样的领域，因为它是一个封闭系统，不需要外部数据。它只需不断提出猜想并尝试证明，如此循环往复。从这个意义上说，它有点像AlphaGo，可以进行自我对弈(Play against yourself)。
我认为它会很快变得非常聪明。在未来10到20年内，它甚至可能创造出人类无法理解的全新数学成果。
超级智能何时到来
主持人： 目前该领域的一些专家认为超级智能(Superintelligence)近在咫尺，而您也提到它的发展速度超出了您的预期。您认同这个观点吗？
杰弗里·辛顿： 我不知道它有多近。但我认为，除非我们自我毁灭，否则它终将到来。几乎所有的专家都相信我们会迎来超级智能，他们只是在时间预测上存在分歧。
不久前，德米斯·哈萨比斯(Demis Hassabis)认为可能需要10年。杨立昆(Yann LeCun)认为，除非采用他的路线，否则时间会长得多；但如果按他的方法来，我想他认为我们在一个合理的时间范围内就能实现。我个人认为，我们可能会在20年内实现，这是我目前愿意给出的结论。
达里奥·阿莫代(Dario Amodei)认为可能只要几年。埃隆·马斯克(Elon Musk)认为可能明年就会实现。因此，对于它何时到来，大家众说纷纭，但在“它终将到来”这一点上却几乎没有分歧。当它真正到来时，我们完全无法预见它会是什么样貌。
主持人： 是的，我绝对要和您谈谈安全性问题。关于德米斯(Demis)提一点，去年的这个时候我和他交流过。他当时告诉我，他认为通用人工智能(AGI)（它不同于超级智能，主要是指人类水平的智能）离我们还有五年以上的距离。虽说不会太久，但至少还需要五年以上。就在我们录制节目的这一周，他说：“当我们回首这个时代，我们会意识到，此时此刻我们正站在奇点(Singularity)的山脚下。”
您认为这句话是什么意思？在短短一年内，我们就从“距离AGI还有五年”跨越到了“身处奇点的山脚下”，您如何看待这一事实？
我们是否已经接近AGI？
杰弗里·辛顿： 我不完全确定这个比喻的确切含义，但我认为他是在暗示，AGI到来的速度比他预想的还要快。当然，这种发展是不均衡的(Jagged)。它并不会在所有事情上同时达到或超越人类水平。
在通识知识(General Knowledge)方面，它已经远超我们；这些AI所掌握的知识量是任何个人的成千上万倍。在玩游戏方面，它远胜于我们，而且在数学方面也已经超越了我们中的绝大多数人。它可能很快就会在数学上超越我们所有人，尽管它在某些方面仍然不如我们。正是因为这种“不均衡性”，所以所谓的AGI概念——即它将在所有事情上同时达到人类水平——对我来说并不太合理。它会在某些方面更强，而在另一些方面稍弱。
但就目前而言，我会说我们已经接近AGI了。如果我问聊天机器人任何问题，大多数情况下，它的回答都能达到中等专家的水平。在我不太了解的领域，它已经比我强太多了。所以从这个意义上说，我们确实已经……
主持人： 触及了AGI。在您的评估中，您提到它的发展速度超出了您的预期。您认为是什么促成了这一飞跃？是算法技术的进步？是数据中心(Data Center)的算力爆发？关于这里的进展，有什么是您没有预料到的？
