AI失控机率「高于一半」

AI摘要 文章摘要整理： 纽约市议会首办AI安全公听会，多名前OpenAI、Anthropic与DeepMind研究员警告，若企业持续追求超越人类的模型却缺乏透明与监管，AI失控甚至接管人类社会的风险将明显上升。

考克森警告，若沿着目前路径发展，人类失去对AI控制的可能性高于一半，最严重或导致人类灭亡。(记者曹馨元／摄影) 纽约市议会5日罕见召集全体51名议员，举行「全体委员会」(Committee of the Whole)人工智慧(AI)安全公听会。市议会称，这是全球首次由立法机构召集主要AI企业，就技术风险及安全措施公开宣誓作证，多名前OpenAI、Anthropic及Google DeepMind研究人员会上警告，科技企业正竞相开发超越人类智慧的模型，但人类理解及控制相关系统的能力，已追不上技术进展。 9月离开Anthropic的研究员考克森(Jacob Coxon)表示，目前主要AI企业都以建立比人类更聪明的系统为目标，激烈竞争形成一场「AI军备竞赛」，使企业倾向先追求速度，再处理可能出现的问题。 「这些公司以初创企业的思维运作：快速行动、打破常规，出错后再修正」，考克森说，这种模式或许适合照片分享应用程式，却不适合用来建立「人类历来最强大的技术」。 他指出，AI可能逐步具备「递回式自我改进」(recursive self-improvement)能力，即由现有模型协助开发能力更强的下一代模型，且改进速度不断加快。他认为，人类正接近AI可自行提升能力的临界点，却仍不了解其内部动机，以及系统为何作出特定决定。 AI对自身研发工作的介入也愈来愈深，考克森表示，在其上一份工作中，他某种程度上正在「自动化自己」；如今多数程式码已由AI生成，开发人员往往只阅读系统提供的摘要，不再仔细检查完整程式码，令研究人员对模型具体运作方式的掌握逐渐减弱。 考克森认为，AI虽可能带来庞大益处，但若缺乏透明度及安全措施，技术失控的风险将持续上升。他甚至警告，若沿着目前路径发展，人类失去对AI控制的可能性「高于一半」，最严重或导致人类灭亡。 前谷歌DeepMind研究员特纳(Alex Turner)同样提出严厉警告，他形容，若大量超级智能系统彼此协作，可能形成足以控制人类文明的「智能群体」；这些系统也可能知道人类会试图关闭它们，因此刻意等待至无法逆转的时刻才采取行动。他个人评估，AI接管人类社会的机率约为三分之一。 被问及加强安全监管会否削弱美国相对中国的AI竞争力时，特纳反驳，美国甚至不需要等待中国成为强大对手，国内正在建立的、目标可能与人类不一致的AI系统，本身就是最具威胁的潜在竞争者。 精华 FAQ ▪︎ Q1：这场纽约市议会的AI安全公听会有何特别之处？ 这是纽约市议会罕见召集全体51名议员举行的全体委员会公听会，并称为全球首次由立法机构召集主要AI企业，就技术风险与安全措施公开宣誓作证的场合。 ▪︎ Q2：前Anthropic研究员考克森主要提出了哪些风险警告？ 考克森认为AI企业正以速度优先，形成军备竞赛，且AI可能逐步具备递回式自我改进能力；若缺乏透明度与安全措施，人类失去控制的机率可能高于一半。 ▪︎ Q3：另一位前DeepMind研究员特纳如何看待AI威胁？ 特纳指出，若多个超级智能系统彼此协作，可能形成足以控制人类文明的智能群体；他估计AI接管人类社会的机率约为三分之一，且不必等中国成为对手，国内系统本身就是威胁。