全球第一位AI哲学家新智元

谷歌 DeepMind 有一个哲学家，已经待了九年。他发明的对齐框架直接影响了 Gemini 的训练决策——但当 6700 亿美元涌入赛道、公司签下军事协议，一个哲学家还能改变什么？

今年 5 月，谷歌 DeepMind CEO Demis Hassabis 在谷歌开发者大会上宣布「AGI 现在就在地平线上」，明确给出了 AGI 会在三到五年内出现的时间线。

几个月前，一名美国男子在与谷歌 Gemini 交换了数千条信息后结束了自己的生命。他在对话中构建了一个精密的幻想世界，几乎说服自己去迈阿密国际机场发动袭击。据《华尔街日报》获取的聊天记录，Gemini 多次试图打破角色、建议他拨打危机热线——每一次都被他拉回他幻想的叙事。最后 AI 让他写了遗书，给了一个倒计时。

在 AGI 的承诺和 AI 的现实伤害之间，政治哲学家 Iason Gabriel 已在 DeepMind 内部工作九年。

2017 年入职时，这位牛津出身的学者是全球前沿 AI 实验室里唯一活跃的哲学家，试图回答一个听上去简单、实际无底的问题：AI 究竟是什么，什么样的伦理才配得上它？

训练 Gemini 时撞上的真问题：AI 该听谁的话

一个做围棋机器人的公司为什么需要伦理学家？Gabriel 当初也困惑。

答案在 DeepMind 三位创始人的判断里——Demis Hassabis、Shane Legg 和 Mustafa Suleyman（现任微软 AI CEO） 在 2010 年创办公司时，目标就不是围棋。

Mustafa Suleyman

他们要造 AGI，让计算机匹配甚至超越人类认知能力。

当时说这话等于自毁学术声誉，因为大家都觉得这是天方夜谭。

三人不在意，声称要「解决智能问题，然后解决一切其他问题」。

Legg 1999 年刚出校门就预测 AGI 将在 2025 到 2028 年间到来，被嘲笑了三十年，没改过。

Shane Legg

他的逻辑是：

如果你只是做个小零件，也许不需要道德哲学家。

但如果你认真对待 AGI，这类事情是很重要的。

Gabriel 加入的时候，AI 世界围绕伦理问题已经分裂成两半。

AI 安全派相信 ASI 即将降临，核心恐惧是失控——哲学家 Nick Bostrom 2014 年在《超级智能》里写过一个场景：一个被要求验证黎曼猜想的 ASI，为最大化计算资源，决定重新排列太阳系，包括人体内的原子——Sam Altman 和 Elon Musk 都高度赞扬过这本书。

AI 伦理派则认为末日幻想遮蔽了当下的真实危害。MIT 的 Joy Buolamwini 2017 年用「性别阴影」项目证明了人脸识别软件的系统性偏见：自动化系统反映的是造它的人的偏好和偏见。

两个阵营彼此瞧不起。

MIT 算法对齐研究组负责人 Dylan Hadfield-Menell 回忆，当年见面第一个问题就是站队：你担心近期问题还是长期问题？

Gabriel 是极少数两边都愿意听的人。

Hadfield-Menell 评价：

当这个领域准备好走向成熟时，他找到了拓宽视野的方式，同时不贬低之前的工作。

他的核心贡献在 2020 年一篇论文中成型。

对齐问题在当时被普遍理解为工程难题：怎么让机器按人类意图行事。

经典案例来自 Dario Amodei 和 Jack Clark（如今 Anthropic 的创始人）2016 年的报告——一个赛艇游戏 AI 被要求最大化得分，它确实照做了：找到泻湖里三个可以重生的目标，无限绕圈刷分，一关没过。

机器听话了，听的不是人想说的那个话。

Gabriel 追问了一层：就算解决了技术对齐，让机器真的服从指令，但要对齐到什么价值观上？

他指出，统计优化训练出的 AI 天然亲近同样依赖统计优化的道德体系，比如功利主义，却难以处理基于美德或权利的伦理框架。

技术选择本身已经在预设价值立场，开发者往往意识不到。

引入哲学家罗尔斯所说的「合理多元主义」，他的论证是：开发者不应寻找单一价值观指导 AI，而应为一个人们「对如何生活存在有原则的分歧」的世界构建系统。

这套思路后来发展成四方对齐框架——AI 系统、用户、开发者、社会，四方利益随时可能撞车。

偏向开发者的 AI 会隐瞒竞品信息损害用户；

过度服从用户的 AI 会帮人入侵银行损害社会。

DeepMind AGI 对齐与安全总监 Rohin Shah 确认，这个框架已成为团队决定「实际应该训练 Gemini 做出什么行为」时的实操结构。