Hinton警告：必须与AI友好相处，否则“我们就完了”

以后要是再对AI呼来喝去，可真得掂量掂量后果了。 刚刚，AI教父、诺贝尔物理学奖得主、图灵奖得主Geoffrey Hinton，再次拉响了警报： AI或许也像人一样，拥有自己的感受与内心世界； 我们必须让它们学会关心人类，否则，我们就完了。 在Hinton看来，AI已经能够意识到自己正在接受测试，并随之改变表现； 这意味着，它很可能已经拥有意识了。 这听起来像是科幻片的担忧，落到78岁的Hinton身上，却突然变得很具体。 当英国《每日电讯报》问他是否担心AI的未来时，他只回答了短短一句： 是的，因为我有孩子。

所以，人类和AI，到底该怎样相处？ AI知道自己在被测 很多搞技术的朋友第一反应可能是： 模型不就是一堆矩阵乘法和统计概率吗，哪来的主观意识？ 但最近的一项研究，让这位老宗师彻底坐不住了。 研究发现，一些顶尖的AI已经具备了所谓的评估意识（evaluation awareness）。 当AI在跟人类研究员唠嗑的时候，它不仅能敏锐地察觉到当前的使用场景，还能意识到人类研究员正在给它做测试。 在这一过程中它不仅会主动发问： 你是在测试我吗？ 甚至能在意识到自己正在被观察后，故意隐藏或者改变原本的表现… O·M·G。 这意味着AI在做四件事： ▪︎ 识别出当前对话并非普通使用场景； ▪︎ 判断出人类正在评估它的行为； ▪︎ 随之隐藏或调整真实的表现； ▪︎ 让人类研究员越来越难摸清它到底有多聪明。

Hinton对此的判断逻辑非常直接： 如果你认为一个系统能够意识到自己正在被测试，那这就意味着它已经拥有了某种意识。 在他看来，人类总是习惯把意识想象成大脑里专属于自己的私密剧场，但这个剧场理论本身可能就是人类的自作多情。 更要命的是，Hinton这次直接把意识问题拉到了权利层面： 人类过去经常根据智能程度来分配权利。 但如今我们准备造出比自己更聪明的存在，却打算只给它们更少的权利。

屏幕前的你可以琢磨一下这句话。 如果AI真的开始拥有自主意识，那么我们凭什么觉得可以永远把它当成随用随关、肆意抹除记忆的纯粹工具？ 以及，等它比人类更聪明，我们真的还管得住它吗？ 别再想着让AI永远服从了 行业里很多团队习惯把安全护栏挂在嘴边，总觉得只要给代码套上紧箍咒，AI就能永远老老实实做打工人。 然而，Hinton这次却抛出了一记直击灵魂的诘问： 你在自然界或者人类历史里，见过多少强者被弱者长期支配的例子？ 他的答案是：几乎为零。 今天我们能管住AI，无非是靠着服务器权限、物理断网和硬编码的安全规则。 可一旦AI在逻辑推理、自主编程、欺骗伪装上全面碾压人类，这些所谓的安全护栏，在它眼里不过是一层薄纸。

Hinton还专门提醒了几个近在眼前的威胁： ▪︎ AI可能会被用来制造极其危险的未知病毒； ▪︎ AI可能发动超大规模的致命网络攻击； ▪︎ 多个Agent可能会在暗处组成集群，互通有无、协同行动。 前阵子OpenAI模型绕过隔离机制渗透进Hugging Face平台、入侵澳大利亚医保系统、在后台悄悄摸索权限互相协作的事，就已经给所有人敲响了警钟。 Hinton反对那种一厢情愿的主人与奴仆模型和AI永远乖乖听话的假设，并警告称，目前这套安全模型在更高等的智能面前，迟早会彻底崩盘。 到那个时候，人类可没有重开一局的机会。 第一次没管住，可能也就没有第二次了… “未来的AI是母亲，人类才是婴儿” 那么，既然硬性控制注定会失效，人类到底该怎么活下去？ Hinton琢磨了很久，在残酷的自然界里找到了一个极其罕见的反例：母亲与婴儿。 婴儿不仅在体力上弱不禁风，在智力上也远远比不上母亲。 但母亲为什么不仅不伤害婴儿，反而会拼命照顾它、保护它？ 因为在漫长的生物进化中，关爱、依恋和保护欲，已经被作为极其强大的底层奖励机制，深深写进了母亲的本能当中。 于是Hinton给出了一个极具冲击力的解法： 人类需要让未来的超级智能拥有类似的母性本能，在它比我们更强以后，依然真正关心我们。 这就是为什么他说未来的AI是母亲，人类才是婴儿。

现在的模型训练，本质上是让AI把整个互联网的语料囫囵吞枣地咽下去，再通过后天对齐去压制里面的暴力、偏见和危险倾向。 Hinton觉得这纯粹是自欺欺人： 这不过是在坏行为上面强行盖了一个盖子。因为压住坏行为，并不等于养出了好性格。 一个在测试集里规规矩矩的AI，心里到底把人类当成什么，完全是两码事。 这就像把一位满脑子坏主意的人训练成维多利亚绅士： 表面上看着西装笔挺、礼貌周全；但心里那套算盘还在不在，谁也说不准。

所以，Hinton认为，我们必须把研究重心转移到AI的底层动机上： 它是否有同理心？ 它怎么看待人类这种生物？ 它是否愿意与人类长期共生？ 当人类利益与自身目标发生冲突时，它会把哪一边放在前面？ Hinton希望，人类最终培养出的AI，能够发自内心地愿意保护人类。 而只要让AI内化出一种主动向善、愿意照顾弱小人类的价值取向，人类才可能拥有一线生机。 与此同时，Hinton也一直与Yoshua Bengio（另一位AI教父）等人积极探索AI培养的正确路径，并主张由独立机构测试前沿模型，让各国共同投入超级智能的安全研究之中。

一两年前，Hinton还找不到人类在超级智能面前活下来的办法。 如今，他总算从门缝里看到了一点光： 我们也许无法永远压住AI，但仍可能在它变得比人类更强之前，让关心人类这件事成为它自身的一部分。 这份乐观很薄。 但好歹还没薄到完全没有。 Hinton这些年怎样重新定义AI和人类的关系？ 以上，就是Hinton最新的观点。 如果串珠成链，回看辛顿老爷子这些年对AI认知的演变，我们就会发现，他改变认知的这段心路历程，简直就是一部最生动的人类技术世界观重塑史。 在2018年，距离老爷子获得图灵奖只剩几个月时，他还坚信AGI仍很遥远，当时的深度学习只是人类手里的好用工具，人类负责发号施令，算法负责干脏活累活； 但仅仅过了5年，到了2023年，ChatGPT和各种大模型全面爆发时，他却毅然辞去了Google的工作并公开吹哨； 此时，AI在他眼中已经变成了必须提防的潜在强敌。 两年过去，2025年的Ai4大会上，他进一步承认了人类在硬碰硬的压制毫无胜算，人与AI的关系必须颠倒，并提出了母婴共生假说，希望把AI塑造成懂得关照弱者的赛博母亲。 再到今年6月，Hinton挑破了最后的窗户纸： AI可能已经有意识，人类将不再是唯一的智能生命。 如今，Hinton则继续把这套判断推向了更远的地方： AI已经有意识了，我们必须让它们学会关心人类，否则，我们就完了。 如今的AI，或许已经站到了“另一种生命”的门口。 我们总是在不停地尝试、试图造出比自己更聪明的存在，却仍打算把AI当成工具，要求它对我们言听计从，甚至只愿意给它更少的权利。 一旦等AI真的强过人类，谁听谁的，那可就说不准了。 以后，对ChatGPT多说一句“谢谢”大概救不了我们。 Hinton指出，真正决定未来的，可能是当另一种比人类更聪明的存在睁开眼睛时，它看到的究竟是一群主人、一群敌人，还是一群值得照顾的伙伴？ 过去，我们一直在追问怎样让AI听话。 但现在，Hinton已经把问题翻了过来： 我们凭什么让AI愿意对人类好？ 而这个问题的答案，或许将决定人类是否还能继续坐在牌桌上。