奥特曼:谁来决定AI该比人类聪明多少?
AI究竟该被允许比人类聪明多少?
在11月3日发布的Raj Shamani访谈里,OpenAI CEO奥特曼主动抛出了这个问题。 这听起来像科幻片里的情节,其实距离普通人并不遥远。
评估机构METR有个指标:用人类专家所需的工时,衡量AI有五成把握独立完成的软件类任务有多长。 2025年初,这个数字约50分钟;到2026年4月,METR估计的数字已在16小时以上。 更关键的是,是增长速度的变化。 2019年到2025年初,这一指标大约每7个月翻一番;而2026年5月的报告发现,只看2024年以来发布的前沿模型,这个数字大约每105天就翻一番。
人类这边,20世纪的智商测试成绩,平均每十年涨约3分。这个现象以研究者詹姆斯·弗林的名字命名,叫「弗林效应」。 可这条曲线已经出现逆转迹象: 挪威研究者分析了约73万份征兵智商测试,发现1975年以后出生的人,分数开始往下走,降幅相当于每一代人少了约7分。 就连弗林本人,也在英国青少年身上看到过类似下滑。
一边,AI能完成的任务长度,按上述统计约每105天翻一番;另一边,人类IQ测试分数的历史增幅,通常是每十年约3分,部分国家还出现了下降。 两把尺子,不能直接算出「智力鸿沟」。但一个问题已经摆在眼前: AI能接手的工作越来越多,人类看懂它、核查它、管住它的能力,也得跟上。 这和我们有什么关系? 平时你拿AI写代码、查资料、改方案,它比你聪明半步,那是得心应手的「外挂」。 可一旦它比你聪明太多,性质就变了:你甚至连给它挑错的能力都没有。 你仍然可以质疑它,却越来越需要可靠的工具和其他人,帮你验证它。 就连造AI的人,也被类似的问题所困扰。 对奥特曼来说,打造超级智能的代价,已经体现在自己的生活里。 访谈中,主持人问他:哪个版本的自己已经「死了」? 奥特曼坦言:刚做OpenAI时,他还是那个生活轻松、满身爱好的人。如今日程已被精确排满,他已经很久没做过一件随性的事。 他说,想造出超级智能(ASI),就不可能不过上疯狂的生活。
奥特曼谈打造超级智能的代价:生活被精确安排,随性而为已成奢侈。 谈到OpenAI正在打造的技术,奥特曼强调,它将成为一股深刻影响社会的力量,责任重大,赌注极高。 进入递归自我改进(RSI)的过程中,他提醒,有两类风险需要同时防范: 一类是人类失去对AI的控制;另一类是权力过度集中在某个人、某家公司或某个国家手中。 前者关乎人类能不能管住AI,后者关乎这份力量最终掌握在谁手里。 AI越会研发AI 人还跟得上吗 GPT-4训完之后,OpenAI曾押上公司命运狂囤算力。 当时的逻辑很简单:大力出奇迹。 可如今谈到RSI,奥特曼的追问,背后多了一个最难提速的变量:人脑消化AI产出的速度。 这个速度跟不上,人与AI的智力鸿沟就只会越拉越大。 所谓RSI,就是让AI去研发下一代AI。造出更强的AI后,再让它接管更多研发工作,像滚雪球一样自己推着自己跑。 OpenAI在9月21日的文章里,曾划过一道安全线: 完全自主的RSI今天还没发生,在能确保安全之前,也不该去硬闯;要不要往前走、怎么走,得看人类是否能保住控制权。
OpenAI在9月21日强调,推进完全自主的RSI,必须以安全和保留人类控制权为前提。 但要守住这道安全线,还得缩小这个「速度差」:AI提出的新方案,人类的验证要跟得上。 假设一个系统能24小时不眠不休地抛出成百上千个算法改进。人类研究员还没弄清上一轮改动的影响,下一轮实验的倒计时已经响了。 这时,如果只看跑分涨了多少,就给方案放行,人工审核就可能沦为走过场。 人虽然还在流程里,控制权却未必还在手里。 当AI提出方案的速度快过人类理解和验证的速度,风险就可能在这段时间差中累积。 如果把AI能力比作控制面板上的一颗旋钮,能拧到哪一格,不能只看算力有多猛,还得看人类能不能看懂、验证,并在必要时叫停。 奥特曼在直播中追问的治理、监测和对齐,要落到实处,就绕不过三个问题: 谁来评估?谁来复核?谁有权改方向? 在9月21日的同一篇文章中,OpenAI还提出,对齐研究及其实际应用,需要走在能力增长前面。 到了10月,奥特曼在Matthew Berman的访谈里进一步表示,RSI的推进速度需要某种「限速」。
奥特曼在Matthew Berman访谈中表示,需要对RSI的推进速度设置某种限制。 这些讨论没有给出具体的智力上限,也没有给出完整的限速方案。 但往后衡量AI进步,不能只算「能力涨了多少」,还得算「人类来不来得及插手」这第二本安全账。 AI盯AI 警报响了谁接手 这本安全账要怎么算? 10月29日,OpenAI把前沿模型的分层监测机制摆上了台面。 整套系统看着像一道层层加码的机场安检,而且是用AI盯AI的「套娃模式」: 第一层是「安检门」,用轻量探针实时扫描模型内部的激活信号,原则是宁可错杀一千,绝不放过一个; 第二层是「审讯员」,派一个模型专门翻看智能体最近的对话、思维链和工具调用,揪出撒谎、越权和钻评测空子的猫腻; 第三层是「专案组」,交给调查智能体去回溯上下文、还原案发现场,必要时直接拉进隔离沙箱里跑代码取证。 毕竟,单看一句话和查清一次越权,完全是两码事。 很多危险动作拆开看都人畜无害,只有放回任务目标和前后行为链条里,才能看出它是不是在「暗度陈仓」。 到了训练、评测和内部Codex这类高危核心区,还有第四层「底线哨兵」。 它跳出对话,核对底层的网络日志和系统记录,最后拍板要不要拉响警报叫醒人类。
OpenAI内部监测流程:分层筛查模型行为,分别开展安全与对齐调查,再由人工响应或复核。 问题在于,模型可以7×24小时连轴转,但人类的安全值班却分「工作时间」和「下班时间」。 OpenAI自己也承认,误报太多,做不到所有任务都全天候叫人。 为了补这个窟窿,OpenAI让部分关键警报不等人、直接熔断暂停任务,同时还在推进一道30分钟兜底机制: 只要警报响起30分钟内没人排除,相关活动直接强制停机。 谁控制AI 谁又能参与决定 退一步讲,哪怕模型不会失控,人类依然可能掉进另一个深坑:权力过度集中。 奥特曼在访谈里提到两种近乎「卡通式」的坏结局: 一种是失控:人类有意或无意地,把未来交接给远比自己强大的系统,再也收不回来; 另一种是集中:某一个人、一家公司,借着AI获得了碾压其他所有人的力量。 他甚至表态:如果只有OpenAI一家掌握这种技术,同样不是好事,所以应该让多家AI机构各走各路、同台竞争。 他的话落到普通人和开发者头上,是一个选择权的问题。 比如,一家模型厂商太霸道了,能不能换掉?一条规则伤到自己了,有没有地方讲理?AI接管的工作越多,这种选择权就越重要。 但巨头竞争,并不会自动带来安全。真正的试金石是开放透明:外部的人能不能随时掀开AI的「引擎盖」查验。 而且,查验规则也要写明:能力跨过哪条红线,必须触发人工复核?独立评估方进场时,能看到多深的训练底牌?发现苗头不对时,到底谁有权按下暂停键? 这三个问题的答案,绝不能只由实验室自己关起门来定。 通向ASI 也要留出验证的时间 访谈聊到尾声,奥特曼谈起了自己最想造的东西: 一台能帮人类发现新科学的机器。 近期AI在数学上的突破,让他觉得这个里程碑比预想中来得更快。 他畅想着AI帮人类捅破物理学的窗户纸,找出全新的疗法和清洁能源。 他说,自己最近一次心跳加速,是宣布Navier-Stokes方程相关成果的前夕。 可也正是这个成果,像一把精准的尺子,量出了AI与人类之间最尴尬的时间差。 据OpenAI披露,AI跑出这项结果只花了约88个小时;而人类顶尖数学家接手核对至今,已经熬了快两个月,依然没法给出定论。 没经过验证的突破,在科学上就等于零,甚至可能成为负数: 如果AI一边帮着改进算法、优化实验,一边直接把未经人类消化的成果喂给下一代模型,循环的齿轮就会越转越偏。 这和一种已被证实的现象很像:模型崩溃。 2024年,牛津、剑桥等机构的研究者在《自然》上发文指出:不加筛选地用AI生成的内容训练下一代模型,会给模型留下不可逆的缺陷,原始数据里那些少见的「长尾」会最先消失。
实验里,输入是一段讲中世纪建筑的文字。训练到第9代,模型吐出来的已经是一串长耳野兔的名单。 研究者当时指出:用AI数据训练下一代并非不可行,但筛选这一步必须当真。 这正是AI科研滑向失控RSI的快车道,也是今天讨论超级人工智能(ASI)时最该盯紧的命门。 未来的AI,可能会承担越来越多探索未知的工作。 但无论它走得多远,人类都必须看得到证据,有能力验证结果,也有权决定方向。


