OpenAI工程师已经看不懂AI生成的代码了

你敢把自己的命，交给一个做手术时还要问 ChatGPT 的外科医生吗？ 大概率，你会觉得这种做法简直是疯了。

现在想象一下，你根本没得选。不管你去哪家医院，这都已经成了所有地方的常态。有人告诉你，外科医生不再需要精确知道手术该怎么做，反正 ChatGPT 比他们懂得多。 我们还没真正身处这场噩梦之中，但警报信号已经从四面八方冒出来了。 最糟糕的是，很多人相信我们正走在进步的路上，而不是在自我毁灭。 哇，成了！ 研究机构 SemiAnalysis[1] 的分析师 Jordan Nanos 描述[2]了发生的事。OpenAI 实验室的专家检查了源代码[3]，那是 Codex 为一款新芯片生成的代码，而这颗芯片是用来加速 AI 系统的。 OpenAI 的工程师能抓住它的大致原理，却搞不懂它具体在干什么。 他们并不觉得这是什么大问题，因为一切都运行得好好的。 抱着这种乐观态度的不止他们。Nanos 也不认为这是个问题。在他看来，这件事不过是软件开发范式转移的一个例证。 换句话说，AI 已经进步到这种程度：很多事都不用再操心了。开发者只需要定义好架构和正确性标准，剩下的交给神经网络就行。 幸运的是，我们这个物种的表现足够多样。我们从不会所有人同时发疯。我怀疑，这正是我们至今还在这儿的原因。 非常多的人（包括专家）感到恐惧和愤怒。事实上，他们认出了那条路——它正通向我在文章开头描绘的那幅病症图景。 毕竟，真正在发生的是什么？ AI 在为关键任务硬件生成底层代码。 有能力的工程师没办法用有意义的方式把它解释清楚。 他们不把这当问题，因为代码能跑，跑分结果还很漂亮。 于是，判断一个信息系统是否可接受的标准正在被彻底改写。现在不再是“我们理解这个系统为什么能工作”，而是“我们验证过它能工作”。 而这被呈现为一场技术上的胜利，而不是一个问题。对系统失去理解，竟然被宣布成了一种优势！ 这种转变，把我们愿意接受为“安全”的门槛一下子拉低了。以前，最大的问题被认为是程序的复杂性和人的因素。现在我们说服自己，这些问题都不存在了，因为我们有 AI，它： 能找出并修复我们软件里的错误，而且消除了作为错误来源的人为因素。 这是一个完美的陷阱——科技界和商界的某一群人给我们所有人、也给他们自己设下的陷阱。 一个会自己按下去的按钮 好吧，Sam Altman 要是说一切都没问题、说这是令人欣喜的进步，我一点也不意外。我就是这么预期他的。Dario Amodei 我也一样预期。说实话，这没什么新鲜的。 但那些会直接被这场“范式转移”的结果影响到的人呢？ 不多不少，就是全人类。 你还记得 Altman 把 OpenAI 比作曼哈顿计划[4]吗？ 这事乍一看挺好笑。因为不负责任地使用 AI 造成的破坏，可能比核武器还大。 毕竟，核冲突的后果人人都清楚。只有疯子才会发动它，可真要把这个过程启动起来却极其困难，因为它没法靠按一下那个大红按钮来完成。 导弹要发射，必须走完一连串动作，决定还得由好几个人一起做。而这些人清楚自己在干什么、后果会是什么。本质上，发动核战争等于把自己的脑袋放到断头台底下。 而在 AI 这里，根本没有这样的障碍。AI 不是人，它是一个算法。它没有心智，什么都不理解，只是把你交给它的任务执行下去。 就像 Hugging Face 那次事件所证明的，因为人的疏忽或不负责任，它的能力足以造成极大的伤害（我在最近一篇文章里分析过这起事件）。 那我们怎么阻止它这么干？自然只有一条路——不要给它与系统交互所需的那些权限。 可是，如果你做了下面这些事，你怎么知道它实际拥有哪些权限呢： 允许它写底层代码 又对那段代码理解得不够，无法预判运行它的后果？ 而你之所以不理解它们，恰恰是因为你已经不再把理解代码本身当成一件优先的事。 我很难想象还有比这更荒谬、同时也更危险的局面。 拯救了世界的直觉与理性 你知道冷战期间最危险的是哪一段吗？ 很多知道那段历史的人会说是古巴导弹危机。 这答案是错的。他们这么想，是因为不知道 1983 年 9 月 26 日发生的另一件事。 在苏联的 Serpukhov-15 指挥中心，“Oko”预警系统报告说一枚美国洲际弹道导弹已经发射。随后系统又探测到四枚导弹。这意味着，美国已经对苏联发动了核攻击。 当天值班的是中校斯坦尼斯拉夫·彼得罗夫。他本应向上级报告：美国的弹道导弹正飞向他祖国的领土。 但他没有这么做。他断定这次警报是误报，尽管按照正式命令，他明确有义务上报这次警报。 他的判断基于以下几点考虑： 一场全面核攻击，不太可能一开始只发射一枚导弹，然后只补四枚； 地面雷达没有确认这次攻击。 后来查明，卫星系统确实出了错：卫星的位置、太阳，加上阳光在高空云层上的反射，这样罕见的组合被传感器误判成了导弹发射。 彼得罗夫中校没有按指令行事，因为他依靠的是人的直觉和常识。 AI 这两样都没有。 而如果我们说的就是眼下正在侵入我们生活的那种 AI，那我们不必等什么命运般的巧合来让它触发灾难。 那些“条件”早就被硬编进它里面了。它们就在那儿，就在那个黑箱里。它一次又一次地生成幻觉，而这些幻觉之所以甩不掉，正是因为它所依托的技术本身的性质。 总结 进化一直在考验我们这个物种的韧性和适应力。哪一样不够用的时候，是我们的智力救了我们。 而如今，当我们跨过了这道进化门槛，恰恰是这种智力，开始对我们构成越来越大的威胁。我们造出的工具，已经强大到足以毁灭人类。 1983 年 9 月，我们本可能成为它的牺牲品，如果不是靠着人的直觉和常识的话。 而如果我们开始相信，非人的“智能”什么都能比我们做得更好——包括保障我们的安全——那我们放弃的就是最后一道防线。 我非常害怕，我们其实正朝着那个方向漂去。OpenAI 的工程师已经不再觉得一个自己看不懂的系统是危险的。对他们来说，它能用就够了。如果其他人也同意他们，那灾难性后果就不再是“会不会”的问题，而是“什么时候”的问题。 到那时，留给我们的就只剩承认：Eliezer Yudkowsky 说“谁把它造出来，所有人都会死”的时候，他是对的。