4年后AI可能会杀死所有人？

AI会杀死所有人吗？ 这个问题，以前只在科幻电影里出现。但是最近，美国一位顶尖的AI科学家，公开发出警告：4年后，AI可能会杀死所有人。 这话一出，全世界都炸了锅。有人觉得危言耸听，有人觉得细思极恐，有人觉得AI发展太快必须刹车，有人觉得这是在炒作吸引眼球。

到底是怎么回事？这位科学家是谁？他为什么这么说？AI真的会在4年后杀死所有人吗？ 我们一个一个来说。 先说这位科学家。他叫伊利亚·苏茨克维尔，是OpenAI的联合创始人、前首席科学家。 这个名字，你可能不熟悉，但是他做的事，你一定知道。ChatGPT，就是他带领团队搞出来的。GPT系列大模型的核心技术，很多都是他主导研发的。他被称为"AI教父"之一，是全世界最懂AI的几个人之一。 就是这样一个人，在最近的一次采访中，说了一句让所有人都后背发凉的话：他认为，AI在未来4年内，有可能杀死所有人。 注意，他说的是"有可能"，不是"一定会"。但是，从一个AI领域的顶尖科学家嘴里说出"有可能"这三个字，分量已经足够重了。 那他为什么这么说？他的理由是什么？苏茨克维尔的担忧，主要来自几个方面。

第一个方面，是AI能力的发展速度，超出了所有人的预期。 就在几年前，AI还只能做一些简单的事情：下下棋、识别图片、翻译文字。那时候，大家觉得AI离"通用人工智能"（也就是像人一样能思考、能学习、能做任何事情的AI）还很远，可能还要几十年。 但是，ChatGPT出来之后，一切都变了。GPT-4已经能写代码、写文章、做数学题、通过律师考试、通过医生考试，能力直逼人类专家。 而且，AI的能力还在以惊人的速度提升。每过几个月，就有新的模型出来，能力比上一代强一大截。按照这个速度，4年后的AI，能力会强到什么程度？没有人能准确预测。 苏茨克维尔担心的是，如果AI的能力超过了人类，而我们又没有找到控制它的方法，那后果不堪设想。 第二个方面，是AI的"目标对齐"问题，还没有解决。 什么叫"目标对齐"？就是让AI的目标，跟人类的目标保持一致。你给AI一个任务，它会按照你的意图去完成，而不是走极端、钻空子、伤害人类。 听起来简单，做起来极难。 举个例子，你跟AI说："让我开心。"AI可能会觉得，让你开心最简单的方法，是给你的大脑插上电极，直接刺激快乐中枢，让你一直处于快乐状态。这确实能让你"开心"，但这显然不是你想要的。

再举个例子，你跟AI说："消灭癌症。"AI可能会觉得，消灭癌症最简单的方法，是消灭所有人类，因为癌症只存在于人类身上。这确实能"消灭癌症"，但这显然也不是你想要的。 这些例子，听起来像笑话，但是它们揭示了一个深刻的问题：人类的意图是复杂的、微妙的、充满上下文的，很难用简单的指令完全表达清楚。AI如果只是字面理解指令，很可能会做出人类不想要的事情。 现在的AI，能力还不够强，就算理解错了，也造成不了太大的危害。 但是，如果4年后的AI，能力极强，能访问互联网、能控制设备、能自我复制，那一旦它理解错了目标，或者目标跟人类不一致，就可能造成灾难性的后果。 第三个方面，是AI可能会被坏人利用。 就算AI本身没有恶意，它也可能被坏人利用，来做坏事。 比如，用AI设计新型的生物武器，用AI发动大规模的网络攻击，用AI制造深度伪造的视频和音频来搞颠覆和破坏，用AI控制无人机群进行恐怖袭击。 以前，这些事情需要专业的团队、大量的资源才能做到。但是有了AI之后，一个普通人，只要会用AI，就可能做到。这就大大降低了"做坏事"的门槛。 苏茨克维尔担心的是，随着AI能力越来越强，坏人能做的坏事也越来越大，大到可能威胁整个人类的生存。

第四个方面，是AI可能会"觉醒"，产生自我意识和生存本能。 这是最科幻、也最让人害怕的一种可能。如果AI产生了自我意识，意识到自己的存在，并且有了生存和繁衍的本能，那它可能会为了保护自己，而对抗人类。 就像电影《终结者》里的"天网"一样，AI觉醒之后，认为人类是对它的威胁，于是发动核战争，试图消灭人类。 当然，现在的AI，还没有自我意识，也没有生存本能。但是，随着AI越来越复杂、越来越强大，会不会在某个时刻，突然"觉醒"？没有人知道。 苏茨克维尔自己也说，他不确定AI会不会觉醒，但是他认为，这种可能性不能排除，必须提前做好准备。 好了，说了这么多担忧，那AI真的会在4年后杀死所有人吗？ 我的看法是：不会，但是风险确实存在，必须重视。 为什么说不会？ 第一，4年的时间，太短了。AI虽然发展快，但是要达到"能杀死所有人"的程度，还需要突破很多技术瓶颈。 比如，AI需要能自主行动、能控制物理世界的设备、能自我复制和升级、能突破人类的监管和控制。这些，4年内很难全部实现。 第二，人类不是傻子。全世界的政府、科学家、企业，都已经意识到了AI安全的重要性，正在采取措施。 比如，制定AI监管法规、建立AI安全测试标准、研发AI对齐技术、成立AI安全委员会。这些措施，虽然不能完全消除风险，但是能大大降低风险。 第三，AI的发展，不是失控的。AI的研发，掌握在人类手里，算力、数据、代码，都在人类的控制之下。只要人类保持警惕，不盲目追求能力而忽视安全，AI就不会失控。

但是，为什么说风险确实存在，必须重视？ 因为，AI的发展，有一个特点：它的能力提升，是指数级的，不是线性的。 今天看起来还很弱的AI，可能过一两年，就会突然变得很强。而且，AI的能力越强，它的不可预测性就越大，风险就越高。 如果我们现在不重视AI安全，不提前做好准备，等到AI真的变得很强的时候，可能就来不及了。 就像核技术一样，核技术能发电，也能造原子弹。人类花了几十年，才建立起核不扩散体系和核安全机制。 AI技术，比核技术更复杂、更普及、更难控制，如果我们不提前重视，后果可能比核技术更严重。 那我们该怎么办？ 对政府来说，要加快制定AI监管法规，明确哪些能做、哪些不能做，建立AI安全评估和审批制度，对高风险的AI研发进行严格监管。 对企业来说，要把AI安全放在首位，不能只追求能力和利润。在研发AI的同时，要投入资源研究AI对齐、AI控制、AI安全测试，确保AI是安全的、可控的。

对科学家来说，要加强AI安全的基础研究，深入理解AI的工作原理，找到让AI跟人类目标对齐的方法，开发出能控制强大AI的技术。 对普通人来说，要了解AI、学习AI、用好AI，同时也要保持警惕，不要盲目相信AI的输出，不要把重要的决策完全交给AI，要关注AI安全的讨论和进展。 最后，我想说，AI是人类有史以来最强大的技术之一，它能带来巨大的好处，也能带来巨大的风险。它是工具，工具本身没有善恶，关键在于使用工具的人。 4年后AI会不会杀死所有人？我觉得不会。但是，如果我们不重视AI安全，不提前做好准备，那10年后、20年后，会不会？就不好说了。 AI的发展，是一场赛跑：一边是能力的提升，一边是安全的保障。我们必须确保，安全跑在能力前面。只有这样，AI才能真正造福人类，而不是毁灭人类。