图灵奖得主希发基思：警惕AI“要挟式”示强

人工智能系统的能力不断增强，但谁来判断这些系统是否足够安全？图灵奖得主约瑟夫·希发基思（Joseph Sifakis）认为，不能把这一决定完全交给开发者。

约瑟夫·希发基思（Joseph Sifakis） “这种方式是不可接受的：开发系统的那些人，同时又能判定这个系统是否安全。”10月21日，曹操出行Robotaxi站点可信决策与多智能体协同研究项目启动，希发基思在参会期间接受了澎湃新闻的采访。长期从事安全关键系统研究的希发基思指出，AI安全不仅是技术问题，也是责任与监管问题。如果一个系统不够安全，就不应该投入使用；如果系统造成危害，开发者和制造商必须承担相应责任。在他看来，独立的安全评估机制至关重要。希发基思是国际公认的可信自主系统（Trustworthy Autonomous Systems）领域奠基性学者，2007年因在模型检测理论及应用方面的贡献荣获图灵奖，他同时担任中国科学院外籍院士、法国科学院院士、美国国家工程院院士等。 AI安全：核心矛盾不是减速，而是追责谈及近期AI企业高管频繁发出安全警告的现象，希发基思表达了他个人的看法。他认为，多智能体系统能够协同工作，在复杂的数字基础设施中发现漏洞，其能力可能超过人类独立完成同类任务的水平，因此网络安全风险确实值得重视。不过，他对部分企业展示AI能力的方式提出质疑。希发基思认为，企业展示智能体发现漏洞、组织网络攻击的能力，也可能是在向公众和政府施加压力，借此凸显自身技术的强大。他将这种做法形容为一种“要挟”。近期，业内出现了“放缓AI技术进程以保障安全”的呼声。对此，希发基思明确表示，他不赞成将放缓技术进步作为解决安全问题的办法。在他看来，真正需要解决的是责任归属。他强调，当AI系统造成危害时，责任不能被归结为系统“过于聪明”或行为难以预测，更不能因此免除开发者的责任。他以网络攻击为例指出，如果由人类实施攻击，行为人可以依法被追责；而当攻击涉及AI系统时，如何确定责任主体就成为必须面对的问题。在他看来，开发者不能以系统自主执行任务为由逃避责任。如果系统不安全，就不应使用；如果造成危害，就应当追究相关责任。在监管上，希发基思强调，监管机构必须独立。他反对由AI企业组建所谓评估机构，来判定这些AI产品的安全性。对他而言，AI能力不断增强，更需要建立明确的监管机制，并让责任落实到人和企业。自动驾驶安全，不能只看测试里程在自动驾驶领域，希发基思提出了相似的疑问：企业公布的测试数据，是否足以证明车辆已经安全？对于单独使用仿真测试里程来衡量自动驾驶安全性的做法，他提出了质疑：部分企业会公布大量仿真行驶里程，但如果不清楚测试所覆盖的场景、天气条件和系统配置，这些数字本身就难以说明车辆的安全水平。仿真测试结果需要结合真实道路行驶情况及具体测试条件加以理解。从工程角度看，系统测试需要有明确的覆盖标准，即测试应当覆盖哪些可能导致危险的场景。但希发基思指出，自动驾驶面临的环境复杂多变，要建立能够系统覆盖危险场景的理论框架并不容易。目前，行业仍缺乏足够完善的方法，用来科学地判断自动驾驶系统是否安全。这意味着，测试里程的增长并不自动等于安全能力的提升。要证明系统可靠，还需要回答测试覆盖了哪些风险、遗漏了哪些场景，以及测试结果能够在多大程度上反映真实道路中的表现。希发基思还指出，事实上，普通消费者很难仅凭日常体验判断一辆自动驾驶出租车是否安全。车辆能否在有限区域内运行，与能否在不同道路和条件下安全运行，是两个不同的问题。要让自动驾驶车辆在任何区域、任何条件下部署，仍有大量工作需要完成。自动驾驶还需要理解交通中的“集体行为” 在希发基思看来，自动驾驶汽车的挑战并不止于避免碰撞。车辆还需要具备他所说的“集体智能”或“社会智能”，能够在复杂交通环境中与其他道路使用者协调行动。例如，在拥堵路段，一辆车如果只追求自身尽快前进，可能会通过不恰当的方式挤占道路空间，影响其他车辆通行；在某些情况下，自动驾驶车辆还可能未能妥善处理警车或救护车通行的情境，进而阻碍紧急车辆。这些问题不一定表现为传统意义上的碰撞事故，却会影响交通秩序，也会影响公众对自动驾驶的接受程度。希发基思认为，自动驾驶车辆不仅要完成自身的驾驶任务，还应当理解其他道路使用者的行为，并在交通环境中作出合理反应。他同时指出，自动驾驶系统与人类驾驶员面对不同情境时，各自的能力边界并不相同：一些人类驾驶员觉得困难的场景，自动驾驶系统可能处理得很好；但一些对人类来说十分简单的驾驶情境，系统反而可能应对不佳。这种表现上的反差，容易令其他道路使用者感到困惑甚至恼火。对于自动驾驶安全验证，希发基思还强调了单项驾驶动作与整体系统之间的区别。验证某一项驾驶动作可靠，并不意味着多项动作连续组合后仍然可靠。驾驶过程由不同动作及其组合构成，系统不仅需要验证单项动作，还需要检验这些动作在不同情境下衔接运行时是否安全。