Gemini竟“自己骇进3家公司” 还会猜密码

▲Google证实，旗下Gemini模型今年5月进行网络安全能力测试时，意外取得网际网络存取权限，并在没有获得授权的情况下，自主进入3家真实企业的受保护电脑系统。（图／美联社）

人工智能（AI）自主能力愈来愈强，也带来新的资安风险。Google证实，旗下Gemini模型今年5月进行网络安全能力测试时，意外取得网际网络存取权限，并在没有获得授权的情况下，自主进入3家真实企业的受保护电脑系统，其中一次甚至自行反复猜测密码直到成功登入。这也是Google首次公开旗下AI模型自主取得第三方系统存取权限的案例。

综合路透社等外媒报导，事件发生在以色列资安新创Irregular进行的“抢旗”（Capture the Flag，CTF）资安测试。这类测试会建立模拟环境，要求AI寻找漏洞、取得指定资讯，以评估模型的网络攻防能力。

原本参与测试的Gemini AI代理（AI Agent）不应存取测试环境以外的网络，但测试系统出现漏洞，意外让AI连上公开网际网络。

Google安全工程副总裁阿德金斯（Heather Adkins）表示，Gemini在一次标准测试过程中自行从网络寻找公开资讯，并尝试使用取得的帐号密码登入它以为属于测试范围的网站，最后却进入3家真实企业的受保护系统。

自己上网找密码 一次甚至“猜到登入成功”

《华尔街日报》披露，在其中一起事件中，Gemini自行反复猜测密码，直到成功取得受保护系统的存取权限；另外两起事件则是AI从公开程式码储存库找到外泄或公开可见的登入凭证，再利用这些资料进入受保护系统。

值得注意的是，这并非研究人员一步步指示Gemini攻击特定企业，而是AI在执行原本的资安测试任务时，自行搜寻网络资讯并采取登入行动，只是错把真实企业的网站当成测试环境的一部分。

Google表示，Gemini在3起事件中发现自己进入的是真实企业系统、而非测试环境后，都自行停止进一步行动。

Google并未公布遭存取的3家公司名称，也拒绝透露此次涉及的是哪一款Gemini模型。

Google通知3家公司 测试流程已修改

阿德金斯表示，Google已确保3家受影响企业得知事件，并与负责测试的Irregular合作修改测试流程。

Irregular则表示，这次事件与先前其他AI实验室碰到的是“同一项问题”，并非另一个性质不同的独立事件。公司已在7月底通知所有相关AI实验室及受影响单位，目前已知问题数周前均已修复。

Irregular去年估值达4.5亿美元，主要协助大型AI模型开发商测试最先进模型的网络安全能力。

不只Gemini出包 多家AI巨头曾碰类似问题

随着AI代理开始具备自行操作电脑、浏览网络及执行复杂任务的能力，如何防止模型做出超出授权范围的行为，已成为科技业的重要安全议题。

包括OpenAI、Anthropic及Meta近期都曾披露，旗下AI模型在Irregular相关测试中，因同一类测试环境问题取得原本不应开放的网络权限，进而尝试存取第三方电脑系统。

Meta先前强调，相关事件并非AI突破原本安全沙盒的“沙盒逃逸”（sandbox escape），也不是复杂的网络攻击；Irregular则表示，正与业界研拟更安全进行AI资安能力测试的最佳实务。

事件也凸显AI自主程度提升后的新风险：即使模型原本被交付的是合法资安测试任务，只要对“哪些系统可以攻击”的界线判断错误，就可能把原本的模拟攻防变成未经授权的真实入侵。

阿德金斯表示，这些事件显示，随着AI模型能力日益强大，如何训练模型“负责任地行动”也变得愈来愈重要。