黑客用上了大模型，网络攻击的门槛正在降低麻省理工科技评论APP

安东・切尔帕诺夫（Anton Cherepanov）总是对互联网新发的异常现象充满兴趣。去年 8 月底，他发现了一个特殊样本——该文件被上传至 VirusTotal 平台，这是包括他在内的网络安全研究人员常用的分析网站，用于检测上传内容中是否存在病毒或其他通常被称为恶意软件的程序。这份文件表面看起来并无异常，但触发了切列帕诺夫自研的恶意软件检测机制。在随后几小时内，他与同事彼得・斯特伊切克（Peter Strýček）对样本进行分析，并意识到他们此前从未见过类似的程序。

（来源：麻省理工科技评论）

但这一威胁的实际情况并没有最初呈现的那么严重。博客发布第二天，纽约大学的一组研究人员公开说明情况，他们表示这款恶意软件并非在真实环境中投放的完整攻击程序，而是一项研究项目，设计目的仅用于验证勒索软件攻击各环节实现自动化的可行性，而他们已经完成这一验证。

专家则认为，人们应更加关注 AI 带来的更直接的风险。AI 已经在加快诈骗实施速度，并提升诈骗发生数量。不法分子正越来越多地使用最新的深度伪造技术冒充他人，骗取受害者大量资金。这类由 AI 强化的网络攻击只会更加频繁、更具破坏性，社会各界需要做好应对准备。

不止是“垃圾邮件”

2022 年底 ChatGPT 走红后，黑客们几乎立刻开始使用生成式 AI 进行网络攻击。正如人们所能想到的，这类应用最先被用于制作垃圾邮件，且产出规模极大。微软去年发布的报告显示，在截至 2025 年 4 月的一年时间里，公司拦截了价值 40 亿美元的诈骗与欺诈交易，其中很多案件很可能由 AI 生成内容辅助实施。

生成式 AI 专家亨利・阿杰德（Henry Ajder）表示，犯罪分子使用这类深度伪造技术并非为了恶作剧，而是因为这类手段有效且能带来收益。他说，只要有利可图且有人持续受骗，他们就会继续使用这类手段。2024 年曝光的一起知名案件中，英国工程公司 Arup 的一名员工在与伪造的公司首席财务官及其他员工进行视频通话后，被骗向犯罪分子转账 2500 万美元。这很可能只是冰山一角，随着技术进步与普及，高逼真度深度伪造带来的问题只会愈发严重。

主流 AI 模型都设有防护机制，避免生成恶意代码或非法内容，但恶意行为者仍能找到绕过限制的方法。例如，谷歌曾观测到相关的行为者向 Gemini 模型请求识别已入侵系统的漏洞，模型最初以安全为由拒绝该请求。但攻击者伪装成网络安全夺旗赛参与者，成功诱导 Gemini 突破自身规则限制。这种隐蔽的破解方式让 Gemini 提供了可用于系统攻击的信息。谷歌随后已调整 Gemini，拒绝此类请求。

乌代希表示，犯罪分子可能已经成功实施过类似 PromptLock 的隐蔽攻击，只是外界尚未发现相关证据。如果情况属实，攻击者理论上已经构建出全自动黑客系统。但实现这一目标需要克服多重障碍。攻击者需要让 AI 模型稳定运行，突破模型内置的恶意用途限制，同时全程躲避检测。这些条件构成了极高的技术门槛。

黑客的提效工具

那么目前有哪些可以确定的事实？关于 AI 被恶意使用的情况，目前最可靠的数据来自大型 AI 企业，这些企业的研究结论至少在表面上令人担忧。去年 11 月，谷歌伦纳德的团队发布报告称，恶意行为者正在使用包括 Google Gemini 在内的 AI 工具动态改变恶意软件行为，例如通过自我修改躲避检测。该团队表示，这一现象标志着 AI 滥用进入了新的阶段。

网络安全作者凯文・博蒙特（Kevin Beaumont）在社交媒体指出，报告研究的五个恶意软件群包括 PromptLock 在内，其代码很容易被识别，且并未造成实际破坏。他写道，报告内容并未表明机构需要偏离基础安全方案，现有防御体系均正常发挥作用。

Anthropic 威胁情报负责人雅各布・克莱因（Jacob Klein）认为，我们正在进入一个全新阶段。复杂网络行动的门槛已大幅降低，攻击速度的提升会快于多数机构的应对能力。

与谷歌的研究结果一样，这一结论也存在限定条件。在让 Claude 识别漏洞之前，目标由人工选定，而非 AI；30 次攻击尝试中，仅有少数成功。Anthropic 报告同时发现，Claude 在行动中出现幻觉并伪造数据，谎称获取了未得到的凭证，且频繁夸大成果。攻击者必须仔细验证结果才能确认信息真实性。报告作者表示，这一问题仍是全自动网络攻击的障碍。