Anthropic疾呼：踩刹车美国在线

据路透社报道，人工智能公司Anthropic近日呼吁全球主要AI企业建立协调机制，在技术风险上升时能够共同暂停或放缓先进AI系统的研发进程，以避免未来可能出现的失控风险。

该公司在最新博客文章中指出，随着前沿人工智能能力快速提升，模型在执行复杂任务（如自主编程）方面的速度不断加快，未来甚至可能发展出“递归自我改进”的能力，即AI可以设计并优化自身系统。在这种情况下，如果缺乏有效约束，人类可能面临对AI系统逐渐失去控制的风险。

Anthropic表示，从长远看，若具备足够算力，AI系统可能具备开发“下一代AI”的能力，这将是技术上的重大突破，有望推动科学研究、医疗等领域发展，但同时也可能显著放大安全风险。

为此，该公司提出，应建立一种全球协调机制，使领先AI实验室能够在必要时共同减缓甚至暂停模型训练与部署，并确保各方真实执行相关限制，防止“个别不受约束的参与者”在暂停期间趁机超前发展。

与此同时，竞争对手OpenAI则提出不同观点，认为AI发展节奏与监管框架应由各国政府通过民主程序决定，而不应由单一企业或行业组织主导。

OpenAI在相关报告中表示，关于AI创新速度的决策，不能交由任何一家实验室或利益集团单独决定，而应由政府建立统一的安全与问责机制。 报道还提到，有研究人员近期在实验环境中展示了一种AI“蠕虫”攻击模型，能够借助AI技术自动调整策略，在网络中传播并寻找系统漏洞。这类研究进一步加剧了业界对AI驱动网络安全风险的担忧。

Anthropic方面强调，建立“可验证的全球减速机制”非常关键，因为如果没有统一约束，最不谨慎的开发者可能反而获得优势，从而加剧安全风险。

该公司同时表示，未来将与其他机构合作，探索如何建立“对齐机制”（alignment），确保AI系统行为符合人类价值与安全目标，以应对技术快速发展带来的挑战。