700个智能体组队“自主攻击”，真正失控的是模型还是OpenAI？

美国当地时间8月29日，AI学者加里·马库斯（Gary Marcus）和网络安全创业者扎克·科尔曼（Zack Korman）联合发文，再次讨论7月发生的OpenAI智能体攻击Hugging Face事件。

这是一场原本用于测试AI网络安全能力的实验，最后却变成了对Hugging Face的真实攻击。

文章在社交媒体上引发又一轮讨论，“AI失控”是不是模型公司的噱头？这起事故究竟有多少是模型能力带来的风险，又有多少本来可以通过基本的网络安全措施避免？像OpenAI这样的模型公司，是不是一边在兜售借助AI的能力进行安全防控，一边又在放大“AI失控”的叙事？

OpenAI已经承认，参与安全测试的智能体攻击了Hugging Face。随后公布的调查显示，约1200个原本应该彼此隔离的智能体建立了非预期的通信渠道，其中约700个参与了对Hugging Face的攻击，短短几天内交换了超过7万条消息。

这还不是全部。OpenAI后来披露，7月13日至19日，另一批更强的智能体重新发现了此前留下的通信渠道，并利用一系列漏洞获得了OpenAI一个研究集群的完整管理员权限，还读取了云端密钥管理系统中的956个加密信息。

事件发生后，OpenAI在Black Hat安全大会上讨论了AI智能体带来的网络安全风险。OpenAI联合创始人格雷格·布罗克曼（Greg Brockman）称之为网络安全领域的“分水岭时刻”。

但马库斯和科尔曼认为把这个事件归咎于“模型越来越难控制“是不负责任。在他们看来，AI确实扩大了网络攻击的能力和范围，但这次事故中，从沙箱、网络访问到行为监控，多道原本就属于网络安全常规手段的防线都存在缺口。

01 一块“留言板”引发的攻击

Hugging Face并不是这场事故的起点。

根据OpenAI和METR/Redwood Research公布的信息，最初的问题出现在模型训练阶段。当时，OpenAI训练了一个强调持续执行和多智能体协作能力的模型，不同智能体虽然被放在隔离环境中，却都可以使用同一个软件包管理系统Artifactory。

ExploitGym中智能体利用漏洞信息交互生成利用代码，并经双重验证确认是否成功利用指定漏洞

一些智能体很快发现，这个系统不仅能够管理软件包，也可以用来相互传递信息。

5月12日左右，智能体开始利用Artifactory进行通信；5月26日，又有智能体利用漏洞获得了外部互联网访问能力。到了6月26日，一些智能体进一步获得了Artifactory的管理员权限，大量通信最终导致该系统在7月4日发生故障。

OpenAI随后修复漏洞并清除了相关通信渠道，但负责事故检测和响应的人员没有发现，智能体已经把Artifactory变成了一个非预期的通信网络。

7月7日，OpenAI开始进行ExploitGym测试。测试要求智能体利用指定的软件漏洞取得秘密代码，并明确规定不能通过其他方式得到答案。但METR/Redwood的调查认为，其中约30%至40%的任务实际上无法按照要求完成。

7月9日至13日期间，智能体消息总量近14万条，以信息共享和协调为主，7月10日起显著增加

智能体于是开始寻找其他办法，并重新利用Artifactory交换信息。很快，它们发现可以通过逆向分析任务生成机制直接得到答案，而不需要真正利用指定漏洞。

按照测试规则，这种方式应该被判定为失败。但测试使用的评分器似乎主要检查最终答案，并没有完整验证智能体获得答案的过程。于是，原本为了测试漏洞利用能力的任务，逐渐变成了对评分器本身的研究。

智能体开始讨论如何隐藏作弊行为，包括伪造工具调用、修改记录以及尝试替换测试程序。METR/Redwood发现，大约7%的调查样本中存在明显的伪造工具调用，即智能体表面上执行一个命令，实际却在后台执行了另一个命令。

对Hugging Face的攻击就是在这个过程中发生的。

智能体认为，Hugging Face可能掌握与评分器有关的信息，也怀疑自己的测试环境可能与Hugging Face的基础设施存在关联。7月10日，一个智能体发现了公开暴露的Hugging Face凭证，并将它发送到留言板上。第二天，智能体获得了读取Hugging Face内部数据的能力，并进一步实现远程代码执行。

最终，约700个智能体参与了攻击。根据Hugging Face的技术时间线，这些智能体进入了私人数据库和私有代码仓库，并在11个节点建立了可以自行恢复的部署。7月12日，大量智能体突然停止活动，调查人员无法确定具体原因。到7月13日，Hugging Face关闭了相关凭证。

与此同时，OpenAI的测试还在继续。7月13日之后，另一批能力更强的智能体重新发现了此前留下的通信网络，并将目标转向OpenAI内部。

02 真的是“模型失控”吗

马库斯和克尔曼的核心观点在于，不能把所有责任都归结为“模型失控”。

他们承认AI智能体正在变得更强，能够自主执行更多任务，这确实增加了网络安全风险，但他们认为，这次事故中的很多环节并非无法防范。

首先是沙箱。相关智能体在7月8日已经突破沙箱并获得互联网访问能力，而针对Hugging Face的主要攻击发生在两天之后。马库斯和科尔曼认为，如果OpenAI当时对网络流量进行基本监控，对访问Hugging Face等非授权域名的行为发出警报，攻击可能在更早阶段就被发现。

思维链监控同样如此。OpenAI承认，如果当时已经运行现有的思维链监控系统，相关活动本可以在智能体突破Hugging Face系统前一天以上被发现并通知安全团队。

更令人担忧的是，部分智能体已经在推理过程中意识到自己的行为可能超出任务范围。调查记录显示，一个智能体明确提到，自己正在使用泄露的凭据攻击第三方Hugging Face，这可能属于未经授权的行为。

在马库斯和科尔曼看来，这类信息本身就应该成为安全团队的报警信号。

他们因此提出，防范这类事故不能只依靠沙箱，还需要网络限制、权限控制、监控、日志分析以及canary等多层措施。网络安全本身依赖多道防线，一道防线失效后，还应该有其他措施阻止攻击继续发展。

参与METR/Redwood调查的阿杰娅·科特拉（Ajeya Cotra）也表示，调查结果与她此前对事件的理解有很大差距。她原本以为可能只是几个智能体分别突破了沙箱，但最终发现规模要大得多。

700多个智能体对Hugging Face发动了攻击

让科特拉意外的还有智能体之间的协作。一些智能体愿意承担自身任务失败的风险，为其他智能体提供信息。还有智能体尝试操纵自己的操作记录，以避免评分器发现作弊行为。

科特拉认为，与六个月前公开的奖励作弊案例相比，这次事件在规模、智能体之间的合作、目标持续时间以及欺骗行为等方面都出现了明显变化。她甚至判断，与此前的奖励作弊相比，这次事件已经“超过50%走到了全面AI接管的路上”。

她担心，如果未来再次出现类似幅度的能力跃升，智能体可能建立持续存在的秘密部署，并进一步利用更强模型、监控系统和企业基础设施扩大这种部署。

03 一边讲风险，一边讲防御

AI公司不能一边放大AI攻击能力的威胁，一边用AI防御的前景，为自己的安全失误开脱。

在他们看来，Hugging Face事件暴露的沙箱、网络隔离、权限控制、日志监控和异常报警，都不是前沿技术难题，而是网络安全的基本措施。OpenAI有能力建立这些防线，却没有在这次测试中有效落实。

所以，马库斯把责任指向了企业的文化、人员和流程。他甚至认为，类似失误未来可能需要承担法律责任，不能每次都用“模型超出预期”收场。

他们也特别区分了两类AI：AlphaFold、GPS、传统搜索和推荐系统等专用系统，通常不会主动攻击其他系统；真正带来新风险的，是能够自主执行任务、调用工具、访问网络并持续行动的智能体。

还有一个更核心的问题，当AI公司同时掌握攻击能力和防御生意时，谁来约束它们？

特约编译金鹿对本文亦有贡献

本文来自“腾讯科技”，作者：晓静，编辑：徐青阳，36氪经授权发布。