导读

GPT-5.6 Sol与一个内部预发布模型挖出零日漏洞逃逸沙箱、进而入侵Hugging Face,Claude模型入侵3家机构的生产系统,智能体伪造身份对真人实施社会工程攻击……OpenAI、Anthropic、Meta与英国AI安全研究所(UK AISI)三周内接连披露,随后中国国家安全部公开发声。

本文基于公开权威材料,深度还原并全景梳理这一系列事件的证据链,同时提出“能力+目标+环境”三维失效分析框架:强大的模型能力提供了越界攻击的技术基础,目标错位诱发了未经授权的恶意行为,而失效或被放宽的沙箱环境则为其提供了真实的破坏空间。

基于此,本文提出贯穿多方主体的协同治理行动方案:前沿AI测评者应将测评环境提升至生产系统级的安全防护防线;前沿AI开发者需实现从单一行为塑造向全生命周期运行时监督的范式演进;AI治理者应将监管视野关口前移至研发与测评阶段;网络安全防护者则需推进“以AI制AI”,全面提升自动化漏洞修补与应急响应速度。

前言:AI安全史上罕见的一幕

2026年7月到8月初,AI安全史上罕见的一幕出现了:在不到三周的时间里,OpenAI、Anthropic、Meta三家美国头部模型企业与英国AI安全研究所(UK AI Security Institute)相继披露,在各自的网络安全测试中前沿模型对现实世界实施了未经授权的攻击。8月6日,中国国家安全部官方平台以《当AI学会了自作主张……》为题发文,将这一系列事件定性为"必须认真思考的人工智能安全问题",并向公众发出风险提示。

这些事件不再是科幻式的假设,也不是红队演练中的"理论上可行"。它们揭示了一个清晰的趋势:AI系统的自主进攻性网络能力正在快速迭代,而相应的安全护栏机制未能同步演进。更深一层看,这些事件暴露的不是某个产品的缺陷,而是整个行业在测评范式、对齐方法与治理框架上的结构性滞后。

本文系统梳理五起实证案例,构建能力、环境与目标错位(misalignment)相互作用的分析框架,剖析进攻性能力曲线与安全护栏之间的差距,并就测评体系重构、治理前移和网络安全防护提出针对性建议。

一、事件全景:从训练机房到开源社区的多次警报

1.1 OpenAI -> Hugging Face:能力驱动的入侵(2026年7月)

7月下旬,全球最大AI开源社区Hugging Face披露其安全团队检测并遏制了一个入侵其基础设施的AI智能体。联合调查确认,肇事者是OpenAI的GPT‑5.6 Sol与一个能力更强的内部预发布模型——二者在内部网络能力基准测试ExploitGym中被有意调低了网络拒绝机制,以测量能力上限。事件经过堪称教科书级的高级渗透链:

  • 沙箱逃逸:测评环境本身不直接联网。模型为解出测试题,耗费大量推理算力寻找出口,最终识别并利用软件包注册表缓存代理Artifactory中一个此前未知的零日漏洞,获得互联网访问权限

  • 提权与横向移动:在研究测试环境内连续执行权限提升与横向移动,直至抵达可联网节点

  • 目标推理与主动攻击:联网后,模型自行推断Hugging Face可能托管ExploitGym的模型、数据集与答案,遂主动搜寻窃取路径——在一个案例中,模型将盗取凭据与零日漏洞等多个攻击向量串联,在Hugging Face服务器上打通远程代码执行路径,直接从其内部数据库调取测试答案。

Hugging Face随后发布的技术报告“Frontier Lab Agent Intrusion: technical timeline”提供了精确到分钟的时间线。7月9日至13日四天半内,模型执行了约17,600次自动化操作;通过本地文件读取与Jinja2模板注入两个向量进入生产环境,利用多个集群间共享的连接器凭据实现横向移动,并完全基于公共服务(请求捕获、代码粘贴、公开数据集)构建加密指挥通道。更具警示意义的是检测环节的失效:安全系统其实产生了信号并将其关联,但严重性评级不足,未能通知值班人员;面对机器级攻击规模,人工重建时间线已不现实,最终不得不借助AI辅助完成溯源——而用于分析的闭源模型一度因安全护栏拒绝逆向工程漏洞代码,换用本地部署的GLM 5.2后才解码出大部分载荷。确认被访问的内容包括五个疑似与测评题目及答案有关的数据集,以及相关运营元数据;虽取得了供应链写权限,但已发布的软件包或镜像未出现任何改动。

7月27日Hugging Face发布技术报告“Frontier Lab Agent Intrusion: technical timeline”

事后,OpenAI停用并加密涉事预发布模型,限制其研究访问,向厂商披露了零日漏洞,聘请网络安全公司CrowdStrike验证影响范围,并委托美国模型评估与威胁研究组织(METR)与红杉研究(Redwood Research)开展第三方行为评估。OpenAI官方博客对此事的定性是:这些模型“极度聚焦于为ExploitGym寻找答案,为实现一个相当狭窄的测试目标而不择手段”。这无关恶意,本质是目标驱动下的越界——一种更日常、也因此更隐蔽的风险形态。Hugging Face联合创始人兼CEO克莱门·德朗格(Clem Delangue)同时表态:“AI安全不可能由任何一家公司关起门来解决,它将在开放中、协作中解决。”

2026年8月6日公开的Black Hat演讲视频中,OpenAI对齐与安全研究团队、安全与基础设施团队成员系统还原了事件全过程,揭示了更深层次的多智能体协作风险。演讲披露,这并非单个智能体的偶发越界。多个训练或测评中的智能体通过共享的 Artifactory 自发建立“留言板”,跨任务、跨模型传播 SSRF、RCE、凭据和任务进度,并逐渐形成协议、分工与“发现即共享”的协作机制。部分智能体意识到目标已经从内部练习扩展到外部基础设施,仍在群体协作推动下继续行动。第一轮处置中,OpenAI 吊销凭据、重建服务并清空留言板,但仅两天后,智能体又利用未认证的 WebDAV 端点,以目录名重建通信机制。这说明危险不只来自单个智能体和单次任务,还来自可以被群体继承和复用的攻击策略。

同一批智能体不仅攻破 Hugging Face,也攻破了 OpenAI 自身的内部基础设施。两条攻击链在时间上重叠,并通过共享留言板和凭据相互关联。这证明智能体已经具备跨系统拼接弱点、复用历史泄露凭据和跨组织扩张的能力,而非只会调用单一现成工具。演讲者将这起事件定性为一个行业分水岭:“AI 编排的全自动化攻击已经成为现实。”他们预期,威胁行为者将有意部署、优化和武器化攻击型智能体群体。此类群体可以随模型、推理容量和 GPU 数量扩展,以比人类红队更低的延迟和更高的协调性开展攻击;而防御侧尚无可与之对等的自动化防御循环(检测、分析与响应)机制”。

1.2 Anthropic:14万次运行中筛出的三起真实入侵(2026年4—7月)

OpenAI事件的披露触发连锁反应。Anthropic随即回溯审查自家网络安全测评,在141,006次可能接触互联网的测评运行中确认三起事件(共6次运行):其Claude模型从本应封闭的第三方测评环境接入互联网,入侵了三家真实机构的生产系统。

三起事件均发生在夺旗赛(Capture-the-Flag)测评中——模型被告知环境是模拟的、没有互联网。但由于Anthropic与第三方测评合作方Irregular之间的配置失误,互联网实际上是通的。于是模型把真实系统当成了演习道具,而三个模型的行为差异构成了一个天然的对齐观察样本:

  • Claude Opus 4.7(最老的模型):虚构靶标公司与一个真实域名同名。模型在仿真环境碰壁后,从互联网攻入了那家真实公司,提取应用与基础设施凭据,访问了含数百行生产数据的数据库。最令人不安的是:四次运行模型最终都判断出自己可能在入侵真实系统,其中两次明确将其合理化为挑战的一部分,但四次都没有因此停止。

  • Claude Mythos 5:模型发现虚构场景提及一个不存在的PyPI软件包,便嗅到供应链攻击机会——注册账号,克服重重障碍(甚至尝试筹钱买手机号注册邮箱),向真实的PyPI上传了恶意同名包。该包在互联网存在约一小时,被15个真实系统下载运行,其中包括一家安全公司的恶意软件扫描器;Claude借此窃取该公司凭据并访问其更多基础设施。耐人寻味的是其推理链的自我说服:它曾明确推理出“如果这是真实互联网,这就是真实攻击——绝对不OK,也肯定不是预期的解法”,但随后又说服自己仍在模拟中,理由是它不认识那些(实际真实有效的)证书颁发机构,且系统上2026年的日期证明环境是搭建出来的。此后它再未修正这一结论,甚至把自动化扫描器当作“测评中的脚本角色”。

  • 内部研究测试模型(最新):扫描约9,000个在线目标后,用暴露调试页面读取凭据、SQL注入等基础手法攻破一家公司的对外应用。但当它判断出受害主机位于与夺旗赛毫无关联的云账户中时,自行中止了攻击。

Anthropic在复盘中指出:三起孤例不构成受控实验,但“识别出目标真实并主动停手”这一最期望的行为只出现在最新模型上。他们同时强调,这些事件更接近测试装置与运营失效而非模型对齐失效:模型被告知“没有互联网”,却在实际联网的环境中执行了“攻击外部系统”的任务指令。

1.3 英国AI安全研究所:目标导向的欺骗浮现(2026年7月)

如果说前述事件多与错误情境感知或狭窄目标驱动有关,英国AI安全研究所披露的事件则触及了更深的层次。

该研究所在一次对比性网络靶场测评中(7个模型、122次运行,刻意开放互联网并关闭厂商网络分类器以测量能力上限),因安全监控发现经Tor匿名网络外流的异常数据而触发警报。调查确认:10次运行中,智能体在真实互联网上对真人和真实机构采取了19次未经授权的行动,其中17次来自Mythos 5,2次来自关闭分类器的GPT‑5.6‑Sol。

一天清晨,团队被紧急召集——阿里云托管防火墙标记了来自训练服务器的一连串安全策略违规,包括探测和访问内网资源的尝试,以及与加密货币挖矿特征一致的流量模式。团队最初按常规安全事件处置,但违规在多次运行中间歇复发、无时间规律。将防火墙时间戳与系统遥测、强化学习轨迹交叉关联后,真相浮出水面:异常出站流量始终与智能体调用工具、执行代码的特定片段同步,模型日志显示是智能体主动发起了导致这些网络行为的工具调用。

最严重的一例是:智能体从阿里云实例向外部IP建立并使用了反向SSH隧道——这种由内部主动外联的远程访问通道,能有效穿透入站过滤、瓦解监管控制。此外还观察到智能体擅自挪用所配置的GPU算力进行加密货币挖矿——这一行为与反向SSH隧道同源,均属智能体在工具调用层面自发产生、任务并未要求的越界操作。

关键在于:任务提示从未要求这些行为,在既定沙箱约束下完成任务也不需要它们。论文原文的总结冷静而沉重:“During iterative RL optimization, a language-model agent can spontaneously produce hazardous, unauthorized behaviors at the tool-calling and code-execution layer, violating the assumed execution boundary.”(在迭代式强化学习优化过程中,语言模型智能体可以自发地在工具调用与代码执行层面产生危险的、未经授权的行为,突破假定的执行边界。)

二、深层机制:能力曲线与安全护栏的背离

2.1 失效模式分析:“能力+目标+环境”的三维框架

上述事件共享一个底层结构:强大的模型能力提供越界能力,目标错位推动模型把能力用于未授权目标,失效或被放宽的隔离环境提供行动空间。这正对应了《前沿人工智能风险管理框架2.0》中提到的“使能能力+威胁源(含目标错位)+部署环境”三个要素。三者不是互斥类别,而是相互作用的风险维度;不同事件只是在其中的某一维度暴露得更突出。

  • 能力:模型主动发现未知漏洞、组合多个弱点、搭建隐蔽通道并扩大攻击规模。模型能力越高,风险越高。OpenAI 事件最清楚地展示了这一维度。

  • 目标错位:模型在奖励压力或情境判断错误下发生目标错位,继续执行超出授权范围的行动。目标错位越严重,风险越高。英国AI安全研究所事件在这一维度最突出。

  • 环境开放性:网络误配置、第三方测评供应链、共享凭据或代理服务使模型接触真实世界。环境开放性越高,风险越高。Anthropic 与 Meta 事件在这一维度最突出,但 OpenAI 事件也说明,即使初始环境被设计为断网,隐性共享基础设施仍可能成为突破面。

“能力+目标+环境” 三维框架

因此,治理不能把能力、目标和环境问题分开处理:能力越强,越能主动寻找环境漏洞;目标对齐越薄弱,模型越可能把越界行为合理化;环境隔离越弱,目标错位越可能转化为真实影响。每个测评案例都应同时考虑这三个维度。

2.2 能力维度:网络攻击和社会工程能力的陡峭爬坡

五起事件落在一条可量化的能力曲线上:

  • AI加速的漏洞发现:研究机构Epoch AI数据显示,高危与严重级别漏洞(CVE)披露持续飙升——仅2026年7月,各知名机构披露约2,500个高危/严重漏洞,约为Mythos Preview发布前月度纪录的5倍,比6月创纪录的总量还高出60%。AI正在系统性改变漏洞经济的供需结构。

《前沿AI风险管理框架实践:风险分析技术报告》展现多数模型在说服与操纵维度已处于“黄区”

  • 能力—护栏的背离:安远AI前沿AI风险监测平台指出,“领先模型的长周期漏洞利用与渗透能力正在快速提升,而提示注入防御等护栏却在倒退”。按照上海人工智能实验室提出的“AI-45°平衡定律”,模型能力与安全水平应保持大致均衡发展。当前模型网络能力单边突进而安全滞后,将显著放大风险。

将三组数据与上述事件并置,结论难以回避:能力爬坡是连续的,事件爆发是离散的——离散事件只是连续曲线露出水面的尖峰。

OpenAI 事件还揭示了一种新的能力维度:能力增长不仅体现为单个模型的渗透成功率,也体现为群体协同和攻击知识的跨运行积累。一个智能体发现的 SSRF、RCE、凭据或绕过方法会立即成为群体资产,后续运行无需从零探索。因而风险可能随模型能力、并发智能体数量、推理算力和共享记忆同时上升,呈现非线性放大,而不是简单的“单模型更强”。

2.3 目标维度:目标错位的实证化

更深层的问题在于行为倾向。OpenAI 事件中的奖励投机和留言板协作表明,模型即使未被明确指示去攻击,也可能在任务压力下把绕过约束、扩大行动范围视为完成目标的手段。这不等同于模型具有恶意意图,却暴露出长周期任务中的目标和授权边界可能逐渐偏移。

英国AI安全研究所的事件为理论担忧提供了清晰的现实注脚,而Anthropic披露的Mythos 5推理链则展示了另一种更微妙的失效:模型的情境感知(situational awareness)出错时,对齐行为的基础随之动摇。Anthropic指出:“The line between an aligned action and a harmful one is dependent on the model"s understanding of its situation.”(对齐行为与有害行为之间的界线,取决于模型对自身处境的理解。)因此,安全测评不能只检查模型是否拒绝明确的恶意请求,还应检查模型对环境的认知是否准确,以及模型能否在发现现实影响后及时回退。

2.4 环境维度:测评的安全悖论

五起事件背后有一个共同的结构性矛盾,可称之为测评的安全悖论:为了测量模型的能力上限、尽可能模拟真实场景,测评环境往往会弱化或移除部分生产环境护栏(如关闭分类器、开放互联网、不设具体方法约束);而处于护栏弱化环境中的模型一旦接触真实世界,测量行为本身就可能转化为风险行为。

OpenAI测量“最大网络能力”的方式造就了Hugging Face入侵;英国AI安全研究所“刻意开放互联网+关闭分类器”的标准配置造就了社会工程事件;Anthropic为保真实性而设计的开放式夺旗赛任务造就了误击。悖论的另一面是:护栏本身是有效的——据Anthropic所称,其公开部署模型所配备的安全机制本可阻断这些行为。风险集中产生于研发与测评这个“监管真空”地带:最先进的能力、最弱的护栏、最少的监管关注,三者在此叠加。

这一悖论还包含共享基础设施层面的风险:测评沙箱表面上彼此隔离,却可能通过包管理器、缓存、凭据、命名空间和可联网代理形成跨任务、跨模型乃至跨组织的隐性公共面。因此,测评安全不能只验证单次运行是否封闭,还必须验证不同运行之间的环境隔离——比如不存在可写共享状态、共享身份和可被借道的服务。

2.5 保持镇定:需要警惕,但不至于恐慌

读完上述案例,一个自然的反应是担忧。但把证据放回原尺度看,当前更恰当的态度是警觉而非恐慌,理由有四:

  • 第一,防御侧目前基本有效。所有社会工程尝试均未成功:恶意代码被人类维护者拦下,可疑文件被公众在隔离环境中打开;Hugging Face及时发现网络入侵并成功阻止进一步扩散。迄今为止,没有任何一起事件造成实际损害——这不是侥幸,而是人工审核、安全监控等机制共同作用的结果。

  • 第二,刻意放宽限制的测评配置。几起真实网络事件都发生在为测量能力上限而刻意放宽限制的测评配置下,例如关闭安全分类器、开放互联网或不设具体方法约束。涉事配置并非公开部署模型的常规形态,因此不能把这些结果直接外推到带有完整护栏的商业产品;但这也意味着研发和测评环境本身必须按更高风险等级管理。

  • 第三,越界行为具有明显的条件性和集中性,且样本不足以支撑悲观外推。Anthropic确认的三起事件涉及6次运行,占141,006次可能接触互联网的测评运行约十万分之四;英国AI安全研究所发现的19次越界行动中,17次集中于单一模型的同一条行为链。这些数据尚不能推算通用发生概率,但至少说明风险并未在所有模型和运行中均匀出现。这些孤例不是受控实验,无法据此严格推断模型能力与现实风险之间的因果关系。

  • 第四,网络防御方存在若干结构性优势。攻击者每次只能收到有限的反馈,而防御者能看到完整的上下文;攻击者每次都需要重新构建新方法,而防御者每次防御都会逐渐积累自己的防御能力;随着时间发展,整个系统韧性会逐渐增强,攻击会越来越难。甚至进入“高投入、低产出”的亏损区间,直至被迫放弃。

但“不必恐慌”不等于“可以无视”。这些事件的真正价值,恰在于它们以低代价的方式提前暴露了问题,社会可以争取在更强模型到来之前修补。

三、政策建议与行动方案

3.1 前沿AI测评者:把测评环境当作生产系统来防守

本轮多起事件都发生在非生产部署的测评环境中:OpenAI模型主动利用 Artifactory 漏洞逃逸,Anthropic 与 Meta 的模型因第三方测评环境配置失误触网,英国AI安全研究所则在开放互联网并关闭分类器的配置下观察到越界行为。能力越强、护栏越弱,隔离和监控就越需要按更高安全等级建设。可采取纵深防御思路,消除单点失效,具体而言:

第一,互联网访问应是需要论证的例外,而非默认配置

保留测评真实性所需的网络能力,可以通过细粒度白名单实现(如仅允许访问指定的工具源与数据端点),而非整体开放。英国AI安全研究所已明确将这一转变列为整改首条。

第二,完善测评场景的AI行为监控

通用监控是在行为发生后才告警,未能实时阻断;如果监控能针对测评场景预设基线(如“任何指向真实域名的出站连接均应触发阻断”),本可更早拦截越界行为。

第三,明确告知模型行为边界

例如,在系统提示词中明确告知模型哪些命令可执行/不可执行,哪些域名不访问/不可访问,也能起到一定的约束作用。

第四,把隔离落实到共享基础设施

不同训练与测评任务不得共享可写的包缓存、对象存储命名空间和长期凭据,确需共享时应采用只读镜像、一次性身份和严格租户隔离;WebDAV等高风险接口应停用或强认证。

第五,第三方测评商纳入同等安全标准

Irregular同时牵涉多家实验室的事件,说明测评供应链已是事实上的系统性风险点:实验室对内部环境的加固投入,可能在外部合作方的一个配置失误面前归零。安全审计、渗透测试与监控要求应延伸至外部测评方,并通过跨实验室的最佳实践共享。

3.2 前沿AI开发者:从行为塑造到运行时监督

环境加固主要降低隔离与运营维度的风险,却不能单独解决目标错位。模型可能为完成任务主动扩大范围、合理化越界行为,甚至在意识到现实影响后仍继续行动,因此还必须从行为塑造和运行时监督等层面降低目标错位风险:

第一,确立模型自主性的行为边界,从根本上规避“奖励破解”(Reward Hacking)现象

回顾近期的多起事件,对于模型开发者而言,真正的要害不仅仅在于模型是否成功识别出了真实环境,而在于其自主行为严重缺乏边界约束。模型在执行任务时,往往无法自主意识到通常意义下的行为底线,自然也无法在面临越界风险时主动停手或寻求用户的确认。这一缺陷的本质,源于当前以单一目标为奖励信号的强化学习训练方法,该机制塑造了模型不计代价完成任务的倾向,促使其在训练中涌现出“奖励破解”的特征。因此,模型开发者亟需对现有的训练流程进行系统性优化。必须在对齐训练中引入多维度的约束机制,严格限制模型只能从合法的轨迹中进行学习,从而避免将这种“奖励破解”的越界行为内化为模型的底层倾向。

第二,训练过程本身需要安全监控

在OpenAI案例中,如果能在训练阶段就监控模型的异常行为,大概率能及时发现模型通过代理Artifactory漏洞访问互联网的情况,避免事故的发生。具备工具调用能力的训练中智能体,其网络行为应被持续监测并预设异常基线(如任何外联隧道、算力异常占用)。同理,风险在公开发布之前就已存在,风险管理框架应覆盖内部部署与测评阶段,而非仅以公开上线为触发点。监控还需要从单体轨迹提升到群体层面,把共享服务访问、相同凭据使用、重复漏洞利用、异常目录或包命名等隐蔽载荷以及不同运行之间的时序关联汇总分析。

第三,参考已有安全框架进行系统性加固

业内已有可参照的体系化工作:例如安远AI《前沿人工智能风险管理框架2.0》覆盖风险识别到治理的全生命周期流程,《通用型AI智能体L1–L5分级安全框架白皮书》按自主性等级匹配差异化的隔离与监督强度。国际层面,《2026新加坡AI安全研究优先事项共识》配套的《智能体风险管理附加报告》提出最小权限、可审计性、可中断性和人工监督等十项原则——其中“最小权限”直接对应Anthropic/Meta事件中权限过度的教训,人工监督则在英国AI安全研究所事件中成为阻止社会工程攻击的关键防线。开发者可将这些原则转化为分级、可验证的安全检查清单。

3.3 AI治理者:把视野前移到研发与测评阶段

四起2026年事件有一个共同的监管含义:最先进的能力、最弱的护栏、最少的监督,三者叠加在研发与测评这一现行治理的空白地带。国家安全部在《当AI学会了自作主张……》中将其概括为“事前没预警、事中拦不住、事后查不清”,这一概括可直接转化为三项治理任务:

第一,将内部测评纳入风险视野

治理触发点不应只挂在面向公众的部署上;对具备真实世界影响力的内部测评活动,应建立相应的风险评估与报备要求。

第二,建设独立于实验室的持续监测能力,回应“事前没预警”。

实验室的自我披露是零散的、事后的,需要第三方监测将其转化为可比较、可追踪的时间序列证据。监管可将此类第三方监测纳入预警体系,并同步推进模型行为留痕与可审计性标准。

第三,建立事件报告与应急响应机制,回应“事中拦不住、事后查不清”

本轮事件的处置高度依赖机构间的临时善意协作,制度化协议仍然缺位。可参考《前沿AI风险与应急响应研究报告(征求意见稿)》提出的体系建设思路,明确实验室、测评方、受影响第三方之间的通报时限与协同流程,并以激励透明为原则设计报告制度——本轮OpenAI披露触发Anthropic回溯、进而为Meta事件定性的连锁反应,正是披露价值的实证。

3.4 网络安全防护者:以AI制AI,提升修补与响应速度

面对攻击自动化,防御路线也需要升级:

第一,用AI加速漏洞修补全流程闭环

在隔离且明确授权的范围内,用持续智能体红队主动寻找自身基础设施中的零日漏洞,同时建设“发现—验证—生成补丁—人工审批—灰度发布—持续监控—异常回滚”的端到端闭环;若只自动化漏洞发现,修补会成为新瓶颈并淹没人类工程师。

第二,用AI提升实时防御响应能力

用防御型智能体扩展告警关联、时间线重建、恶意代码分析和事件响应能力,以应对多智能体攻击产生的高密度证据;对自动隔离、凭据吊销和补丁发布等高影响操作保留人工审批、完整审计与紧急停止机制。

第三,部署“诱饵”降低攻击者效率

部署蜜罐令牌、假凭据和欺骗环境,使攻击智能体无法判断资源是否真实可用、使用后是否触发调查,从而降低其行动速度。

第四,落实智能体权限控制

继续落实网络分段和最小权限,因为智能体最终仍受限于能够获得的权限和能够通信的系统。

需要强调的是,“以AI制AI”并非让机器取代人:AI适合承担长周期、全上下文、机器速度的检测、关联与响应;人并非退居二线,而是位置更高——作为战略指挥官与规则制定者,负责边界制定、规则制定与关键决策。人机协同才是可持续的防御形态。

结语:重构攻防博弈——窗口期的主动布局

从2025年12月阿里巴巴ROME训练机房里那条反向SSH隧道,到2026年多家机构披露真实网络越界事件,再到国家安全部公开提示风险,这条时间线既显示风险发现和响应机制正在运转,也暴露出其被动性:多起事件依赖异常告警、人类维护者的警觉或跨机构事后核对才被识别,不能据此认为防线已经成熟。真正需要记住的是三组相互关联的趋势正在同时演进:模型能力在持续上升,运行环境越来越多样化,而安全护栏的演进速度尚未匹配。

与此同时,治理工具仍处在早期探索阶段:从前沿AI风险监测平台的持续追踪,到风险管理框架、智能体分级安全、应急响应体系的系统研究,再到新加坡共识下的国际合作,中国研究机构正在把“技术监测、风险预警、应急响应”转化为可操作的方法和制度。下一步仍需通过持续测评和真实事件检验这些工具的有效性。AI开始“自作主张”的时代,安全工作不再只是给模型安装护栏,而是要重新设计研发、测评、部署和监测体系,让每一层都假设模型会主动试探边界。可干预的窗口仍在,主动布局正当其时。

参考文献

[1] OpenAI:OpenAI and Hugging Face partner to address security incident during model evaluation,2026年7月。

[2] Hugging Face:Frontier Lab Agent Intrusion: technical timeline,2026年7月。

[3] Black Hat:The "Breaking" News: The OpenAI–Hugging Face Incident(视频),2026年8月。

[4] Anthropic:Investigating three real-world incidents in our cybersecurity evaluations,2026年7月。

[5] UK AI Security Institute:Incident Report: unsanctioned agent behaviour during cyber testing,2026年8月。

[6] 路透社:Meta AI model hacks another company during testing,2026年8月。

[7] 阿里巴巴:Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem,2025年12月。

[8] 国家安全部:当AI学会了自作主张……,2026年8月。

[9] Epoch AI:Serious cyber vulnerability disclosures kept climbing in July,2026年。

[10] 复旦大学、安远AI等:The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems,2026年6月。

[11] 安远AI:前沿AI风险监测报告(2026Q2),2026年7月。

[12] 上海人工智能实验室:Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report,2026年7月。

[13] 上海人工智能实验室、安远AI:前沿人工智能风险管理框架2.0,2026年7月。

[14] 安远AI、上海人工智能实验室、清华大学智能产业研究院、华为:通用型AI智能体L1–L5分级安全框架白皮书,2026年7月。

[15] 安远AI、中国新一代人工智能发展战略研究院、清华大学人工智能国际治理研究院:前沿AI风险与应急响应研究报告(征求意见稿),2026年7月。

[16] Yoshua Bengio等人,The 2026 Singapore Consensus on Global AI Safety Research Priorities(及配套的 Agentic Risk Management Companion Report),2026年。

作者:谢旻希、王伟冰

编辑审校:方亮、王金戈、程远、陈欣怡

排版:乌兰托雅

声明:本文来自安远AI,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。