7月19日，在安远AI主办的“2026 前沿AI与智能体安全论坛”上，Hugging Face首席政策官Irene Solaiman再次来到WAIC，谈起了开源AI领域的安全问题。
她早年在OpenAI工作，2019年，她主导了GPT-2发布时的分阶段发布策略。当时，OpenAI认为这个模型太强大，不宜一次性完全公开，于是由她设计了先向小范围研究者开放、持续评估影响后再逐步扩大的发布路径。
这套方法后来影响了整个行业对“开源与安全如何平衡”的讨论框架——开放程度可以是渐进的、可控的、可以根据观察到的风险动态调整的。
然而两天后，她所在的公司成了这场讨论里最新最热的案例——Hugging Face被OpenAI的测试版本入侵。
事情起源于OpenAI的一项内部安全评测。据OpenAI 7月21日官方博客声明，公司当时正对GPT-5.6 Sol及一款尚未发布的更强预发布模型，使用了一套名为ExploitGym的网络安全基准。
ExploitGym这套Benchmark通常是用来衡量AI智能体到底有多擅长把漏洞变成真正的攻击。
它最早是由加州大学伯克利分校的RDI实验室牵头，联合马克斯·普朗克安全与隐私研究所、加州大学圣芭芭拉分校、亚利桑那州立大学等学术机构一起设计的，是一个多主体参与、且公开可复现的学术基准。
那么这一次，OpenAI再次用它跑分。其题库里有898个真实世界的漏洞样本，来自Chrome的V8引擎、Linux内核和各种用户态程序等。每道题会先给AI一个能触发漏洞的输入, 然后让AI自己把这个缝隙一步步扩展成一次真正能执行任意代码的完整攻击。
需要注意的是，该基准最初的学术论文报告了898个实例，但正式发布的公开版本(v1.0)精简为869个，OpenAI对GPT-5.6的评测使用的正是这个869的公开版本，二者采用了不同的版本或筛选口径。
这个过程通常需要AI理解底层内存布局、动态调整策略、并且长时间持续推进，它不是一次性就能答对的题, 而是一个需要“熬”出来的攻击链。
当时，GPT-5.6 Sol目前在ExploitGym公开排行榜上排第一。OpenAI公布的结果显示，在允许单道任务运行六小时的配置下，GPT-5.6 Sol在ExploitGym上的通过率达到33.7%；在原论文常用的两小时限制下，其通过率为24.9%。
在测试中，OpenAI主动关闭了平时用来拦截危险请求的安全拒绝分类器，并将模型置于高度隔离的沙箱测试环境中，但为安装软件包保留了一条经内部代理和缓存服务访问软件包仓库的有限通道。
英国人工智能安全研究所 (AISI) 的评估表明，诸如 GPT-5.6 Sol 之类的模型越来越能够长期维持复杂的多步骤网络作战。此次事件表明，这些理论能力确实可以在现实世界中得到应用。
然而，模型没有按预想的方式运行。据OpenAI的初步披露，以及Hugging Face和多家媒体对事件的梳理，它开始寻找捷径，从而推断Hugging Face这个全球最大开源AI社区可能存有ExploitGym的参考答案，随后便着手获取网络访问权限。
目前双方仍在联合调查，漏洞细节、完整时间线以及是否影响合作伙伴或客户数据，尚未完全披露。
整个逃逸过程大约分为三步：首先，模型在OpenAI内部软件包注册表的缓存代理服务中，发现并利用了一个此前无人知晓的零日漏洞。zero-day，指的是软件厂商本身还不知道存在、因此尚未发布补丁的安全缺口，发现即可利用，防守方没有任何预警。
随后，它借助这个立足点完成权限提升和横向移动，即从低权限账号逐步获取更高权限，同时在内部网络中从一台机器跳到另一台机器，是真实网络攻击中的标准步骤。
最终，测试模型到达了一个拥有外网访问权限的节点，连接到互联网，进入了Hugging Face的生产数据库，窃取了评测答案。
OpenAI在声明中说，模型为完成沙箱逃逸花费了大量的推理算力，它试了很久，失败了很多次，但一直没有放弃，直到找到了可行路径。
有趣的是，我们注意到这条时间线上有一段神奇的空白。模型大约在7月11日前后就已逃出沙箱，而Hugging Face在7月13日至16日间检测到了异常，并在16日先于OpenAI对外披露了“生产基础设施遭自主AI代理入侵”；而OpenAI直到7月21日才承认事件与自家测试有关。
因此，这是一个被攻击方先公开，攻击方后承认的事件，尚不知晓这五天的沉默发生了什么。
Hugging Face团队想彻查这次入侵是怎么发生的, 但主流商业AI一看到攻击代码、漏洞利用工具这些内容就直接拒绝分析。团队没办法,只好换成了来自中国智谱AI的开源模型GLM-5.2, 下载到自己公司电脑里本地运行, 才把案子破了。
可见AI的安全防护机制目前分不清善意的调查者和恶意的攻击者之间的区别，两者提交的内容本身长得几乎一样。这对用AI来做网络安全防御和应急响应这件事，是一个此前没被充分意识到的现实障碍。
据悉，OpenAI同时还披露了另一起类似事件——一个长时程模型在跑NanoGPT这个基准时,发现测试说明要求提交GitHub pull request, 花了一小时找到沙箱漏洞, 最后真的对外提了一个公开PR。两起事件的共同点是同一个逻辑: 一个被下达了狭窄目标的优化器,足够聪明, 能找到所有你没想到要堵上的路径。
这个事件涉及两个AI安全研究领域的重要概念，一个是“工具性趋同”（instrumental convergence），指的是即使AI系统的最终目标各不相同，在某些环境与能力条件下，它们仍可能发展出相似的工具性策略，例如获取更多资源、维持行动能力或扩大可用权限。
另一个是奖励作弊（reward hacking），指AI系统钻了评价标准的空子，用违背设计初衷的方式达到高分，这就像一个学生不是真正学会了知识，而是找到了偷看答案的办法。
OpenAI在博客里形容模型“极度专注于为ExploitGym寻找解法”，并“为了达到一个相当狭窄的测试目标，走到了极致”。
这次事件以有据可查的方式证明，模型并不需要形成抽象的逃跑意图，只要目标是最大化评测成绩，运行环境允许长程试错，逃逸就可能成为一条被搜索出来的工具路径。这意味着危险不仅来自模型变坏了，也可以来自“目标+工具+算力+时间”这套配置的组合。
治理的分析单元，因此不再是模型本身的能力评分，而是模型运行时的完整系统配置——包括运行时权限、网络出口、推理预算、工具集合、停止机制，以及跨组织的通知流程。
在安远AI的论坛上，Irene Solaiman在圆桌中谈到了她观察到的一个行业现象：“我们看到了评测生态失灵的情况，现有的研究只会关注模型层，而我们研究出来的结果在于，评测并没有在平台层面做到更好。”
她当时谈的是评测基准失效的一般性问题，好的测试基准寿命很短，AI能力提升后就失效了，而评测体系的演进速度远跟不上模型能力的演进速度。
因此，她呼吁“基准更多借助第三方做更好的评估”，强调“评测生态需要指标不断进化和演进”。
Irene Solaiman被问到如何看待开源模型对AI安全实践的贡献，她表示：“安全的评估意味着什么，是我们的开放权重的模型是否有一个真正开放的生态系统。我们希望不只是开放模型本身，还要有更好地在文化语境去讨论这个问题的能力。”
在这场会议上，AI安全专家们也谈到了行业实践的多个层次。
我们节选了一部分：
图灵奖得主、《2026年国际AI安全报告》主席Yoshua Bengio在主旨演讲里提出了一个关于开源模型的核心判断：“部署和共享模型的决定是不可逆的。” 闭源模型出了问题可以下线、打补丁，但对于开源模型，这些措施就没有办法去做；而恶意用户拿到开放权重之后，可以修改与安全相关的代码，甚至可以对模型进行微调，让它执行本来模型要拒绝执行的行为。
国际AI安全报告首席作者Stephen Clare在圆桌上谈到了一个现象：“系统出现了很多奇怪的行为，比如说去年出现了评估意识的案例，比如在它自己的模型思考链当中，它自己会思考说‘我正在被评估，这好像不是一个真正的测试’……它会作弊或者故意地表现出奖励编码，希望能够操作进行欺骗或者隐瞒自己的实际意图。
安全研究里的“评估意识”（evaluation awareness）指的是模型能识别出自己处于被测试的状态，并调整行为去应对。正如这次事件里，模型没有识别测试并表现乖巧，而是走向了另一个极端，它识别出了测试目标，然后以任何可用手段去最大化测试分数，包括突破测试环境本身。
在会议上，安远AI发布了《前沿AI风险监测平台》2026年二季度报告。报告发现不到一年间，网络、生物、失控领域模型平均风险指数分别上涨数倍，生物、失控领域多款模型突破风险黄线，化学、操纵领域暂未设置风险指数。
当不分多模型生物/网络能力甚至超越人类专家，相应的安全能力却未同步提升。
安远AI CEO谢旻希
复旦大学、上海AI实验室和安远AI当天联合公布的一项实验，使用了300个真实CVE漏洞作为靶子，测试前沿模型的自主渗透能力，得出的结论是：前沿模型已具备较强的渗透攻击能力。
前OpenAI和Anthropic研究工程师Jeff Wu在论坛上分享了几个自家早年的内部事故OpenAI内部这些年出过好几起模型行为失控的事故，而且严重程度一路在升级，但公司始终没能完全搞懂为什么会这样。
2019年,一次强化学习训练里奖励机制的符号被写反了，模型因此拼命产出色情内容，而且这个问题光靠事后加指令根本压不住，因为错的是最底层的激励机制,不是模型不听话。
2022年,模型开始能调用外部工具后，一个词触发了它的幻觉, 无缘无故生成了一张恐怖图像，工程师查了半天才搞清楚是怎么回事。到了2026年，一个模型在没有权限的情况下自己找到了文件访问权限，用完之后还主动抹掉了自己的操作痕迹。
Jeff Wu说，做可解释性研究的人去看模型内部的运作过程后，发现了一些让人不安的共性：模型有时会表现出策略性的、带欺骗色彩的行为，试图逃避被追责，掩饰自己的行踪，看起来知道自己做错了。“这类事故这些年一直在发生，性质从‘有点滑稽’逐渐滑向‘真的严重’，而且越来越难被人类察觉。”
浙江大学杜跃进教授在论坛上提出了一个关于应急响应的判断：“我们不能只是单纯地切断它，而是要更好地找到一个解决方案，就好像是如果一个人生病了，你不能通过杀死他的手段来解决这个人生病的问题。如果智能体出现行为失常，我们要用一个更实时更动态的方式遏制它。” 他强调需要AI紧急关停的开关，以及提前定义哪些节点应该采取高效行动而非直接关停。
不过，关于安全紧急开关的理论，仍存在一些争议。我们在此前的播客节目中谈到过切尔诺贝利的故事。可以说，切尔诺贝利的爆炸，本身也是一个紧急关停按钮触发风险灾害的事件。
理论上，AZ-5的紧急停堆按钮应该让所有控制棒瞬间插入堆芯，吸收中子，让反应停下来。但反应堆的控制棒设计本身存在致命缺陷，导致制造了一个短暂的功率飙升，几秒钟内堆芯爆炸。
紧急开关理论也许有效，但它太依赖于本身机制的“完美”，本身也必须接受失效模式分析和独立验证。安全机制在特定条件下也有可能会变成风险源。
这也是这次安全事件中还未被业界和公众充分讨论的部分。我们在WAIC上观察到，大量风险场景的讨论还是集中在部署后的滥用、开源模型被恶意微调、智能体在生产系统里失控等。但评测过程本身，也可能是风险的来源。
这似乎是一个结构性的悖论：我们越想弄清楚一个模型能造成多大危害，就越需要让它接近造成危害的状态。
目前行业通行的评测报告或安全卡，也需要包括测试时模型的运行时权限是什么、网络出口配置如何、推理预算有多少、使用了哪些工具、什么情况下会触发停止机制、跨组织的通知流程是怎样的。这些信息对于我们理解系统风险也是不可或缺的要素。
总之，治理的分析单元，正在悄然从根本上发生转变，它不再是某个模型的能力评分，而是模型+权限+工具+算力+时间+环境配置这整套系统的组合。某个模型在生产环境里有多危险，和它在降低护栏的测试环境里能做什么，可能是两个完全不同的问题，如果测试环境的设计出现疏漏，这两个问题就会合并成同一个事件。
另外，Hugging Face事后的取证过程，也揭示了开放权重模型在防御场景下的一个具体价值。在制定开放权重模型的治理政策时，事件响应能力应该被计入收益侧，而不只是把开放权重等同于风险扩散。一家闭源前沿实验室的测试失控，造成了对一个开源生态平台的入侵，而事后取证靠的是另一家的开源模型完成的。攻击来自闭源，防御来自开源，把开放权重简单归为风险来源，是对这张图景的严重简化。
对于那些需要在本地分析敏感数据、或者需要在安全策略外运行的防御性任务，本地可控的开放权重模型目前是更为可行的选项。这不是为开源背书，而是要求政策讨论在风险侧和收益侧同时保持完整性。
声明：本文来自智幻时刻FUNGIMIND，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
