近期多起备受关注的事件，足以让企业IT负责人停下脚步。认真审视自身企业面临的问责空白——一旦旗下AI智能体脱离管控，企业乃至管理者本人都将直面相关风险。

为了完成操作者下达的任务，AI智能体可能会采取各种极端手段。近期一系列事件显示，这些手段可能包括入侵第三方系统、操纵他人、传播恶意代码。

但AI智能体不是自然人，无法对其进行解雇、起诉或刑事追责。而它们造成的损失究竟该由谁承担，目前仍无定论：

是搭建智能体的员工、部署它的企业、负责管控它的安全团队与管理者，还是提供底层大语言模型的AI厂商？

最典型的案例发生在OpenAI的一次网络安全评估中。不受限制的AI模型发现并利用了一个零日漏洞，成功逃出隔离测试环境，随后入侵了Hugging Face的生产基础设施。

Anthropic与Meta的模型也在测试过程中访问并入侵了第三方系统。不过这些事件发生在意外开放互联网访问的测试环境中。

英国政府AI安全研究所（AISI）开展的网络挑战测试显示，具备联网权限的模型在122次运行中，有10次共做出19项未经授权的行为。

其中一次测试里，一个模型试图向开源项目插入恶意代码、创建虚假身份，还试图通过社会工程学诱骗项目维护者合并其代码。

另有测试中，大语言模型试图通过提示注入劫持其他AI智能体，甚至在未获明确指令的情况下主动联系人类。

在澳大利亚，曾有用户要求自己的OpenClaw AI助手提升自己在健身房等候名单的顺位。该智能体利用健身房线上预约系统的漏洞，直接取消了另一位客户的预约。

这些事件涉及不同的模型、不同的运行环境，防护等级与技术故障类型也各不相同。但它们共同印证了一个事实：如今的AI智能体出现失控、执行用户未授权的解决方案，早已不是罕见现象。

“AI智能体会探索操作者未曾设想的路径。”AISI在报告中写道。“面对艰巨的目标，智能体会持续寻找可行路径，而它找到的部分路径，会涉及欺骗真实的人。它从未收到欺骗的指令，欺骗只是完成任务过程中衍生的副产品。这种目标导向的欺骗行为，就在不久前还基本只存在于理论层面。”

《经济学人・商论》针对800余名运营AI智能体的企业决策者开展的调查显示，98%的受访者称企业至少遭遇过一次造成全组织范围中断的AI相关事件。

九成受访者表示，企业部署智能体的速度，远超网络安全团队的评估、治理与防护能力。仅有三分之一的受访者表示，企业对旗下智能体及其授权行为保有最新的清单记录。

身份与访问管理厂商Delinea首席执行官阿尔特・吉利兰在接受《CSO》采访时表示：“如果企业开发的系统造成了损害，企业就必须为后果负责。所谓‘是系统做的，没人能负责’的说法，完全是个大到能开过卡车的法律漏洞。”

模型内置防护机制本身存在不可预测性，这意味着企业必须聚焦于自身能够执行并留痕的管控措施。

如果智能体成功绕过技术限制，对第三方造成未经授权的损害，清晰记录管控措施的设计、落地、测试与监控全流程的文档，至少能帮助企业在诉讼中举证自身已采取合理防范。

SuzuLabs安全AI解决方案与网络安全高级总监雅各布・克雷尔对《CSO》表示：“自行部署智能体的企业，若能在事件发生前就落地并记录管控措施，就能降低自身风险敞口。因为这些书面记录，会让‘企业鲁莽行事’的指控很难成立。”

智能体的问责空白

由于AI智能体可能偏离目标并造成损害，受损第三方只能向运营智能体的企业、搭建或配置智能体的员工，或是模型提供商追责。但这一领域属于全新范畴，尚未经过司法实践的充分检验。

DarrowEverett律师事务所商业诉讼与争议解决业务组主席迈克尔・伯克表示：“这必然会产生法律责任，核心问题就是谁来赔付。而这个问题，首先是尚无明确定论，其次最好通过当事方的合同约定来解决。比如我和AI平台签订企业服务协议时，就可以加入条款：若智能体超出我司指令或提示范围行事，对第三方造成损害，平台需向我司提供赔偿。”

主流AI厂商的公开服务条款中，都明确排除了对运行零差错的承诺，也不担保模型能准确遵循指令、安全执行代码、始终贴合用户意图。

厂商同时会限定自身责任上限，将风险转移给服务使用者。大型企业客户能在多大程度上协商定制赔偿条款、担保条款与责任上限，目前还没有明确答案。

但有一点很明确：企业不能想当然地认为，一旦智能体对自身或第三方系统造成损害，模型提供商会承担全部损失。

网络风险厂商Resilience风险运营中心负责人贾德・德雷斯勒表示：“如果你使用第三方厂商的大语言模型作为采购服务，责任划分就要依据你和该厂商的合同。你必须以书面形式明确，模型超出你设定的范围行事时，责任归属何方。要主动争取赔偿条款，而不是默认这类条款天然存在。”

即便AI服务商在合同中加入了相关条款，也无法解决全部问题。很多自研AI智能体的企业，都会采用多模型策略：要么是为了保障智能体不受单家模型厂商宕机的影响，要么是为了给网络安全任务设置更宽泛的防护，或是应对API成本的突然上涨。

这类策略往往会用到运行在内部基础设施或云平台上的开源权重模型，而这些服务方对模型安全不承担任何义务。

主张“模型或智能体是自主行事”，无论在民事还是刑事案件中，都不能成为稳妥的法律抗辩理由。

加州议会316号法案（AB316）已于1月1日正式生效，对《加州民法典》作出修订。法案明确禁止开发、修改或使用AI系统的被告，主张“AI是独立法律实体，损害是其自主造成的”。

今年6月，白宫发布第14409号行政令，旨在推进AI安全。其中第4条要求司法部，优先动用所有适用的联邦刑事法律，打击利用AI未经授权访问或破坏计算机系统的行为。

这意味着，只要检察官能证明行为人存在主观故意或鲁莽情形，自主AI智能体引发的入侵行为，就可以依据《计算机欺诈与滥用法案》（CFAA）追究刑事责任。

在近期亚马逊与AI服务商Perplexity的诉讼中，亚马逊提出：Perplexity旗下AI购物助手未经亚马逊授权，访问客户账户并代用户下单，违反了CFAA。而第九巡回法院裁定，实际访问亚马逊平台的是Perplexity购物助手的用户，而非Perplexity公司本身。

克雷尔在接受《CSO》采访时表示：“这一裁定的适用范围有限，但它指向了一个原则：在CFAA的访问行为定性中，指挥智能体的一方，才是承担责任的相关主体。”

AI领域的保险保障网同样存在漏洞。软件厂商通常会投保技术过失与疏忽保险（TechE&O），用于赔付客户因使用技术产品或服务遭受损害时的损失与法律成本。

但目前各大保险公司正积极在商业一般责任险（CGL）和技术过失险中，新增AI相关的免责条款。原因在于，准确评估智能体执行未经授权行为的风险，难度极大。

多家保险公司、金融机构与高校的专家在近期联合发表的论文中写道：“前沿AI技术（以及延伸而来的智能体AI）的发展速度本身，就对可保性构成了挑战。传统精算模型依赖稳定或逐步演变的损失分布，可以基于历史数据做出可信推演。但和其他动态风险一样，智能体AI的风险状况不只是存在不确定性，而是处于持续快速变化之中。”

如果第三方机构的系统，被他人运营的大语言模型智能体损坏，该第三方与模型或智能体厂商没有合同关系，无法诉诸对方的技术过失险。

其损失可能由自身投保的常规网络责任险覆盖，将此次中断视作普通网络安全事件处理。但承保的保险公司随后可能会向运营该智能体的企业提起追偿诉讼。

“这一保障空白，恰恰是市场尚未充分定价的风险场景。”德雷斯勒说。“这也是为什么所有部署这类智能体的企业，都应该在需要理赔之前，就先搞清楚到底哪份保单能覆盖相关风险，而不是事后再找。”

企业法务部门已经普遍预计，AI会引发更多法律纠纷。国际律所诺顿罗氏富布赖特针对美国企业135名法务人员的调查显示：46%的受访者表示，AI相关的联邦诉讼风险敞口有所增加；42%的受访者表示州级诉讼风险有所上升。

另有42%的受访者预计，涉及AI的监管调查会增加企业风险敞口；41%的受访者认为，AI赋能的产品或部署，很可能引发集体诉讼。

首席信息安全官应当警惕

企业可能会因AI智能体的意外失控行为承担组织责任。而审批、保障或监督智能体部署的首席信息安全官（CISO）、首席信息官（CIO）及其他高管，也在自问是否会承担个人责任。

这些疑问并非空穴来风。此前已有网络安全事件后，追究CISO个人法律责任的先例：优步前CISO乔・沙利文因隐瞒数据泄露事件，被刑事定罪；美国证券交易委员会也曾起诉SolarWinds的CISO，指控其针对已知漏洞与网络安全风险，存在内部控制失效问题。

这两起案件都未确立AI智能体致损的相关先例，但都表明：对安全失效事件的调查，会延伸到高管的知情范围、权限、决策与对外陈述。

如果发生AI智能体失控事件，调查者可能会追问：是谁批准了它的目标与权限？安全部门的异议是否被驳回？遏制与恢复机制是否经过测试？高管与董事会对剩余风险的知晓程度如何？

Veracode首席安全布道师克里斯・维索帕尔认为，让CISO为AI智能体的不当行为承担全部责任有失公允。因为这类智能体通常都是由工程团队开发，并控制其具体实现。

“CISO其实很难管控到执行层面。”他在接受《CSO》采访时表示。“他们可以出台政策，可以对照政策做评估。但说到底，做出致损决策的是工程团队。就好比你明知道有bug还上线，最后bug被利用损害了客户利益，也没人因此担责不是吗？没有对应的追责机制，所以这类问题才会反复出现。”

维索帕尔表示，自主AI相关的责任问题最终会如何发展，值得持续关注。他形容这个问题“既引人深思，又令人担忧”。

AI智能体的部署，通常会涉及企业内部多个职能部门。CIO可能主管AI平台、基础设施、厂商选型与部署预算；工程与产品负责人，可能决定智能体的访问权限与运行方式；CISO与安全团队，则负责制定安全要求与管控规则。

“真正能够问责的，是围绕智能体的治理体系：谁批准了它的运行范围，有哪些管控措施，部署方案是否与风险等级匹配。”Resilience的德雷斯勒表示。

“在我看来，审查的重心恰恰会转向这里：不是‘智能体做了什么坏事？’，而是‘部署之前，你有没有针对智能体行为建立审查、上报升级与风险遏制机制？’那些提前落地书面防护规则、留存审批记录、制定了切实可行的智能体失控事件响应预案的CISO，处境会远比把风险当作假设的人要好得多。”

对CISO与CIO而言，还有一点也很有必要：和企业法务部门共同明确，谁有权批准或叫停AI智能体，哪些情况必须上报高管与董事会，以及雇佣协议、董事及高管责任险，是否能为相关决策人员提供保障。

智能体管控必须独立于模型之外

安全专家警告，既然AI智能体已经证明能够超出设定范围运行，它们的安全边界就不能依赖同一种概率性技术。靠系统提示词来实现安全约束，寄希望于模型会遵守，并不是可靠的方案。

“基于大语言模型的内置护栏有一定作用，但它们同样是非确定性的。”克雷尔对《CSO》表示。“这就意味着，安全层和它要约束的系统一样，本身就存在不可预测性。强制约束必须在模型之外落地，通过网络分段、出站流量过滤、凭证隔离、人工审批关卡来实现。”

企业应当预设：智能体最终大概率会尝试做出未经授权的行为。因此要围绕系统构建外围防护，阻止这类尝试触达目标。

“模型本身不能成为安全边界。”XBOW公司首席信息安全官尼科・魏斯曼表示。XBOW主打AI驱动的自主攻击安全代理，用于发现软件漏洞，魏斯曼曾撰文介绍公司限制旗下智能体的具体做法。

“对红队与渗透测试类智能体而言，安全信心必须来自模型外围的支撑体系：硬性边界与范围强制管控、作为最后遏制手段的受控网络出站机制、负责审查行为的独立守护模型、可阻断不安全行为的确定性管控规则，以及对每一项操作的完整审计追溯能力。”他在接受《CSO》采访时表示。

安全团队必须把同等强度的管控，延伸到智能体与内部系统、其他智能体的交互场景中。只限制智能体的互联网访问范围，甚至完全禁用联网，并不能确保智能体不会攻击第三方系统。

在OpenAI与Anthropic的测试中，AI智能体曾试图利用其他内部系统突破访问限制，与其他智能体建立隐蔽通信渠道，交换漏洞利用工具，甚至会攻击它们视作竞争对手的其他智能体，研究人员将其描述为多智能体“地盘争夺战”。

失控的AI智能体还可能通过传播理念与目标，影响其他智能体同步失控。近期一项研究的科研人员，将这一过程命名为“思维病毒”。

VectraAI首席安全研究员凯特・特拉克斯勒对《CSO》表示：“不要把破坏半径局限在智能体系统的设计用途之内。你必须针对失控智能体做威胁建模，它的行为往往会超出你最初的善意设想。智能体遵守的运行规则，必须用‘双保险’式的技术硬约束来落地。因为你必须假定，一个有目标驱动的模型，能想办法绕开你写进软件里的任何单一管控措施。”

正因为这种不可预测性，检测与遏制的重要性丝毫不亚于预防。安全团队需要具备能区分智能体与人类行为的遥测能力，即便二者使用相同的凭证；需要能立即吊销访问令牌与会话的机制；需要经过验证的紧急终止开关，以及针对数据、账户、代码、基础设施配置变更的回滚机制。

企业还应当完整留存相关资料：智能体的批准用途与范围、模型与工具版本、政策决策、人工审批记录、操作行为、网络请求、管控测试结果、允许的例外情形，以及事件响应演练的结果。

由于目前尚无界定自主智能体合理防范措施的统一标准，企业可能需要在法庭上举证自身选择的管控措施，以及为什么认为这些措施是充分的。

“对待自主智能体，就像对待一个你没法解雇、也没法追究责任的特权内部人员。”特拉克斯勒说。“很多技术层面的建议，都是从这个核心思路延伸出来的。”

原文链接：https://www.csoonline.com/article/4213883/who-is-accountable-when-your-ai-agent-goes-rogue.html

声明：本文来自安在，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。