随着大模型技术的不断成熟,AI Agent正从“对话工具”演进为具备自主规划、跨系统调用和持续运行能力的数字化执行单元。在企业的研发、运营、电商及客服等场景中,Agent正逐步接管原本由人工完成的部分程序化任务。
但从法律与监管视角看,Agent的风险并不源于“模型是否聪明”,而在于其被赋予的系统权限、数据触达能力与自动化执行能力。若缺乏有效的合规控制,企业极易触碰《网络安全法》《数据安全法》《个人信息保护法》《电子商务法》《消费者权益保护法》《反不正当竞争法》等法律红线。因此,对于企业来说,上线 Agent 不是简单的技术升级,同时需要企业治理与合规能力的升级,以确保Agent可阻断、可解释及可追责。
结合类似项目经验,汇业律师事务所黄春林律师团队梳理了企业上线AI Agent的主要安全风险,并据此制作了上线前的合规自评估清单(摘要),仅供参考。
第一部分 上线 AI Agent 的主要安全风险
与传统IT系统或单一大模型接口不同,Agent的核心特征在于能自主执行任务。这使得风险呈现出三点根本变化
Agent自动化运行,导致风险可阻断性差;
Agent具有智能性,导致风险原因隐蔽,企业合规自证及解释难度大;
Agent往往涉及多系统、多任务处理,业务链路较长,责任边界模糊,因此可追责性差。
1. 主要网络安全风险
(1)提示词注入风险
Agent一旦被授予访问库存、订单、会员、客服及邮件等内部系统的权限,攻击者可通过提示词注入,诱导其执行非预期操作,如外发数据、删除文件或群发邮件。此外,当Agent具备联网搜索、读取邮件或文档的能力时,外部内容本身可能成为“隐形指令载体”,对Agent实施指令劫持。
(2)多Agent架构下的权限串联与横向渗透风险
在多Agent协同场景中,低权限Agent可能通过任务转发或上下游调用,间接触发高权限Agent执行操作,形成事实上的权限提升,导致Agent失控执行。
(3)Agent风控策略失效
若合规约束未进入Agent奖励函数核心,可能会导致Agent只对KPI /成本等负责,形成奖励函数对抗,导致风控策略失效;此外,在智能化对抗中,外部攻击可能会通过高速多轮试探,反向推导Agent的静态风控策略,从而实现多步组合绕控。
(4)违法违规内容输出
Agent内容输出能力仍然依赖大模型,因此仍然具备大模型本身的信息安全风险,例如涉政涉恐等违规内容输出,价格、广告、产品质量等相关的违法内容输出,歧视、虚假等不良内容输出,等等。
2. 数据安全与个人信息保护的主要风险
(1)超范围与目的外处理风险
Agent为完成任务,可能自动整合多源数据,突破原有业务边界,从而违反个人信息处理的最小必要与目的限定原则。
(2)RAG与长期记忆引发的数据污染风险
若向量库或长期记忆被污染,Agent将持续基于错误或恶意信息作出决策。在客服、人事、合规等场景中,这类风险尤为明显。
(3)数据出境与插件链路的不可见泄露
Agent在多工具、多插件间流转数据,极易在企业未察觉的情况下,将个人信息或监管数据传输至未通过合规审查的第三方或境外服务器。
第二部分 合规应对路径建议
参考类似项目经验,汇业黄春林律师团队,建议企业采取包括但不限于如下合规应对策略,提升企业在应用Agent时的合规治理能力:
1. Agent设计上,我们建议企业坚持三个最小化原则,即
1) 权限最小化:按任务、节点拆分权限,严禁全能、全链路Agent化;
2) 能力最小化:谨慎开放外连、写操作、自动执行能力;
3) 数据最小化:仅提供完成任务所必需的数据字段。
2. Agent上线前,我们建议企业开展Agent专项风险评估
1) 将Agent视为独立的网络系统与数据处理活动;
2) 明确其责任部门、权限范围、数据类型、外部交互对象等;
3) 评估是否触发个人信息保护影响评估、算法备案或安全评估义务;等等。
具体的评估清单摘要详见第三部分。
3. Agent运行阶段,我们建议企业建立可控点与审计能力
1)对外发、删除、批量处理等操作设置人工介入,尽量确保Agent任务链随时可阻断;
2)完整记录Agent的输入、工具调用与执行结果,尽量增强Agent可解释性;
3)对异常行为进行实时监控与告警;等等。
4. 公司层面,我们建议企业加强制度与合同层面补强
明确Agent的内部责任部门,制定Agent管理制度规程及合规指南;
在隐私政策、用户协议中依法披露Agent的相关情况;
对第三方模型、插件与供应商开展安全与合规能力审查,明确责任边界及追责机制,并签署专用合规承诺条款/附件;等等。
第三部分 AI Agent 上线前合规自评估清单(摘要)
一、Agent及其责任主体基本信息
(略)
二、个人信息保护合规评估

三、数据安全合规评估

四、网络安全合规评估

五、算法合规评估

六、政府合规与合规管理

七、评估结论及改进建议(含补充资料)
(略)

声明:本文来自网络与数据法律实务,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。