今年年初,OpenClaw在全球范围内爆发式增长,安装量和Token消耗量双双飙升,平台调用量呈指数级放大,发布近4个月就以超过24.8万的GitHub星标数正式登顶星标榜。在国内,阿里云、腾讯云、Kimi等大模型厂商也相继推出集成化Agent方案,使AI Agent的角色发生了实质性跃迁:它不再只是生成文本、整理纪要或辅助编程的工具,而是能够自动调取系统数据、检索解决路径、触发业务流程,并在多系统间连续执行任务,逐步从“辅助工具”升级为“数字员工”,直接进入业务执行层。

然而,这场跃迁在释放效率红利的同时,也显著抬高了企业治理难度和合规风险。当Agent具备同时“动数据、动权限、动流程”的能力时,其风险不再是单点问题,而是会跨越数据边界、权限体系和系统链路,形成复合型、系统性风险,涉及多条责任链。对于企业而言,如果在追求效率提升时忽视安全与合规边界,一旦触及法律红线,不仅可能面临监管处罚,更可能对企业的持续经营能力造成直接冲击。效率与安全的天平,一旦倾斜,代价可能是企业无法承受的。

结合当前企业实践,AI Agent的安全合规风险主要集中在以下几个方面:

一、数据合规风险:Prompt、上下文、RAG知识库、日志与评测集均应纳入合规治理

在企业部署AI Agent用于检索问答、内容生成或流程辅助时,通常会将客服对话、工单记录、简历信息、合同附件等资料接入知识库,并在系统运行过程中形成Prompt、上下文信息、检索片段、调用日志及评测数据链路。如果这些资料包含姓名、联系方式、账号信息、交易记录或履约信息等可识别特定自然人的信息,那么在收集、存储、调用或用于生成输出、优化模型的过程中,即可能构成个人信息处理行为。

然而,AI Agent场景下的合规风险,并不在于企业是否处理个人信息,而在于数据在系统中的可访问范围和存储周期是否被技术架构无意放大。数据一旦进入Prompt、上下文、RAG知识库或日志链路,使用范围和保存周期可能在不知不觉中扩大。实践中,常见风险包括:

1)权限扩展:知识库的权限可能与源系统不一致,导致原本仅限内部系统访问的数据被更广范围的员工或系统调用,突破原有业务目的的访问边界。

2)留存超期:对话记录或系统日志缺乏明确的留存和删除规则,原本用于短期业务的数据可能沉淀为长期可调用的存量。

这些问题往往不是企业刻意扩大处理范围,而是由于AI系统链路设计不够严谨,使数据在无意中突破了《个人信息保护法》中规定的目的限定、最小必要和存储期限等基本原则。如果处理目的不明确、告知不足、超范围使用、超期留存或访问控制不当,相关行为可能触及个人信息保护或数据安全的监管红线。在投诉举报、监管抽查或安全事件调查中,企业需提供数据来源、使用范围、权限控制、留存删除及安全措施的可核证证据,否则可能面临监管整改、行政处罚及民事责任风险,还可能叠加合同违约、客户投诉和声誉损害。

基于上述风险特征,建议企业采取以下措施:

1) 提前建立“场景清单+数据清单”,明确哪些数据会进入Prompt、上下文、RAG知识库、日志或评测环节,并确定脱敏方式、访问权限、留存期限和删除验证机制。

2) 对高敏信息,如身份证号、银行账户等,制定“禁止输入/必须脱敏”规则,并通过技术手段降低误输入风险。

3) 确保RAG 知识库权限与源系统保持一致,并记录完整访问日志。

4) 将数据留存与删除规则落实为可执行系统配置,形成可核验的证据链。

二、输出内容风险:AI生成内容的准确性与责任边界

AI Agent 在企业中的一个重要应用场景,是自动生成文本内容,例如客户回复、产品说明、合同摘要、报告草稿、策划案等。但由于大模型在生成内容时具有概率性特征,其输出可能存在事实错误、理解偏差或不完整表述。这些内容若未经人工审核即被直接用于对外沟通或业务决策时,可能引发误导客户、错误承诺或信息披露不当等风险。

例如,在客服场景中,AI Agent 可能生成与公司政策不一致的回复;在商业沟通场景中,可能出现不准确的产品描述或法律表述。然而,企业通过 AI Agent 对外提供信息或服务时,其法律责任并不会因为内容由AI自动生成而被免除。在消费者保护、广告宣传、合同履行等领域,相关法律均要求企业对其对外发布的信息真实性与准确性承担责任。如果AI生成内容涉及虚假宣传、不实陈述或误导性信息,企业仍可能承担相应法律责任。在金融、医疗等高度监管行业,自动化生成内容还可能涉及更为严格的信息披露或合规审查要求。

因此,建议企业在部署AI Agent 时,应建立必要的输出内容管理机制,例如:对涉及对外沟通、法律文件或重要业务决策的内容设置人工审核环节;明确AI生成内容的使用范围,避免其直接用于具有法律约束力的场景;通过提示语设计与内容策略优化,减少模型生成不准确内容的概率;建立输出内容抽样审查与质量评估机制,以持续优化系统表现。

三、权限控制红线:AI Agent调用系统权限应遵循最小必要原则

随着 AI Agent 能力不断增强,越来越多企业开始允许其调用内部系统或自动化工具,例如查询客户数据、访问知识库、触发审批流程或执行系统操作。在这一过程中,如果企业未对 Agent 的权限进行细致划分,而是直接赋予其类似系统账号甚至管理员级别的访问能力,一旦 Agent 在执行任务过程中出现异常行为、策略误判或受到恶意输入诱导,就可能触发大规模数据读取或异常系统操作。

就在近期,业内曾出现多起类似案例:在测试某类自主决策 Agent 工具时,由于权限与行为边界控制不足,Agent 在执行过程中持续触发异常操作,最终只能通过切断网络连接的方式中止运行。虽然类似情况多发生在测试环境,但也反映出一个关键问题,当 AI Agent 具备自动调用系统能力时,权限边界一旦失控,风险可能迅速升级为数据安全或系统安全事件。

依据《网络安全法》及相关安全管理规范,网络运营者应建立身份认证、访问控制及操作审计等安全管理制度。如果 AI Agent 可以访问包含个人信息或业务数据的系统资源,其访问行为同样应纳入统一的权限管理与审计体系。在涉及个人信息或重要数据的场景中,《个人信息保护法》与《数据安全法》亦要求企业采取必要措施防止数据被未经授权访问、泄露或滥用。因此,无论 AI Agent 以何种技术形态存在,其访问数据和调用系统的权限边界都应受到明确限制。

若企业未对 AI Agent 的权限范围进行合理控制,一旦出现越权访问、批量数据读取或异常操作等情况,即可能构成数据安全事件或个人信息安全事件。在安全事件调查或监管检查中,企业通常需要证明其已采取合理的权限管理与安全措施。如果企业无法证明其已尽到必要的安全保障义务,则可能面临监管整改、行政处罚及相应的民事责任风险。一旦事件涉及客户数据或核心业务系统,还可能引发客户索赔、合同纠纷及品牌声誉损害,对企业经营产生持续影响。

四、在 AI Agent 时代,企业需要牢记,权限边界本身就是安全边界。

因此,建议企业在设计和部署AI Agent 过程中,采取以下权限管控措施:

1)遵循“最小必要权限”原则,为 AI Agent 设置独立身份账号,并严格限定其可访问的数据范围与系统功能;

2)对高风险操作(如数据导出、批量查询或系统配置修改)设置人工确认或多重授权机制;

3)建立完整的调用日志与审计机制,以便在异常情况下快速追溯系统行为;

4)在系统架构层面设置调用频率限制、权限分层及异常行为监测机制,以降低自动化工具在异常情况下产生连锁风险的可能性。

结语

综上,AI Agent 已从辅助工具演变为业务执行层的“数字员工”,它带来的效率红利前所未有,但同时也将企业推向了跨数据、跨权限、跨系统的合规与安全高地。企业在拥抱技术革新的同时,必须正视合规风险:数据处理是否合规、生成内容是否准确、权限控制是否到位,这些环节中的任何疏漏都可能触及法律红线,造成监管处罚、合同纠纷甚至声誉损害。

因此,企业不能仅以效率为导向,而忽略安全与合规的边界。将风险管理前置,建立完整的数据链路治理、输出内容审核及权限管控机制,才能在释放 AI Agent 潜能的同时,守住企业经营的底线。在数字化转型尤其是智能体爆发式发展的大潮中,效率与安全必须齐头并进。

关于作者

奇安信集团数据合规治理部负责人、首席法律顾问 马兰

声明:本文来自虎符智库,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。