在传统的互联网时代，对于用户端个人数据的保护与治理有一套固定的路径：数据由用户提供，平台按照事先告知的目的收集、存储、使用数据，用户可以通过删除或注销终止这一过程。在这一路径里，数据的流向能够事先告知，处理目的可以事先确定，数据边界也是明确的。
但生成式AI打破了这一固定性。用户的一次输入，可能依次经历安全检测、Prompt重组、模型推理、日志留存、人工审核、模型训练、个性化记忆，乃至通过Agent工具调用进入外部系统——每个环节的处理目的不同，处理主体可能不同，数据存储位置也不同。
本文旨在回应和探讨这些问题：在生成式AI服务中，用户输入后的数据流转路径是怎样的，路径中又分别有哪些显著的合规要点和当前的数据治理逻辑无法响应的问题。进一步地，本文还将讨论逐渐普及的Agent模式对当前的数据治理模式带来了哪些风险和要求，以及企业和个人可实行的合规举措。
一、生成式AI的数据流转路径、合规风险与建议
图1：生成式AI服务中的用户数据流转路径概览
（一）输入层
当用户在对话框里与生成式AI展开交互时，平台所收集的数据可能比用户设想的更多：平台收集和处理的数据并不只有用户输入的文本内容、上传的文件与图片或语音，还包括当前会话标识符、用户账号信息、操作时间戳、发起请求的IP地址、设备类型与浏览器等环境信息，以及该对话可能绑定的历史上下文。
合规风险：
①用户输入可能包含的敏感个人信息或未经授权的第三方个人信息；
②《个人信息保护法》确立的“知情同意”和“最小必要”两项基础原则适用困难，生成式AI的不确定性导致服务提供者也难以事先确定个人信息将会被如何处理，以及后续的用途与方式。
合规建议：
①对平台运营者：在隐私政策之外，可于对话界面的显著位置（如首次使用引导页或输入框提示语）对个人信息的收集类别作简明列举，供用户在使用前作出有实质意义的判断，并在产品界面设置明确提示，告知用户避免输入他人敏感个人信息。
②对企业用户：在企业内部明确禁止或限制员工将特定类型数据（如客户数据、员工档案、财务信息）输入外部生成式AI平台，从源头进行管控。
（二）预处理
在输入完成后，用户输入信息通常需要经过安全检测护栏（Guardrails）的独立扫描。安全检测系统通常是一个独立于模型推理系统的模块，负责内容审核与风险识别。典型的检测类型包括：违规内容识别、敏感词过滤、Prompt注入攻击测试（攻击者通过在用户输入中嵌入恶意指令，试图覆盖模型的系统指令、提取受限数据或操纵模型的行为）、恶意代码识别以及滥用行为识别。
图2：OpenAI安全护栏系统在输入端的检测项
虽然我国的《生成式人工智能服务管理暂行办法》对平台提出了防范有害信息的法定义务，但大部分平台都未对安全检测护栏进行披露（如，Deepseek并未在隐私政策中提及）。
合规风险：
安全检测系统若涉及个人信息处理活动，需要在隐私政策中充分告知，安全检测的输出结果是否单独留存，留存多久，由谁访问，若涉及个人信息，需要符合《个人信息保护法》个人信息保留期限的规定。
合规建议：
①建议服务提供者在隐私政策或产品说明中单独披露安全检测系统的存在，说明其处理目的（内容安全合规）、处理方式（自动化扫描）、以及检测结果的处理方式（是否留存、留存期限、访问控制）。
②建议服务提供者明确检测结果的保留逻辑，并确保建立差异化的期限限制和访问控制机制。
（三）上下文构建
大模型并不能直接理解用户所输入的自然语言，因此用户输入将会被重新组织成一个由结构化文本拼接而成的完整指令（Prompt），这个Prompt里通常包括：平台预设的系统提示词、历史对话、当前的用户输入、检索增强（RAG）信息、安全策略注入和长期记忆。拼接完成后的指令将被“Token化”，成为大模型能够读懂的语言。
可以说，平台实际决定了哪些历史信息、哪些检索结果将与用户当前输入一并传入模型，当用户启用个性化记忆功能时，过往对话的摘要也会被持续注入当前的Prompt中。
图3：用户输入后的上下文构建流程
（四）即时推理层
上下文构建完成后，数据就会进入即时推理层，在这一环节，大模型将根据先前组装好的上下文进行前向推理，并生成回复。
图4：即时推理与模型训练的流程区分
对于即时推理常见的误解之一是将“推理”与“训练”混为一谈，认为“只要输入给AI数据就会被模型记住”。但实际上，即时推理通常不会更新模型参数，而模型训练是一个周期性的、独立的离线数据处理流程，用户输入的数据将被纳入训练语料库，再用于更新模型参数。
因此，推理与训练其实是两个独立的数据处理活动，即使平台在推理阶段已经获得了用户的“同意”，但要进一步将数据用于训练，仍需要对用户进行充分的告知。但是，目前市面上大部分的生成式AI服务平台都默认将用户对话用于训练模型（如ChatGPT、Deepseek、Claude均在隐私政策中声明默认将消费者对话用于训练），不愿数据被训练的用户需要在设置中主动关闭（Opt-out）。
合规风险：
①《个人信息保护法》要求，基于同意处理个人信息的，该同意须是个人"在充分知情的前提下自愿、明确作出"的意思表示。以“用户未主动关闭即视为同意训练”的Opt-out机制，其自愿性与明确性均存在问题。
合规建议：
将模型训练同意与服务使用同意相分离。在用户注册或首次使用时，在隐私政策中通过显著方式向用户充分告知“数据用于改进模型”的目的、方式、影响以及“模型训练”的默认设置的关闭路径。
（五）平台内部
从输入到即时推理输出结果，用户已经得到了他们需要的外部结果，但数据将进入平台内部进一步流转。当用户以为自己只是在和AI说话时，一次对话可能同时被多个内部系统处理，目的各异，存储期限各异，访问主体也各异。总体来说，数据在平台内部的流转可以被分为四个部分。
图5：平台内部数据流转的四个维度与合规核心问题
1. 对话日志存储
生成式AI平台通常出于服务运营、故障排查、安全审计等目的，在服务器端留存用户对话日志。在这一过程中的核心问题在于，当用户在前端删除对话后，往往只是移除了用户可见的对话记录，后台日志、缓存、备份可能在不同的保留周期下单独存在。
2. 人工审核访问
大部分的主流平台都保留人工审核员读取用户对话的权利，这些人工审查和访问往往出于质量、安全或支持目的。以谷歌旗下的Gemini为例，Gemini隐私政策中要求用户不要在对话中输入机密信息或不希望审查员看到的数据，并披露由人工审查员审查的聊天记录可保留长达三年，即使用户删除活动记录，该审查记录也不会被删除。
3. 模型训练使用
正如上文所述，目前的主流AI平台都默认使用用户对话数据进行训练，用户需要主动Opt-out关闭授权。但大部分用户不知道的是，部分平台会将用户通过“点赞”“点踩”“报告问题”等方式将提交的反馈内容用于服务改进、安全评估或模型训练。即便已经在账户设置中关闭了训练数据授权，一旦对某条回复点击了“点赞”或“点踩”，整个对话就可能会被重新纳入训练范围（如ChatGPT）。
但是一次评价操作实际上并不足以构成对数据再利用的明确同意。反馈数据是否另行适用不同规则，仍需以平台隐私政策、产品提示和合同约定为准。平台应当对反馈功能的数据用途作出清晰提示，避免用户在不知情状态下触发新的数据再利用场景。
合规风险：
①用户点击“点赞”或“点踩”是一个对话层面的交互行为，其意图在于对当前回复质量作出反馈，而非对数据用于训练重新授权。平台将这一行为单方面解读为训练同意的“恢复”，属于处理目的的单方变更，与《个人信息保护法》要求同意须由个人“明确作出”的原则相悖。
②对于通过API接入服务的企业用户，其与平台之间的数据处理关系若属于《个人信息保护法》规定的“委托处理”框架，受托方（即平台）“不得超出委托方约定的处理目的、处理方式等处理个人信息”。如果平台仍将企业API客户的对话数据用于训练，而服务协议中对此未作明确约定（或约定模糊），则平台对该部分数据的训练使用可能构成超出委托范围的处理。
合规建议：
①建议平台在反馈功能处明确披露其数据处理影响。 在“点赞/点踩”按钮附近，或在用户首次使用反馈功能时，以清晰语言说明：使用该功能将导致当前对话被用于模型改进，并提示用户当前的训练授权状态。
②企业在签署API服务协议时，应明确在合同中约定数据不用于模型训练、不用于任何超出约定服务目的的处理，并要求平台在服务协议中提供书面承诺及技术隔离说明。平台运营者应对API客户数据与消费者端数据实施物理或逻辑隔离，确保两类数据的处理目的和合法性基础相互独立。
4. 个性化记忆
一部分平台开始提供持久的个性化记忆功能，比如ChatGPT、Claude以及国内平台通义千问，AI可以主动调用过往对话、文件、记住用户偏好，来为回答提供个性化上下文。
个性化记忆功能在合规层面引发两个值得关注的问题。一是，记忆内容是否构成“用户画像”，二是记忆模块的数据边界难以控制。但是，由于提供此类功能的AI服务较少，对这两个问题尚未有统一观点。
（六）对外提供
生成式AI平台对外提供数据的方式主要包括：与子处理者共享（比如云计算基础设施提供商、网络安全审计公司等）、与关联应用的共享（比如字节跳动旗下的豆包接入了抖音电商功能，用户能够在豆包APP内直接完成下单）、以及部分平台的个性化广告功能（Open AI在2026年2月起在美国免费版用户中进行广告测试）。
合规建议：
①《个人信息保护法》要求个人信息处理者向其他个人信息处理者提供个人信息的，须向个人告知并取得同意，其次委托处理个人信息的，须与受托方订立合同，明确处理目的、期限和方式等权责。平台与子处理者（如云服务商）之间通常为委托处理关系，须签订委托处理协议，明确数据仅用于约定的技术服务目的，不得用于受托方自身的商业目的。与关联应用共享数据，若双方共同决定处理目的和方式，则可能构成共同处理者关系，须就用户权利的响应义务作出明确约定。
②若存在数据跨境情况，对于已涉及个人信息跨境流动的服务，符合法规要求的应优先完成数据出境合规义务（如安全评估、SCC备案、跨境认证等），并关注国家网信部门对跨境规则的最新细化动态。
③若平台引入个性化广告功能，并基于用户行为数据（包括对话记录）进行广告推送，则须单独向用户说明，并提供有效的关闭入口，确保用户可在不影响正常使用服务的前提下拒绝个性化广告。
二、Agent模式中新产生的数据流转路径与合规风险
但是在Agent AI的开放链路中，这个封闭的结构被打破了。当模型获得调用外部工具的能力之后，一次用户输入不再触发单次推理，而是触发一条动态生成的行动序列：
用户输入
—模型推理与规划
—工具选择—外部API调用—数据返回
—新一轮推理—再次工具调用······
—输出结果
这条链路中的每一个节点都可能涉及不同的数据处理主体，且整条链路是模型在运行时动态生成的——用户在发出输入时，甚至平台在设计系统时，都无法完整预知链路的走向。
新加坡IMDA发布的《Model AI Governance Framework for Agentic AI》将AI Agent的核心架构描述为6个要素：
1. 模型：作为Agent核心推理引擎的大语言模型（LLM）或多模态大语言模型（MLLM），负责处理用户指令、理解上下文、规划执行路径。
2. 指令：定义Agent角色、能力边界与行为约束的自然语言命令，通常以系统提示的形式注入，在用户不知情的情况下影响模型的全部行为。
3. 记忆：存储于短期上下文窗口或长期向量数据库中、可供模型随时调用的信息，包括历史对话摘要、用户偏好、任务状态等。
4. 规划与推理：模型将复杂任务分解为可执行步骤序列，并动态调整执行路径的能力。
5. 工具：使Agent能够与外部系统交互的接口，例如网络搜索、代码执行、文件读写、发送邮件、日历操作等。每一次工具调用，都可能将当前会话的上下文片段传出平台边界。
6. 协议：Agent与工具、以及智能体之间通信所依赖的标准协议。其中，模型上下文协议（MCP）是当前最主流的智能体-工具通信标准；A2A则是智能体之间相互通信与任务委托的协议标准。
图6：AI Agent的核心架构与数据流转路径
这6个要素的组合使得Agent模式的数据流转呈现出与对话式AI以及传统的数据流转截然不同的新形式。
西班牙AEPD在报告中指出，Agent AI的风险不仅存在于单个组件，还源于系统整体的交互，包括：Agent AI自主性产生的风险、与环境的广泛交互中产生的风险、服务集成产生的风险和记忆功能产生的风险。其中专属于Agent AI的风险有以下几点：
（一）自主性：Prompt转化为行动指令
在Agent模式下，用户的自然语言输入经过模型的理解与规划，会被转化为一系列行为指令。比如，“帮我安排明天上午的会议”这句话，可能被转化为：读取日历API获取可用时间段、向指定联系人发送邀请邮件、在企业系统中更新客户跟进状态、在文档系统中新建会议记录模板。
这四个操作分别属于独立的数据处理行为。而用户实际上并未对这些具体操作进行授权。而在涉及敏感权限的场景（如调用通讯录、相机等权限）下，还应当获得用户的单独同意。
合规风险：
①在与环境的广泛交互中，无论是对内部系统还是外部环境的访问，由于缺少必要的访问权限控制和数据隔离措施，可能导致大规模数据处理，违反最小必要原则。
②国家网信办近期发布的《智能体规范应用与创新发展实施意见》强调，应当合理界定智能体在不同决策模式下的权限边界，区分“仅限用户本人决策”“需经用户授权后决策”和“智能体自主决策”等情形，明确相应的授权条件、操作范围和风险控制要求。确保用户对智能体自主决策享有知情权和最终决策权，智能体执行操作不得超出用户授权范围。若智能体在执行过程中超越用户授权范围，自主实施涉及个人信息处理的高风险操作，可能构成对用户自主决策权和个人信息权益的实质性限制，违反该要求。
合规建议：
①对于涉及身份信息调用、支付授权、对外发送个人资料、生成对个人权益具有重要影响的判断结果等高风险事项，应当建立关键节点人工确认机制（Human-in-the-Loop）。Agent在到达此类节点时应暂停执行，待用户明示确认后方可继续。
②推动由“最小必要”转向“最小权限”，对权限治理进一步细化，形成分阶段授权、分层级开放、分场景隔离的运行机制。
（二）记忆功能：RAG带来的权限边界问题
检索增强生成（RAG）是当前企业AI部署最广泛的技术架构，也是Agent系统的核心知识来源之一。这一架构的数据保护隐患来自其检索机制的本质特征：向量相似度检索一般不区分查询者的身份与权限，只响应语义相关性。
在RAG架构中，员工通过自然语言向AI提问，AI检索向量数据库并综合多个来源生成答复。员工在这个过程中并不直接"访问"任何文件——他只是在和AI对话。而AI的检索引擎，如果没有专门的权限过滤机制，会检索所有语义相关的文档片段，不管这些片段来自哪个权限级别的文件。
合规风险：
①如果检索机制不区分权限而将所有相关文档片段提供给任何查询者，其实质效果等同于在数据访问层面取消了权限控制，这将导致数据泄露风险的增加。
②Agent AI不仅处理用户直接提供的信息，还会结合历史记录、行为偏好和具体场景形成推断性判断，在这种情况下，“何为必要，何为超范围，何为原始目的”，判断都比传统场景更为困难。这意味着RAG系统在检索时可能不必要地引入了超出当前任务所需范围的信息。
合规建议：
①针对不同权限级别、不同业务部门和不同使用场景，应当建立与企业既有数据权限体系相衔接的知识库访问控制机制，确保RAG检索范围不突破用户原有权限边界。
②涉及个人信息的文档入库前进行脱敏处理。对即将纳入RAG知识库的文档进行个人信息扫描，将敏感个人信息（如身份证号、银行卡号、医疗记录）进行脱敏或移除后，方可将文档向量化入库。
（三）服务集成：API调用带来数据对外共享扩散
Agent完成任务的核心能力之一是调用外部API。当Agent调用一个外部服务时，通常需要将当前对话的相关上下文（包括用户的原始输入、历史对话片段、以及模型的中间推理结果），以结构化请求的形式发送给该服务。这意味着用户的个人信息（或含有个人信息的上下文）可能随着每一次API调用流出平台边界，进入第三方的数据处理系统。
在一个复杂的多工具Agent任务中，这种流出可能发生数十次，涉及数十个不同的外部服务提供者，而每个服务提供者都有各自独立的数据处理政策、安全标准和存储架构。如何对服务提供者进行监督、确定其数据处理的目的、方式、期限和保护措施，将成为一项具体且具备操作成本的义务。
（四）与环境的广泛交互：MCP生态下的数据对外共享扩散
模型上下文协议（MCP）是被行业采纳较多的开放标准，专门用于AI Agent与外部工具和数据源之间的标准化通信。MCP的核心价值是互操作性：开发者只需实现一次MCP服务端，其工具就可以被任何MCP兼容的Agent调用。
一个Agent系统可以同时接入数十个乃至数百个MCP服务端。当Agent执行一项任务时，它会根据规划决策动态选择并调用相应的MCP服务，将当前对话的上下文片段（通常是结构化的JSON格式）发送给服务端，获取返回结果后纳入下一轮推理。
这样的扩散结构带来的问题是，信息主体不再能够确定谁在处理自己的信息，数据流转的过程缺乏透明度和可告知性。
合规风险：
①Agent每次调用外部API并向其传输上下文数据，若传输的内容中含有个人信息，则可能构成《个人信息保护法》意义上的委托处理或对外提供。然而在Agent的自动化调用链路中，API提供者往往并未与Agent部署者签署专门的数据处理协议，更未就调用的数据处理范围进行明确约定，委托处理或对外提供的合规要求在实践中难以落实。
②在MCP生态中，AI平台、MCP服务提供商、外部API运营者、企业内部IT系统乃至多个子智能体的法律关系需要逐案判断，如：个人信息处理者、受托处理者、共同处理者、第三方接收方，还是单独的数据处理者。
③API提供者的安全合规能力参差不齐，部分API甚至可能将传入数据用于自身模型训练或商业分析，而这些行为在自动化调用链路中对Agent部署者和用户而言均不透明。
④在MCP生态中，由于缺乏对第三方MCP服务安全能力的统一评估标准，代理部署者难以确保所有外部依赖均满足数安法、个保法的安全保护要求，全流程安全管理在技术操作层面难以实质性落地。
合规建议：
①与API提供者、MCP服务提供商签订数据处理协议，明确是委托处理、共同处理或对外提供。并依据《个人信息保护法》要求，与各API提供者、MCP服务提供商书面约定数据处理的目的、期限、处理方式、个人信息种类、保护措施及双方权利义务等。
②建立第三方安全评估清单。在接入前对每个API提供者、MCP服务进行安全能力评估，包括数据是否加密传输、是否用于自身模型训练、数据保留期限、安全认证资质等。建议将评估结果清单化，并定期复核更新。在合规资源有限的情况下，先对接触敏感个人信息的API与MCP服务进行重点评估，包括该服务的数据处理目的、数据流向、安全措施和合规认证。
③绘制完整的数据流图并识别风险节点。识别每个节点的数据保护角色，按节点评估合规风险。在合规资源有限的情况下，优先对接触敏感个人信息的API或MCP服务进行重点评估。
总结
从输入到输出，从Prompt到Agent，AI技术不断的更新迭代的同时也带来了全新的数据风险和数据治理要求。在上文中，我们已经对生成式AI和Agent模式下的数据流动路径、合规风险、合规建议做出了详细的梳理，无论是服务提供者、企业使用者还是平台用户，在拥抱新技术的同时，也要关注风险、逐步构建自身的安全网。
对于服务提供者而言，重要的是将法规层的义务落地到产品中，核心任务是将合规从隐私政策文本下沉到产品架构内部：在隐私政策中充分告知用户个人信息的处理规则，对Agent的每一次外部调用实施自动化的权限过滤与数据最小化裁剪，人工审核的触发条件和留存周期应对用户透明并赋予选择空间。此外，服务提供者还需履行法规规定的算法备案或大模型备案要求。
对于企业用户而言，部署AI应用的企业则应明确不同敏感度的信息能否进入AI系统、能否被记忆、能否触发外部工具调用，对Agent进行安全评估、调用权限和关键操作人工确认的三重约束，同时在合同中锁定禁止训练、日志上限和审计权利等条款，并将员工行为规范从原则警示细化为可对照执行的禁止清单和替代方案。对于采购AI模型用于自有AI模型开发的企业，还应履行相应的算法备案或大模型备案要求。
对个人而言，无论是生成式AI还是Agent的使用，都要注意对自身敏感信息的保护，定期清查各平台的训练授权、记忆开关和历史记录保留设置。在日常对话中将真实姓名、具体数字和敏感文件信息做脱敏替换后再输入。面对Agent的权限请求认真查看并谨慎授权。
生成式AI和Agent技术将数据治理的重心逐渐从静态转向动态，这不是任何一方能独立完成的任务：平台提供可控的架构，企业配置安全的边界，个人保持审慎的习惯，三者在同一条风险链上互为前提，才能保障数据在合规的链条上安全流转。
参考资料：
1. Christakis, T. (2026). You Trust Your Chatbot With Everything. Should You? Part 1: How The Controller Uses Your Chat Data. AI-Regulation Papers, 26-03-2.
2. 西班牙数据保护局（AEPD）. Agentic AI From the Perspective of Data Protection.
3. 新加坡资讯通信媒体发展局（IMDA）. Governance Framework for Agentic AI.
文章作者：赛博研究院助理研究员 谷依韩
声明：本文来自赛博研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
