2025年11月11日，欧盟数据保护监督局（EDPS）发布了《人工智能系统风险管理指南》（以下简称为“该指南”），该指南重点聚焦人工智能系统在数据处理链条中引入的技术性风险，并提出全流程风险管理方法与合规建议。该指南旨在帮助数据控制者在根据《2018/1725号条例》（EUDPR）开发、采购和部署人工智能系统时进行数据保护风险评估。
核心内容
（一）风险管理体系
该指南首先强调，风险管理是指一个组织控制风险的过程，而该活动的核心是风险评估。在风险管理过程中，组织需要连续地识别、分析和评估风险，然后进入风险处理阶段。风险管理过程的步骤如下：
1.风险识别：要求系统性地寻找可能影响组织目标的风险来源，并建立风险登记册。
2.风险分析：在定性基础上评估风险发生的概率及其对数据主体的潜在影响。
3.风险评估：需要将分析结果与组织的风险偏好进行比较，以判断风险是否可接受。
4.风险处理：包括制定与实施风险缓解措施、评估其成效。如剩余风险仍不可接受，则需进一步处理。
指南强调，风险管理应是持续性的迭代过程。
（二）AI生命周期中的风险点
指南指出，风险可能出现在AI系统开发周期的不同阶段，因此组织需要了解AI系统开发周期与传统（非AI）系统开发周期的差异。
该指南将生命周期划分为九个阶段
1.构思/分析：明确系统目标、任务场景与模型架构。
2.数据采集与准备：获取并格式化训练数据，确保其质量、合规性与代表性。
3.开发：训练模型、调参、测试，可结合内部开发与外部预训练模型。
4.验证与确认：确保模型满足功能与非功能需求，评估准确性、鲁棒性与泛化能力。
5.部署：将模型上线至设备或服务器。
6.运行与监控：持续监控系统表现并根据反馈调整。
7.持续验证：对于采用持续学习的系统，需要定期检测性能并更新测试集。
8.复审机制：根据实际运行数据重新评估风险，并纳入下一周期。
9.退休：安全退役系统，确保不遗留风险。
许多组织通过外部采购模型与服务，因此指南强调采购环节需确保透明性、公开招标、明确技术要求并严格监督执行。
（三）可解释性与可说明性
该指南突出强调了AI系统的可解释性（Interpretability）与可说明性（Explainability）在AI治理中的基础作用：
●可解释性：侧重理解模型内部结构与输入输出关系，主要面向技术人员；
●可说明性：聚焦对具体预测给出易懂理由，更面向用户和监管者。
对于深度神经网络等黑箱模型，由于难以真正解释内部机制，因此需要采用事后可说明技术（如特征可视化）。可解释性与可说明性是确保模型可信、可审计、可识别滥用以及暴露偏差的基本条件。
（四）数据保护原则相关的AI风险
1、公平原则
公平原则要求数据控制者在处理个人数据时做到透明、可解释，并避免对个人或群体造成不当不利影响，在AI系统中尤为关键。
风险点 | 风险描述 | 应对措施要点 |
风险一 训练数据质量不足 | 数据不准确、不完整会导致模型输出偏差 | 制定数据质量政策与评估流程；确保数据多样性与场景代表性；定期审计与异常值检测 |
风险二 训练数据本身存在偏见 | 采样误差、历史偏见可能被AI放大 | 确保训练数据覆盖真实场景、多样且平衡；避免使用敏感属性或代理特征；定期开展偏见审计；使用数据偏差缓解技术 |
风险三 模型过度拟合 | 模型过度记忆训练数据，泛化能力下降 | 使用提前停止、模型简化；运用L1/L2正则化；使用Dropout增强鲁棒性 |
风险四 算法设计中的系统性偏倚 | 偏倚可能来自模型结构、目标函数等 | 选用公平性感知算法；在目标函数中纳入公平性指标；对不同人群定期做算法偏差审计；尝试非深度学习或混合AI方案 |
风险五 解释偏差（人为分析偏差） | 分析者自身的理解局限可能导致误判 | 建立多元团队；完善文档记录；使用可解释性工具（如 SHAP、LIME）；加强偏差与公平性培训 |
2、准确性原则
准确性原则要求个人数据必须准确并及时更新，控制者需采取合理措施确保不准确数据被更正或删除，确保数据无事实性错误或误导性。
风险点 | 风险描述 | 应对措施要点 |
风险一 AI输出的个人数据不准确 | 不准确的训练或模型可能违反“数据准确性原则” | 使用高质量训练数据；纳入边缘案例/对抗样本；保证数据多样性与代表性；超参数优化；关键决策引入人工审核 |
特定情形 数据漂移 | 数据分布随时间变化可能导致模型失效 | 持续监控数据特性变化；完善数据质量监控体系；模型定期再训练；利用用户反馈识别漂移 |
风险二 AI系统供应商信息不明确 | 采购预训练模型时透明度不足，难以评估风险 | 要求供应商提供：系统原理、透明度/可解释性说明、模型完整性及数据治理实践文档 |
3、数据最小化原则
数据最小化原则要求个人数据应“充分、相关且仅限于处理目的所必需的范围”。既要为AI系统提供足够数据，又要将数据量控制在目标所需的最小范围。
风险：随意收集和存储个人数据
描述：由于机器学习模型依赖于其训练用的个人数据，因此存在收集和处理尽可能多的训练用个人数据的倾向。
应对要点：利用现有信息对培训主题进行预评估；从训练用个人数据中抽取具有代表性的子集；在可能的情况下应使用匿名化数据开发AI系统；若需使用个人数据，应考虑采用假名化处理。
4、安全原则
为保障AI系统的保密性与完整性，需同时保护训练数据、输入数据、输出数据及模型本身。
风险点 | 风险描述 | 应对措施要点 |
风险一 输出泄露训练数据 | AI模型可能无意暴露训练中的个人隐私信息 | 仅收集必要数据；通过数据扰动技术提升再识别难度；避免模型直接复制训练数据内容 |
风险二 个人数据存储与泄露 | 海量数据增加泄露风险 | 匿名化/假名化处理；数据不使用时加密存储；使用合成训练数据；多因素认证；保护敏感模型与数据 |
风险三 API接口导致的数据泄露 | 第三方模型API安全不足可能成为攻击入口 | API访问控制和MFA；RBAC角色权限管理；限流机制；传输加密；定期安全审计与渗透测试 |
5、数据主体权利相关风险
EUDPR赋予数据主体访问、更正、删除等权利，但在AI系统中因难识别个人数据、难更正或删除等原因，行使难度较大。
（1）风险一：难以完整识别被处理的个人数据
描述：AI训练数据结构复杂，个人数据难定位。
应对措施：保留详细元数据；数据检索工具；使用辅助工具。
（2）风险二：无法完全更正或删除个人数据
应对措施：采用数据校正/擦除工具；机器遗忘及过滤技术
来源：欧洲数据保护监督局官网
撰稿｜刘晋名 沈亿欢（实习生）
责编｜卢蔷
声明：本文来自三所数据安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
