AI模型的性能不仅由算法能力决定，数据的质量、安全性与完整性正在成为左右AI系统可信性与安全性的关键变量。2025年5月22日，美国国家安全局（NSA）联合多国网络安全机构发布《人工智能数据安全：保护用于训练和运行人工智能系统的数据的最佳实践》（以下简称“《指南》”）。 该《指南》强调数据安全对于确保AI结果的准确性和完整性的重要性，介绍了AI系统生命周期，并就开发、测试和运行AI系统过程中数据的安全提供通用最佳实践。
《指南》提出，数据安全应作为保障与管理AI系统总体安全战略的关键部分，需确保：
在整个AI系统生命周期中，数据未被篡改；
数据中不含恶意、不当或未经授权的内容；
不存在意外重复或异常信息。
三种主要的AI数据安全风险
1. 数据供应链的风险
AI系统安全严重依赖数据供应链的可信性与完整性。AI系统开发的全生命周期中都可能因数据被篡改、污染或投毒而受到安全威胁。
尤其是在当前大量AI模型依赖第三方数据集、开源资源、网络爬虫数据的背景下，如数据来源不明、缺乏有效溯源机制，则极易被攻击者利用。例如，通过“分视图投毒”（攻击者接管被引用的过期链接并篡改内容）或“抢先投毒”（在数据快照抓取前插入恶意内容）等方式植入有害信息。一旦这些数据被纳入训练流程，就会导致模型产生认知偏差，影响其下游任务执行的可靠性。
2. 恶意篡改数据的风险
AI系统中的数据一旦被恶意修改、污染或注入扰动，将严重影响模型的准确性与可用性。
以对抗性机器学习（AML）为例，攻击指可能通过恶意构造的输入欺骗、干扰或破坏AI系统：
- 数据投毒（Data Poisoning）
：在训练集中注入恶意样本，使模型学到错误模式；
- 对抗样本（Adversarial Examples）
：添加微小扰动，使模型产生错误预测；
- 模型反演（Model Inversion）
：通过分析模型输出反推训练数据，进而泄露敏感信息。
此外，非恶意但不规范的数据（如数据重复、格式异常）也会影响AI系统的性能与安全性。例如，虚假的百科内容、造假图像等将极大影响模型的输出质量，而如果训练数据中存在重复或近似重复的内容（例如格式变化、缩写、拼写差异）会导致模型过拟合，降低其泛化能力，导致在面对真实复杂环境时表现不佳。
3. 数据漂移的风险（Data Drift）
“数据漂移”是指模型部署运行后，输入数据的分布或统计特性随时间发生变化，导致模型性能下降甚至失效。
这种风险并非源于攻击者的恶意行为，而是由现实环境的自然变化所致，例如政策调整、业务流程变更、用户行为模式更新、数据采集设备更换等，都可能导致系统输入与原始学习环境不一致，是一种系统自然演化下的“渐进性风险”，最初表现为轻微性能下降，若未及时发现与缓解，最终可能导致模型性能严重失效。
数据安全贯穿AI系统生命周期
由于机器学习模型通过数据学习决策逻辑，因此如果攻击者能操控数据，就可能篡改AI系统的逻辑。
美国国家标准与技术研究院（NIST）在其《AI风险管理框架》中定义了AI系统生命周期的六个阶段，从“规划与设计”开始，一直到“运行与监控”。
以下表格总结了各生命周期阶段的数据安全关键维度、持续评估要求、重点安全关注点及与本指南相关的特定数据安全风险：
阶段 | 关键维度 | 安全重点 | 涉及的数据安全风险 |
1. 规划与设计 | 应用上下文、审计与影响评估 | 从系统初始阶段起引入数据安全措施，设计稳健的安全协议、威胁建模及“隐私即设计”理念 | 数据供应链 |
2. 数据收集与处理 | 数据与输入、内部与外部验证 | 确保数据完整性与真实性，实施加密、访问控制、最小化、匿名化与安全传输 | 数据供应链、恶意篡改数据 |
3. 模型构建与使用 | AI模型、模型测试 | 防止数据篡改，确保数据质量与隐私（可包含差分隐私、安全多方计算等），保护模型训练与运行环境 | 数据供应链、恶意篡改数据 |
4. 验证与确认 | AI模型、模型测试 | 执行全面的安全测试、识别与缓解风险、验证数据完整性、对抗性测试、必要时执行形式化验证 | 数据供应链、恶意篡改数据 |
5. 部署与使用 | 任务与输出、集成、合规测试与验证 | 实施严格的访问控制、“零信任”架构、安全传输与存储、安全API端点、行为异常监控 | 数据供应链、恶意篡改数据、数据漂移 |
6. 运行与监控 | 应用上下文、审计与影响评估 | 持续进行风险评估、监测数据泄露、安全删除、法规合规、事件响应与定期审计 | 数据供应链、恶意篡改数据、数据漂移 |
最佳实践建议
《指南》针对三种数据安全风险，结合AI生命周期，对系统所有者在本地或云端构建与运行AI系统过程中提出了可采取的若干措施，包括：
1. 获取可靠数据并追踪数据来源
训练与运行AI系统时，确保所使用的数据来源可信、可靠且准确。尽可能只使用权威来源的数据，并实施数据来源追踪机制，记录数据在AI系统中流转的路径。
整合一个安全的“来源数据库”，该数据库应具备加密签名功能，并支持不可篡改、仅可添加的账本结构。这样可以追踪数据来源，识别被恶意篡改的数据，并确保任何实体无法在不留痕迹的情况下修改数据。
2. 在存储与传输过程中维护数据完整性
维护数据完整性是保障AI数据的准确性、可靠性和可信性的重要组成部分。
应使用校验和与加密哈希技术来验证数据在存储或传输过程中没有被篡改。为AI数据集生成唯一识别码，可有效发现未经授权的修改或损坏，从而保障数据的真实性。
3. 使用数字签名验证可信数据修订
数字签名有助于确保数据未被第三方篡改。应采用抗量子攻击的数字签名标准，以认证和验证用于模型训练、微调、对齐、人类反馈强化学习（RLHF）和/或其他影响模型参数的训练后过程中使用的数据集。
数据的原始版本应进行加密签名，所有后续修改的数据也应由变更人签名。鼓励组织使用受信任的证书颁发机构来验证此过程。
4. 利用可信计算基础设施
使用在“零信任架构”下运行的可信计算环境，为数据处理提个安全的飞地，并在计算过程中保护敏感数据不被更改。这种方法通过隔离敏感操作和减轻风险，为人工智能数据工作流中的数据隐私和安全奠定了安全基础。
可信计算基础设施支持数据流程的完整性，降低与未经验证或更改的数据相关的风险，并最终创建一个更强大、更透明的人工智能生态系统。可信环境对于 AI 应用程序至关重要，因为数据准确性直接影响其决策过程。
5. 进行数据分类并使用访问控制
使用基于敏感性和所需保护措施的分类系统对数据进行分类，此过程使组织能够对不同的数据类型应用适当的安全控制。例如强加密与访问控制。
通常情况下，建议AI系统的输出应与其输入数据具有相同的分类等级，而非单独设置输出级别。
6. 加密数据
采用与组织数据保护级别成比例的高级加密协议，包括在“静态”、“传输中”以及“处理过程中”对数据的加密保护。
AES-256作为业界标准，其对量子计算攻击具有较强抵抗力。TLS协议、AES-256或后量子加密可用于数据传输加密。
7. 安全存储数据
应在符合NIST FIPS 140-3《密码模块安全要求》标准的加密存储设备中保存数据，确保加密模块具备高级别的防护能力。建议结合组织的需求风险评估决定所需的适当安全级别。
8. 应用隐私增强技术
可使用多种隐私增强技术提高数据安全性：
数据去标识化（如数据屏蔽）：通过用拟真但非真实的数据替换敏感信息，使AI系统在不暴露敏感信息的情况下利用数据集，减少数据泄露的影响，并支持安全的数据共享和协作。在可能的情况下，使用数据屏蔽来促进 AI 模型的训练和开发，而不会损害敏感信息。
差分隐私：通过引入可控噪声量来提供隐私保障，可防止成员推理攻击，但在保护训练数据免受推理攻击和目标任务准确性之间存在权衡。
分布式学习（如联邦学习）：允许人工智能系统在多个本地数据集上进行训练，聚合模型合并分布式模型的结果，限制本地模型对更大训练数据集的访问。建议在训练与推理过程中采用安全多方计算。
但由于计算成本，实现这些技术可能存在实际的限制。
9. 安全删除数据
在重用或淘汰用于AI数据存储的磁盘前，应使用加密擦除、块擦除或数据重写等安全删除方法。
10. 持续开展数据安全风险评估
应采用NIST SP 800-37r2《信息系统和组织的风险管理框架 安全和隐私的系统生命周期方法》及NIST AI 100-1《人工智能风险管理框架》等业内标准框架，进行持续的风险评估。
这些评估应评估人工智能数据安全环境，识别风险，并优先采取行动，以最大限度地减少安全事件。不断改进数据安全措施，以跟上不断变化的威胁和漏洞，从安全事件中学习，跟上新兴技术的最新发展，并保持强大的安全态势。
指南全文：https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
声明：本文来自数据信任与治理，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
