在全球人工智能（AI）发展日新月异的背景下，2025年2月10日至11日在法国巴黎举行的第三届AI安全峰会“AI行动峰会”成为了国际社会关注的焦点。法国网络安全局（ANSSI）联合其他18个国家的安全机构共同发布了一份具有里程碑意义的指南《通过基于网络风险的方法构建对人工智能的信任》，希望能在峰会之外持续讨论评估AI的网络安全风险并采取措施促进可信AI。
这份联合指南旨在为AI系统的安全部署和AI供应链的安全提供一种基于风险的策略方法。指南重点关注了以下几个方面：
AI特定风险识别：指南详细阐述了AI系统面临的独特风险，包括AI托管和管理基础设施的妥协、供应链攻击、AI系统与IT系统之间互连的横向移动、长期失去对信息系统的控制，以及AI系统响应故障等。
AI攻击类型分析：指南将AI特定攻击分为三大类：投毒、提取和规避。这种分类有助于组织更好地理解和应对潜在的安全威胁。
建议措施：指南为AI用户、运营商和开发人员提供了一系列实用的指导原则，包括调整AI系统的自主级别、绘制AI供应链图、跟踪AI系统与其他信息系统的互连、持续监控和维护AI系统等。
风险评估和检查清单：指南提供了一个高层次的综合分析框架和检查清单，用于评估与AI相关的网络风险和威胁。这为组织提供了一个系统化的方法来识别和管理AI相关的安全挑战。
如下是该指南的全文翻译：
通过基于网络风险的方法构建可信人工智能
本文件由法国国家网络安全局（ANSSI）发布，并由以下合作伙伴共同签署：
加拿大（CCCS）
爱沙尼亚（RIA）
德国（BSI）
爱尔兰（NCSC-IE）
意大利（ACN）
卢森堡（LHC）
马耳他（MDIA）
荷兰（AIVD和NCSC-NL）
挪威（NSM）
波兰（NASK）
英国（NCSC-UK）
新加坡（CSA）
斯洛伐克（NCSC-SK）
斯洛文尼亚（URSIV）
韩国（NIS）
通过基于网络风险的方法构建可信人工智能
国际机构和政府当局在本文件中倡导采用基于风险的方法来支持可信人工智能系统和安全的人工智能价值链，并呼吁在AI峰会之外继续讨论，以保障人工智能应用背景下的机遇的同时控制风险和不断演变的网络威胁。
人工智能是一种自20世纪50年代开始发展的变革性技术，如今几乎影响到每一个领域，从国防到能源、健康到金融等。其快速采用，包括大语言模型（LLM）的使用以及对人工智能依赖的不断增加，应促使利益相关者评估相关风险，包括与网络安全相关的风险。
如果没有适当的措施，并且鉴于用户仍然倾向于低估人工智能相关的网络风险，恶意行为者可能会利用人工智能系统的漏洞，危及人工智能技术未来的使用。因此，理解并缓解这些风险至关重要，以促进可信人工智能的发展并充分拥抱这一技术带来的机遇。
作为软件系统，人工智能系统存在漏洞，因此需要基于设计的安全性，特别是基于现有的良好网络安全实践，涉及开发、部署、事件管理、软件供应链和漏洞管理，包括专有和开源组件。它们面临与其他信息系统（IS）相同的网络威胁，包括通过其托管基础设施，而它们与其他系统的互连增加了横向渗透的风险。此外，还有人工智能特有的风险，尤其是数据在人工智能系统中的核心作用，给保密性和完整性带来了独特的挑战。
尽管现有的网络安全实践仍然广泛有效，但人工智能增强的网络安全解决方案是应对新出现和不断演变的威胁的重要资产。尽管这些解决方案不在本文件的范围内，但它们已经有助于加强网络安全能力，并且预计将继续发展，它们不仅涉及监控和入侵检测，还涉及威胁分析、响应自动化和数字调查、安全流程的自动化等。
与此同时，迅速演变的威胁态势使得追踪恶意使用人工智能变得必要，预计其将变得越来越复杂。人工智能已经通过降低实施此类攻击所需的专业知识，并且能够实现更大规模和效率，从而放大了现有的攻击技术。我们看到这些效果体现在网络钓鱼和社会工程学、漏洞扫描以及恶意代码开发中。高级生成式人工智能可能会使网络杀伤链（cyber-kill chain）中的大规模、高成本效益的攻击成为可能。
译者注：“Cyber-kill chain”（网络杀伤链）是一个军事术语，最初来源于传统的军事作战理论，近年来被广泛应用于网络安全领域，用于描述网络攻击的全过程。它将网络攻击分解为一系列的阶段，帮助安全专家更好地理解和防御网络攻击。
尽管人工智能增强型解决方案（无论是防御性的还是攻击性的）已经在学术论文以及目前正在开发的各种框架中得到了充分讨论，但本文件专注于人工智能系统的网络安全问题。它旨在提供一个关于相关网络风险的高层次综合和全面分析，并根据2023年11月与超过20个国际组织合作开发并于2023年11月26日联合发布的《人工智能系统安全开发指南》，提供评估威胁和实施适当安全措施的指南。
人工智能风险分析的挑战与范围
本风险分析旨在考虑不仅是个别人工智能组件的漏洞，还有整合这些组件的更广泛人工智能系统的安全性。其目的是提供一个关于人工智能相关网络风险的广泛概述，而不是一个漏洞的详尽列表。更多阅读请参见附录2中的参考文献列表。
如果未实施适当的安全措施，人工智能系统的部署可能会为恶意行为者提供新的攻击路径。因此，此类部署应包括一个专门的风险分析，以评估风险并识别适当的安全措施。
此外，理解人工智能供应链对于缓解与供应商和其他参与给定人工智能系统的利益相关者的漏洞相关的风险至关重要。人工智能供应链通常基于三个支柱：
算力；
人工智能模型和软件库；
数据。
每个支柱都涉及不同的、有时是共同的参与者，他们的网络安全成熟度水平可能差异很大。
主要风险和攻击场景
支持人工智能系统的IT基础设施面临着与其他IT系统相同的漏洞。人工智能系统也可以在其生命周期的不同阶段受到攻击，从原始数据收集到推理阶段。人工智能特有的攻击通常分为三类：
投毒：篡改训练数据或模型参数，以改变人工智能系统对所有输入或特定精心制作的输入的响应；
提取：从人工智能系统或模型中重建或恢复机密数据，如训练后的模型参数、配置或训练数据；
规避：篡改输入数据以改变人工智能系统的预期功能。
这些攻击可能导致人工智能系统出现故障（可用性或完整性风险），其中自动化决策或流程的可靠性可能受到损害，以及敏感数据被盗或泄露（保密性风险）。
如今，大多数人工智能系统的不透明性给用户带来了额外的挑战。人工智能的可解释性因底层模型而异：许多系统作为“黑箱”运行，使其决策难以解释或证明。这种不透明性使得保障这些系统的安全更加复杂，因为它阻碍了查找错误和其他问题输出的根本原因的能力，并且使得识别和调查潜在事件更加困难。
涉及人工智能系统的主要风险场景包括：
危及人工智能托管和管理基础设施：恶意行为者可以通过利用各种常见漏洞（无论是技术性的、组织性的还是人为的）来影响人工智能系统的保密性、完整性和可用性。危及人工智能系统的托管基础设施是一个可能且关键的攻击向量，必须在整个人工智能系统生命周期中加以考虑。
供应链攻击：攻击者可能会利用供应链利益相关者（软件库、预训练模型提供商、服务提供商等）中的一个漏洞。例如，开源库经常用于人工智能系统的开发，并且经常被整合到更广泛框架中。对这些库的攻击可能会危及整个人工智能系统。
通过人工智能系统与其他系统之间的互连实现横向渗透：人工智能系统通常与其他信息系统（IS）互连，用于通信和高效的数据整合。这些互连可能会带来新的风险，例如，通过间接提示注入进行的攻击，利用大语言模型（LLM），通过攻击者控制的外部来源输入恶意指令。此类攻击可以用于提取敏感信息或远程执行恶意命令。如果人工智能系统与工业系统互连，这种风险尤其重要，因为这些系统可以直接作用于物理世界。
人为和组织失误：缺乏培训可能导致对自动化的过度依赖以及对人工智能系统异常行为的注意不足。此外，未经组织IT部门批准或监督而使用的主流生成式人工智能解决方案（也称“影子人工智能”）会增加风险，例如机密数据丢失、违反法规、损害组织形象等。从长远来看，人工智能的频繁和长期使用可能会导致技术依赖或“锁定”风险，即在失败时无法通过人工操作替换未来的人工智能能力。当人工智能系统涉及关键活动（例如工业环境）时，这种风险更大，尤其是在业务流程高度自动化的情况下。
人工智能系统响应故障：攻击者可能会危及用于训练人工智能模型的数据库，导致其在生产环境中产生错误响应。这种攻击需要攻击者付出相当大的努力，因为人工智能模型开发者的实践倾向于提高其对故意和恶意训练数据投毒的弹性，但如果用于对数据进行分类（例如在健康或物理安全环境中使用的图像）时，可能会特别危险。
针对人工智能用户、运营商和开发者的指南
在考虑使用人工智能系统时，分析使用用例的敏感性应是第一步。人工智能系统的复杂性、网络安全成熟度、可审计性和可解释性应与给定用例的网络安全和数据隐私要求相匹配。
在决定开发、部署或使用人工智能解决方案时，除了通常的网络安全建议外，以下指南构成了人工智能用户、运营商和开发者的良好实践：
根据风险分析、业务需求和所采取行动的关键性，调整人工智能系统的自主性水平。如有必要，应将人工验证整合到该过程中，因为它将有助于解决大多数人工智能模型（例如大语言模型幻觉）所固有的网络风险和可靠性问题；
映射人工智能供应链，包括人工智能组件和其他硬件及软件组件，以及数据集（性质、来源和处理，特别是为了缓解投毒风险并评估提取风险的影响）；
追踪人工智能系统与其他信息系统的互连，确保它们是用例所需的，以最小化攻击路径；
持续监控和维护人工智能系统，以确保它们按预期工作，没有可能影响网络安全的偏见或漏洞，从而缓解某些人工智能系统“黑箱”性质相关的风险；
实施一个流程，以预测重大的技术变化和监管变化，并识别潜在的新威胁，以便能够调整策略以应对未来的挑战；
对内部人员进行培训并提高对人工智能的挑战和风险的认识，包括高管，以确保高层决策是充分知情的。
附录1中的检查清单可以为人工智能用户、运营商和开发者提供额外的措施和建议供其考虑。
针对政策制定者的指导方针
考虑到地区和国家背景，政策制定者应致力于：
支持与这些风险相关的研究，包括对抗性机器学习领域（包括人工智能特有的攻击以及预防和检测此类攻击）、隐私保护计算、人工智能的新兴攻击性用途等；
支持基于共享标准的安全评估和认证能力的发展，以促进对人工智能模型、应用程序、数据和基础设施的信任；
继续推广最佳网络安全实践，以确保人工智能系统的安全部署和托管，提供明确的指导方针，利用现有的和适用的法规，根据风险水平调整安全要求，并通过分享反馈，以便组织能够避免常见错误并优化人工智能在其运营中的整合；
促进网络和人工智能行为者之间的对话，特别是网络安全机构和人工智能安全研究所（或类似机构）之间的对话，同时明确各自的范围和责任，作为一种更好地考虑人工智能系统网络挑战的方式。这种合作应侧重于分享关于新出现威胁的信息，并协调工作以保护关键系统；
继续在AI峰会之外进行对话，包括监测人工智能系统不断演变的威胁，并在国际层面继续进行讨论和合作，以确定更好地保障人工智能价值链的指导方针，从而促进对人工智能的信任。
附录1 AI系统安全实施建议
注：本附录用于高层次的分析，并非穷尽。请参考附录2的框架和指南进一步了解。
1. 自我评估的推荐：
我是否已在设计阶段尽可能明确定义并记录了系统的明确且合法的目的？
我是否已将监管方面适当地整合到我的思考过程中？我是否已验证人工智能系统所设想的处理是否符合适用的法律法规？
在人工智能系统的生命周期的每个不同阶段，谁可以访问该系统？
是否应用了最小权限原则，以保证人工智能系统的安全性和完整性？
人工智能系统的依赖链是什么？
我的供应商的声誉如何？他们的财务状况如何？
我的供应商是否符合网络安全标准，无论是数据提供者还是软件组件供应商？
是否有必要实施云解决方案？我是否已对可能的后果（数据保护等）进行了全面风险评估？
我与可以操作我的数据的提供商的服务协议中是否有可逆性条款？从技术和时间上来说，可逆性是否可行？
译者注：
可逆性条款（Reversibility Clause）侧重于合同终止后的实际操作，即在合同终止后，如何恢复到合同签订之前的状态。这种条款的核心在于“可逆性”（reversibility），即通过一系列操作使合同终止后的状态与合同签订前的状态一致。
在人工智能领域，可逆性条款 更为常见，因为它涉及到模型和数据的迁移、恢复以及系统的重新配置。例如：模型迁移：如果客户终止与人工智能服务提供商的合作，可逆性条款可以规定服务提供商必须将客户训练的人工智能模型和相关数据完整地迁移到客户指定的其他系统。数据恢复：可逆性条款可以规定服务提供商在合同终止后，确保客户的数据能够安全地恢复到之前的状态。
使用人工智能对业务有何影响？人工智能故障是否可能危及我的组织？
在人工智能系统的生命周期的每个阶段是否有安全基础（指南和最佳实践基准、映射等）？
我的人工智能模型是否需要保密？它们对我的组织是否有重大价值？
如果相关，我是否已适当整合了适合保护个人数据（隐私设计）的措施，包括数据和元数据，以及人工智能系统模型？
2. 推荐检查清单
一般性建议：
[ ] 限制人工智能系统用于对其他信息系统进行自动化的关键行动；
[ ] 确保人工智能被谨慎且适当地整合到关键流程中，并提供保障措施；
[ ] 当整合到整个组织的场景，进行专门的风险分析（例如，应评估人工智能系统故障对整个组织的影响）；
[ ] 研究人工智能系统生命周期的每个阶段的安全性（从训练数据收集到推理阶段以及退役）；
[ ] 如有需要，进行数据保护影响评估；
[ ] 识别、追踪和保护与人工智能相关的资产。
基础设施和架构建议
[ ] 定义人工智能系统的使用方式，并界定其在决策过程中的整合，特别是在自动化的情况下；
[ ] 根据适用法规和组织政策，适当应用特定于云的措施；
[ ] 如适用，应用外包建议；
[ ] 应用对人工智能系统安全管理建议；
[ ] 对关键人工智能组件采用访问控制系统。
制定部署计划
[ ] 设计架构，以便在扩展时不会对安全水平产生负面影响；
[ ] 在项目的各个阶段应用DevSecOps原则；
[ ] 采用隐私设计方法设计人工智能系统，以满足整个生命周期的数据保护要求：
考虑数据保密性问题；
在必要时对数据进行假名化或匿名化；
在设计人工智能系统时考虑“need-to-know”问题。
对所使用的资源保持警惕
[ ] 使用安全的格式来获取、存储和分发人工智能模型；
[ ] 实施机制以在加载模型文件之前验证其完整性；
[ ] 评估在人工智能系统中使用的库和插件的信任级别；
[ ] 确保在人工智能系统中使用的外部数据的质量，并评估对其的信任程度；
[ ] 确保对人工智能系统上执行的操作的可追溯性；
[ ] 确保数据收集是以公平和符合伦理的方式进行的，无论是用于系统的开发还是使用。
保障训练过程的安全性和可靠性
[ ] 采用严格政策，规定人工智能系统可以访问哪些数据，特别是敏感数据；
[ ] 确保训练数据的访问和存储安全；
[ ] 评估所使用的训练和再训练方法的安全性；
[ ] 对提取的数据、元数据、标注和特征以及人工智能系统模型实施措施，包括：
清理数据；
确认相关且严格必要的数据（就数量、类别、颗粒度、类型等而言）；
如有必要，对数据进行假名化或匿名化。
提高应用程序的可靠性
[ ] 对人工智能系统上的所有管理任务实施多因素认证；
[ ] 确保输入和输出的保密性和完整性；
[ ] 强制执行安全过滤器以检测恶意指令；
[ ] 确保所有数据、元数据和标注保持最新且准确（特别是为了避免偏差）；
[ ] 持续评估模型的准确性和性能。
构建组织战略
[ ] 记录设计选择；
[ ] 监督人工智能系统的运行；
[ ] 确定关键人员并监督分包商的使用；
[ ] 实施风险管理策略；
[ ] 提供在没有人工智能系统的情况下以降级模式运行的安排；
[ ] 根据组织的敏感性，制定有限制的生成式人工智能使用政策；
[ ] 建立一个流程以监控人工智能系统特有的漏洞；
[ ] 密切关注技术发展，例如，这些发展可能会限制个人数据的使用；
[ ] 实施数据管理系统；
[ ] 利用安全删除方法来移除数据；
[ ] 记录产品中使用的数据集，以：
便于数据库的使用；
便于对数据进行监控，直到其被删除或匿名化；
降低意外使用数据的风险。
预防措施
[ ] 定期对员工进行与人工智能相关的安全风险培训；
[ ] 定期对人工智能系统进行安全审计；
[ ] 尽可能提前预见与权利行使（例如知识产权和数据保护）相关的潜在问题，这些问题可能涉及训练数据或模型本身。
https://cyber.gouv.fr/en/publications/building-trust-ai-through-cyber-risk-based-approach
声明：本文来自那一片数据星辰，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
