1. 本文摘要
《Call for views on the Cyber Security of AI》是英国政府DSIT针对人工智能（AI）网络安全的公众意见征询。文中强调了AI对英国经济及日常生活的重要性，并提出了随着AI技术的普及，确保其网络安全的必要性。政府提出了一个基于自愿性行为守则的两步干预措施，旨在通过国际标准提升AI的安全性。此外，文中还讨论了AI技术在不同领域的应用，以及政府为确保AI安全所采取的各种措施和未来的工作方向。
2. 本文结构
部长前言：强调AI的重要性和网络安全的必要性。
执行摘要：概述AI如何改变日常生活，以及确保AI安全性的重要性。
引言：详细介绍AI的背景、挑战和政府的监管框架。
技术安全计划：描述政府如何提高技术安全性。
自愿性行为守则和全球标准：详细讨论政府的两步干预措施。
回应意见征询和下一步计划：说明如何参与意见征询和政府接下来的步骤。
附录：包括研究发现、全球方法、术语表、意见征询调查问卷、其他干预措施和相关出版物的文献目录。
3. 详细摘要
部长前言
Viscount Camrose强调了AI对英国经济的贡献，并提出了确保AI网络安全的紧迫性。他介绍了政府为提升AI安全性所做的工作，包括制定行为守则和推动国际合作。
执行摘要
概述了AI技术的变革性影响，以及政府提出的两步干预措施：开发自愿性行为守则和推动全球标准的建立。
引言
背景介绍了AI技术的发展和应用，以及它如何成为日常生活和组织运营的一部分。
范围明确了意见征询的焦点是AI的网络安全风险，而不是AI带来的更广泛问题。
理由解释了为什么要采取行动来提高AI的安全性，包括保护用户和加强公众信任的必要性。
方法论描述了用于制定政策的研究方法，包括风险评估、业务调查和文献回顾。
我们的技术安全计划
描述了政府如何通过各种计划和标准提高技术安全性，包括软件和网络治理守则，以及如何通过“安全设计”的方法来提升数字技术的安全性。
自愿性行为守则和全球标准
背景
英国政府认识到AI技术的快速发展及其在各个行业中的广泛应用，以及随之而来的网络安全风险。为了应对这些风险，政府提出了一个自愿性行为守则，该守则基于国家网络安全中心（NCSC）2023年发布的AI系统安全开发指南。这些指南得到了18个国家的共同签署，并与美国网络安全和基础设施安全局（CISA）以及其他国际网络合作伙伴一起制定。自愿性行为守则也参考了政府委托的研究，包括对AI生命周期中潜在的安全漏洞进行的风险评估，以及对这一领域网络安全研究的梳理。
理由
政府提出自愿性行为守则和全球标准的目的是为了创建一个市场生态系统，其中AI供应链中的利益相关者可以通过强调其对安全的承诺来区分自己。这不仅有助于提高组织声誉，还能推动整个行业的更好实践。此外，通过确保AI的安全性，可以促进AI开发人员创建更复杂的模型和系统，同时保障创新与安全并行发展。
AI网络安全行为守则
行为守则为AI供应链中的不同利益相关者，特别是开发者和系统运营商，提供了一套实践步骤，以保护最终用户。它适用于所有AI技术，并确保安全有效地内置于AI模型和系统以及整个AI生命周期中。行为守则强调了安全设计、威胁建模、用户交互决策、资产识别、基础设施安全、供应链安全、数据和模型文档、测试和评估、用户通信、安全更新和系统监控等12项原则。
| 序号 | 原则名称 | 原则详细要求 |
|---|---|---|
| 1 | 安全设计 | 提高员工对AI系统特定威胁的认识，包括定期更新安全意识内容，为开发人员提供AI安全编码技术培训。 |
| 2 | 系统安全设计 | 系统运营商应在创建AI系统时确定和记录业务需求，并与数据控制者共同讨论数据需求。 |
| 3 | 威胁建模 | 开发人员和系统运营商应作为风险管理过程的一部分，对系统的威胁进行建模。 |
| 4 | 用户交互的AI特定风险决策 | 开发人员和系统运营商应确保系统提供有效的保障措施，以应对模型输出。 |
| 5 | 资产识别、跟踪和保护 | 开发人员、数据控制者和系统运营商应了解其资产位置，并评估与之相关的风险。 |
| 6 | 基础设施安全 | 开发人员和系统运营商应采用适当的访问控制，并为API、模型和数据创建隔离环境。 |
| 7 | 供应链安全 | 开发人员和系统运营商应确保从可验证的来源获取安全和有文档记录的组件。 |
| 8 | 数据、模型和提示的文档化 | 开发人员应记录和维护模型设计和部署后维护计划的清晰审计追踪。 |
| 9 | 适当的测试和评估 | 开发人员应确保作为安全评估过程的一部分进行测试，以验证AI模型的性能。 |
| 10 | 用户通信 | 开发人员应向最终用户明确说明他们负责的安全方面，并透明地说明数据的使用、访问或存储方式。 |
| 11 | 安全更新 | 开发人员和系统运营商应确保项目要求包括定期进行安全审计和更新。 |
| 12 | 系统行为监控 | 系统运营商应记录AI系统的所有输入和输出，以便进行审计、合规性义务、调查和在妥协或滥用情况下的补救。 |
全球标准的开发
政府打算在收到意见征询的反馈后，将更新后的自愿性行为守则提交给欧洲电信标准化协会（ETSI），以帮助形成全球标准的开发。这一过程将包括与全球标准组织合作，以及通过国际合作伙伴和多边论坛进行持续的国际合作。
监测和评估
政府计划对行为守则的采用和其在鼓励AI生态系统期望结果方面的效果进行监测和评估。这将涉及与利益相关者的持续接触，并确定是否需要对AI采取未来的监管行动。
如何回应意见征询和我们的下一步计划
说明了如何通过在线调查和研讨会参与意见征询，并概述了政府在收集反馈后的计划，包括可能的监管行动和对自愿性行为守则的监测与评估。
附录A: 研究发现
概述
附录A提供了对英国政府委托进行的几项研究的概述，这些研究旨在建立一个初步的证据基础，以通知政策干预措施的发展，特别是行为守则的制定。
研究目的
评估AI的网络安全风险。
调查英国企业对AI的态度，特别是关于网络安全的做法。
通过文献回顾，映射行业和其他政府在解决AI网络安全风险方面的技术和政策建议。
研究内容
AI的网络安全风险评估
由Grant Thornton和曼彻斯特都会大学在2024年2月完成。
发现AI生命周期中的各个阶段（设计、开发、部署和维护）都存在漏洞。
强调了AI技术面临的共同防御威胁。
检查了每个漏洞如何被利用，并概述了由此产生的潜在影响。
组织对AI系统网络安全的认识
IFF Research在2024年1月至2月期间对350家英国企业进行了调查。
调查结果显示，近半数的受访企业没有特定的AI网络安全实践或流程，13%不确定是否有。
突出表明许多组织缺乏对AI网络安全实践和流程的认识。
AI模型和系统的安全要求
Mindgard的文献回顾确定了45条独特的建议，分为技术和一般两类。
基于行业和政府的重叠要求，表明AI政策领域需要安全要求。
AI的网络安全研究文献回顾
由贝尔法斯特女王大学在2024年2月完成。
分析了415篇关于AI网络安全的出版物。
指出学术机构在AI安全领域的研究占主导地位。
关键发现
AI技术的漏洞和威胁大致相似。
利用AI系统中的漏洞可能对最终用户产生重大影响，例如丢失与消费者和员工相关的敏感数据，以及为恶意行为者提供侵入组织基础设施的途径。
组织普遍缺乏对AI模型和系统中应构建的安全内容的认识，以及在采用AI保护其组织时应是否有实践或流程。
许多关键组织、政府和标准开发组织主张对AI模型和系统提出安全要求。
在AI系统中发现的漏洞可以使模型和系统被武器化，导致网络攻击和对用户的重大伤害。
威胁到AI技术的攻击
评估了基于概念验证出版物和真实生活案例研究的针对AI技术的22个网络攻击案例。
虽然只有少数事件是真实案例，但评估清楚地突显了漏洞对最终用户安全的潜在重大影响。
组织对AI网络安全的态度
IFF Research的调查突出了英国企业对AI实践和流程的网络安全知识缺乏。
调查显示，39%的受访者没有特定的网络安全要求或期望AI公司在其模型和系统中构建。
安全要求的必要性
Mindgard的报告指出，基于行业和政府的重叠要求，AI政策领域需要安全要求。
评估AI的网络安全风险也强调了这一发现，报告将漏洞及其利用途径与不良的设计和开发实践联系起来。
研究的意义
这些研究结果为政府干预以提高AI安全性提供了理由，并为行为守则的内容和结构提供了依据。政府计划利用这些研究结果来制定政策，以提高AI技术的安全性，并保护用户和经济免受网络威胁。
附录B: AI的全球方法
讨论了英国在全球AI安全和标准制定中的作用，包括参与的多边组织和倡议，如G7、G20、GPAI、理事会 of Europe、OECD、UN等。
附录C: 术语表
提供了文档中使用的专业术语的定义，如AI、AI生命周期、API、能力、评估、基础模型、前沿AI、输入、大型语言模型（LLMs）、提示、隔离环境、权重等。
附录D: 意见征询调查问卷
列出了用于收集反馈的调查问卷问题，涉及对自愿性行为守则的支持、对原则的反馈、财务影响、其他政策干预建议、其他风险和反馈等。
附录E: 考虑的其他干预措施
标准制定的背景
英国政府在制定AI网络安全政策时，考虑了一系列可能的干预措施。这些措施旨在解决AI模型和系统的网络安全风险，并促进AI的安全性和可靠性。政府对每项措施进行了评估，以确定它们是否能够有效地解决AI的网络安全问题，并考虑了它们的潜在影响。
评估标准
成本效益分析：评估干预措施对企业、消费者和政府的成本效益和价值。
可能的有效性和可测量性：考虑干预措施减少威胁、提高AI安全性的有效性，以及是否可测量以评估其影响。
实施障碍：评估干预措施被主要利益相关者采纳的可能性、支持度以及实施的容易程度。
意外后果：考虑干预措施可能引入的激励措施是否符合预期，以及是否有潜在的负面副作用。
与国际方法的一致性：评估干预措施是否与国际上的努力保持一致，是否有助于促进国际合作。
公平性和影响：评估干预措施对市场上的消费者和企业的公平性，以及它们是否可能导致市场竞争减少或形成垄断。
支持创新的方法：评估干预措施是否减少了AI研发的激励，或是否可能限制AI公司的产品和服务，从而为市场新进入者创造更多障碍。
考虑的干预措施
商业指导：考虑是否需要额外的指导来补充拟议的自愿性行为守则，特别是针对特定利益相关者或AI生命周期的特定阶段。
法规咨询：政府承诺支持监管机构，并指出未来可能需要针对最强大AI系统的一套高度针对性的约束措施。然而，政府希望在推进法规之前更全面地了解证据。
基于安全要求的认证计划：任何认证计划都应由行业领导，考虑到英国和全球提供重要服务以帮助企业根据特定要求保证产品和服务的各种公司。
为AI开发人员创建指南：政府考虑过是否需要为AI开发人员创建一个指南，以向客户提供有关其为保护产品所采取的步骤的特定信息。基于与利益相关者的接触，政府没有推进这个指南，因为它可能会给组织带来负担，并可能引发潜在的责任问题。
针对AI开发人员的指导：NCSC在2023年11月发布了AI开发人员的Secure AI Guidelines，提供了有用的信息以帮助开发模型和系统。
针对消费者的指导：政府没有推进这项干预措施，因为确保用户安全的责任不应首先落在供应链中的消费者身上。
提高组织和用户对AI安全上下文的理解的意识活动：政府认为，通过市场采用要求来驱动变革更为有效，因为如果市场采用这些要求，那么用户的行动负担将大大减少。
声明：本文来自那一片数据星辰，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
