2023年11月27日,美国、英国和其他十几个国家公布了首份关于如何保护AI免受流氓行为侵害的详细国际协议《安全AI系统开发指南》,敦促企业打造“设计安全”的AI系统

协议由英国国家网络安全中心(NCSC)主导,并与美国网络安全和基础设施安全局(CISA)共同制定,从而建立了AI领域的全球合作。

作为世界各国政府为推动AI发展而采取的一系列举措中的最新一项,《安全AI系统开发指南》旨在提高AI的网络安全水平,并帮助确保AI的设计、开发和安全部署。协议分为四个关键领域——安全设计、安全开发、安全部署以及安全操作和维护。其不具备约束力,主要包含一般性建议,例如监控AI系统是否被滥用、保护数据免遭篡改以及审查软件供应商等。

在一份长达20页的文件中,18个国家一致认为,设计和使用AI的公司需要以确保客户和公众免受滥用的方式开发和部署。《安全AI系统开发指南》将帮助任何使用AI的系统的开发人员在开发过程的每个阶段做出明智的网络安全决策——无论这些系统是从零开始设计的,还是建立在已有的工具和服务之上的。

具体而言,该指南为AI系统安全开发提出了四大方面的监管要求:

01 要优先考虑“设计安全”和“默认安全“

其中多次强调了“设计安全”和“默认安全”原则,即AI开发公司应该主动保护AI产品免受攻击的方法。起草者敦促AI开发人员在决策过程中优先考虑安全,而不单单注重功能和性能。准则还建议产品提供设置为最安全的默认应用选项,并向用户清楚地传达替代该默认配置的风险。根据指南的要求,AI系统的开发人员应该为下游的应用结果承担责任,而不是依赖客户去控制安全。

02 密切关注复杂的供应链安全

AI工具开发人员在设计自己的产品时常依赖第三方组件,比如基础模型、训练数据集和API。庞大的供应商网络会给AI系统带来更大的攻击面,其中任何一个薄弱环节都可能会对产品的安全性产生负面影响。因此,准则要求开发人员在决定引用第三方组件时,需要充分评估其中的安全风险。在与第三方合作时,开发人员应该审查和监控供应商的安全状况,要求供应商遵守与自己组织相同的安全标准,并对导入的第三方代码实施扫描和隔离。

03 考虑AI应用中面临的独特风险

AI系统应用时会产生一些特有的威胁(如提示注入攻击和数据中毒),因此开发者需要充分考虑AI系统独特的安全因素。AI系统“设计安全”方法的一个重要组成部分就是为AI模型输出设置安全护栏,以防止敏感数据泄露,并限制用于文件编辑等任务的AI组件的操作。开发人员应该将AI特有的威胁场景纳入发布前的测试中,并监控用户输入以判断是否存在恶意利用系统的企图。

04 AI系统安全开发应该具有持续性和协作性

指南中概述了贯穿AI系统设计、开发、部署、操作及维护等全生命周期阶段的最佳安全实践,并强调了要持续监控已部署AI系统的重要性,这样能够发现模型行为方面的变化和可疑的用户输入。“设计安全”原则是任何软件更新的关键组成部分,准则建议开发者在默认情况下自动更新。最后,指南还建议开发人员利用更庞大的AI社区反馈和信息共享,不断改进系统的安全性。

来源|NCSC、SC Media

声明:本文来自上海市人工智能与社会发展研究会,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。