摘要:欧盟网络信息安全局(ENISA)于 2019 年 3 月发布了题为《建立网络安全政策发展框架——自主代理的安全和隐私考虑》的报告,旨在为欧盟成员国提供一个安全和隐私政策发展框架,以应对日益普及的 AI 应用。该报告通过对人工智能发展中自主代理领域的应用和特征的介绍,指出自主的根源在于设置和遵守自我强化的规则的能力,这种能力与学习能力相结合,使系统输出的结果无法预测。自主代理的核心是数据收集,因此在安全和隐私方面带来很多挑战,建议通过应用安全和隐私的设计原则、开发基线安全需求、协调制定伦理准则等完善相应的政策发展框架。

1 报告综述

过去几年,人工智能(AI)迅速超越研究和学术范畴,进入主流商用,创新的自主代理利用人工智能并改变信息的访问和使用方式。自主代理具有多样性,从智能手机中的数字助理到支持供应链的自动机器人,因自主程度和操作环境的差异,安全性和隐私考虑可能会有所不同。自主系统的一个关键方面是数据收集,主要用于以定性和及时的方式支持高要求功能。然而,由于处理的数据丰富,尤其可能还涉及个人数据,除了依赖第三方提供商之外,还需要考虑安全和隐私等诸多因素。本报告强调了一些需要考虑的相关问题,例如未经授权的自主系统、劫持和滥用透明度、问责制、普遍性、存储和处理的不透明性,并给出了一系列建议,包括:

(1)欧盟委员会、欧盟相关机构及公私营部门利益相关方应进一步促进和支持采用安全和隐私设计原则,作为自主代理和系统的启动、设计和实施的先决条件。

(2)欧盟委员会、欧盟相关机构及公私营部门利益相关方应促进识别和交流最佳实践的合作方法,逐步提出一系列基线安全要求,然后转变为可广泛接受的技术规范和标准。

(3)欧盟委员会、欧盟相关机构及公私部门利益相关方应通过建立适当的道德准则,进一步保障和支持关于促进和保护人权的现有举措。

2 人工智能和自主代理

现代人工智能(AI)应用程序无处不在且数量众多。在医疗保健、汽车、金融和经济、游戏、军事、安全、广告、艺术、社交等领域中,AI 应用程序得到广泛使用。AI 系统主要由软件代理及其运行的环境(感知和行为)组成。大多数现有的 AI 系统和机器人是自动的而非自主的,它们并未发展和维护自身的内部机构,没有基于自我组织、进化、适应和学习等机制运作。

2.1 商业自主代理

目前,自主代理是在特定商业案例(无人机派送包裹)和公共服务(无人机监视火灾隐患)中提出的。确定代理的运作界限和可允许行为至关重要。通常需要平衡互相矛盾的要求才能产生有意义的结果。当无人机盘旋于居民区时,具有很大的侵犯隐私风险,应该采取特定的数据收集限制;但在监视关键基础设施时则应取消这些限制或者视特定情况施加限制。

2.2 知识表示

智能代理是代表用户或另一程序执行一组操作的软件实体,具有某种程度的独立性或自主性。在此过程中,智能代理使用关于世界和用户目标(或者愿望)的知识或代表。基于知识的自主代理人通常包括:(1)知识库(KB),即关于世界的一组事实表示;(2)知识表示语言,即语句代表关于世界的事实的语言。需要进行的特定操作包括向 KB 添加新句子 , 质疑已知的内容,以及构建推理机制来确定知识库内容的后续可能。自主代理是基于知识且具有集成学习机制的代理。

2.3 自主的概念

自主根植于设置和遵守自我设定规则系统的能力。在自主系统中,此概念转化为应用和解读(在某种程度上)规则的能力。这种能力与学习能力相结合,使得结果无法预测。需要制定保障措施,以限制这种可被视为广泛意义上的自由裁量权,使系统的行为可预测,并引入具体的限制和界限。虽然无法一直保证有意义地人为控制,但重要的是制定技术和程序框架以使这种控制成为可能。

2.4 学习

人工智能系统需要大量数据进行分析和学习。通常,学习系统的目标包括识别模式、检测异常和预测。为了实现这些目标,可以使用下述学习类型:

监督学习:在此类型的学习中,需要明确对系统输出的期望。在培训期间,系统接收可以满足输出需求的内容。

无监督学习:一方面,在此类型的学习中,系统不“知道”输出需求;另一方面,它们可以公开输入的内部表示。

强化学习:在此类型的学习中,系统被要求选择最优行为来增加活动的收益。虽然可能没有预先定义的输出,但系统可以了解何为更高收益并优化操作。

2.5 神经网络 / 深度学习

人工神经网络(ANN)是用于控制自主代理的重要技术。关于自主代理的研究是基于将智能作为系统环境交互的结果来研究,而不是在计算层面上理解智能。自主代理必须在环境中不断学习,而不必区分学习阶段和执行阶段。因此,自主代理的神经网络应该以增量 / 连续学习为特征。

在自主代理场景中,代理最初开始探索其环境,并在其生命周期中获得越来越多的体验。在这种情况下:(1)代理在运行时需要确定模式的相关性;(2)为离线训练选择培训示例是不合适的;(3)鉴于代理随着时间的推移获得经验,因而需要具有增量学习属性的网络(例如神经元)。

对于自治代理,这意味着它必须在运行时更新其网络权重。自主代理的网络模型应该是弹性的,因为在其生命周期中,与特定感知信息相关联的适当动作可能会改变。这种动态变化可能是由环境的变化(可能是由于代理与其环境的相互作用)或传感器电特性的动态变化引起的。

2.6 自我管理

在自我管理的自主系统中,用户不是直接控制系统,而是通过定义系统自我管理过程和指南中的一般政策和规则来控制系统。目前已有四种类型的自我管理属性:

自我配置:系统组件的自动配置;

自我修复:自动识别和修复系统故障;

自我优化:基于对资源的监控和控制自动优化功能定义的要求;

自我保护:主动识别和防止任意攻击。

Poslad以及 Nami 和 Bertel进一步拓展了上述属性:

自我监管:系统在没有外部控制的情况下维持某个参数的特定水平;

自我学习:系统使用机器学习技术来学习如何在没有外部控制的情况下处理新数据 / 信息(无监督学习);

自我意识(也称为自我检查和自我决定):系统了解自身、内部组件和外部链接,以便控制和管理它们;

自治:系统在没有外部干预的情况下自我管理;

自我描述(也称为自我解释或自我表征):系统自行解释,能够被(人类)理解而无需进一步解释。

被称为“智能”的自主代理应该能够展示一个或多个自我属性。

2.7 决策支持系统

决策支持系统(DSS)是一种基于计算机的应用程序,用于收集、组织和分析业务数据,以促进管理、运营和规划的高质量业务决策。精心设计的 DSS 应支持决策者分析各种数据(例如原始数据、文档、员工个人资料等)。对 DSS的研究主要涉及代理在应用程序中的集成。

2.8 识别技术

识别系统集成了能够从数据(