目前，在技术突破和应用机会不断扩展的双重推动下，人工智能走到了大规模商业应用的爆发性临界点。人工智能产业化应用的顺利推进，将充分发挥其对国家经济增长的强劲推动力。但是民众对各类人工智能应用普遍存在的安全担忧，不采取安全措施可能导致的大规模恶性事故都将极大影响人工智能产业化应用的顺利推进。站在推进我国经济创新发展和产业转型升级的国家战略高度，需在把握人工智能安全风险现状及发展趋势基础上，找准我国人工智能安全监管的瓶颈和着力点，在人工智能产业化应用初期着手提升我国人工智能安全水平，并逐步建立和完善我国人工智能安全监管体系和生态环境。
一、人工智能现阶段特点
（一）基于大数据的深度学习技术突破感知智能瓶颈。人工智能的目标旨在赋予机器感知外界环境、实时决策、移动操作等人类的能力，即机器具有感知、认知、行为三方面智能。然而受限于计算能力、数据量和核心算法，传统的基于规则、统计模型或模式识别的人工智能技术在1956至2006年间并未达到人类的智能水平。自2006年深度学习技术提出以来，其与大数据结合在语音、图像、视频等特定感知智能领域取得了接近或超越人类的水平。但是，由于现阶段深度学习技术不具有模拟人类记忆、推理、预测、小样本学习等方面的能力，故在认知、行为智能方面仍未有较大进展。目前，学术界和科技公司都试图从借鉴人脑运行机理，探索迁移学习、强化学习、类人概念学习等新技术，改进深度学习等方面研究新的人工智能技术。
（二）人工智能处于大规模商业应用的爆发临界点。受益于深度学习在感知智能领域的突破性进展，科技公司、传统企业、创业公司等纷纷从开源机器学习平台、研发人工智能产品、改造传统产业等方面推动人工智能大规模商业应用。各类替代人类进行环境感知的人工智能产品和应用在生活中已随处可见，以亚马逊智能音箱Echo、海尔智能冰箱等为代表的各类语音控制类智能家电产品大量涌现；特斯拉Model S、最新款奥迪A8等能在简单低速路况下自主驾驶的半自动无人驾驶汽车已大规模商用量产；具有自动翻译、语音问答、图像识别功能的各种应用也大量使用。但是，由于人工智能技术尚未攻克感知和行为智能，完全替代人类的全智能化、自动化产品仍处于研发状态，例如麦肯锡报告《Self-driving-car-technology-When-will-the-robots-hit-the-road》指出L5级的全自动驾驶汽车至少需十年才能商用和量产。
（三）人工智能成为经济增长新引擎。目前，人工智能处于大规模商业应用的爆发临界点。人工智能大规模产业化应用，一方面将带动传统产业升级改造；另一方具有的 “创新溢出效应”将带动整个社会的创新变革。埃森哲研究报告《人工智能改写经济增长模型》和《人工智能：助力中国经济增长》指出，到2035年，人工智能有望拉动中国经济年增长率从6.3%提速至7.9%，美国经济年增长率从2.6%提速至4.6%；变化最大的则是日本可从0.8%提速至2.7%。我国目前面临人口老龄化严重、人口红利消失、经济缺乏新动力的境况，亟需将人工智能作为经济增长新引擎、传统产业转型升级新动能和引领全球的新机遇。
二、人工智能安全风险威胁产业化应用
（一）人工智能安全威胁相较传统信息系统更加严重。传统信息系统主要用于个人日常娱乐、生活和办公辅助，以及企业数据处理和业务流程辅助等。人工智能产品和系统则在个人生活、企业生产中直接替代人类和企业进行决策和行为操作控制。人工智能相较传统信息系统对个人生活、企业生产的影响更加直接和深远。因此人工智能安全风险不仅会产生传统信息系统可能造成的数据泄露、个人隐私泄密、影响网络连通性和业务连续性等问题，而且会直接危害人身安全、社会稳定和国家安全。自动驾驶、无人机等系统非正常运行，可能直接危害人类生命安全和身体健康，例如，2016年5月开启自动驾驶功能的特斯拉汽车在美国发生车祸致驾驶员死亡，2017年年初我国发生多起无人机干扰致航班紧急迫降事件。智能司法、智能招聘等系统替代人类进行决策，可能威胁社会公平正义。智能自主军事武器的使用，可能导致武力滥用，误伤大量平民。
（二）安全担忧影响产业化应用的社会接受度。美国白宫《为人工智能的未来做好准备》指出，对人工智能产品和系统的安全及控制的关注和担忧是限制人工智能产业化应用的一个主要因素。然而，由于深度学习等人工智能技术缺乏理论支持、透明度和可解释性且人工智能产品和系统通常由几千万行代码构成，很难对其进行形式化安全验证。安全测评是目前产业界普遍认可的验证人工智能产品和系统安全性的有效方案，但是采用蛮力测试且为保证能测试到各种小概率情况则需投入巨量测试资源。以自动驾驶汽车为例，麦肯锡报告《Driving to Safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?》指出为验证其安全性需自动驾驶汽车上路行驶110亿英里，即100辆汽车7*24小时不间断运行500年，这显然无法满足自动驾驶快速商用的需求。如果从业者没有加速安全验证的有效方法向大众证明其产品和系统不会产生无法接受的负面风险和结果，将极大影响民众对智能系统的接受度。美国汽车协会通过调查发现美国超过75%的民众害怕使用无人驾驶汽车（《AAA调查：绝大多数美国人害怕自动驾驶》）。
（三）过于信任和依赖人工智能系统可能导致严重安全事故。目前人工智能存在技术瓶颈，导致已商用的人工智能产品可能有明显的能力和适用场景局限，例如已商用的L3级奥迪A8半自动驾驶汽车在紧急突发状况时仍需人类直接控制处理。但是，由于人类未充分了解或重视人工智能系统的能力局限而过于信任它们，在超出其处理能力的情况仍盲目依赖他们或在需人类接管控制权限时无法及时应对处理，则可能引发严重安全事故，例如，自适应巡航控制功能在汽车直接跟随另一辆行驶中的汽车时运行良好，但不能发现静止的物体，在现实生活中往往有很多驾驶员由于对该功能过于信任而致使汽车撞上静止的物体。
（四）大规模恶性网络信息安全事故将极大推迟产业化进程。智能化、网联化是人工智能系统的主要特点。随着人工智能系统攻击价值以及黑客、敌对势力对智能系统关注度的提升，人工智能系统将成为网络攻击的重灾区。若不对人工智能系统的网络信息安全问题加以重视，科幻电影中的场景可能变成现实，例如道路上行驶的自动驾驶汽车被外部控制进而采取自杀式攻击行为等，这将极大打击普通民众购买使用智能系统的信心，摧毁人工智能技术产业化应用前景。
三、人工智能安全风险现状及发展趋势
（一）现阶段，人工智能技术局限是安全风险主要来源。当前人工智能处于以大数据和深度学习为核心驱动力的发展阶段，其存在的尚未克服技术局限将给智能系统安全稳定运行带来严峻挑战。一是人工智能算法不适应开放动态变化的外界环境，运行时可能产生无法预测的错误决策或行为。二是人工智能算法在小数据量训练集或含有大量噪音的数据集上无法取得较好的应用效果。三是人工智能算法不具备人类拥有的常识或大量的背景知识，运行时可能产生不合常理或违背人类伦理道德的决策或行为。四是人工智能算法缺乏透明度和可解释性，给安全监管及事后追责带来极大困难。
（二）可预见未来，外部攻击是主要安全威胁。目前已有大量研究者开展利用人工智能技术缺陷攻击智能系统的研究。例如，利用人工智能对输入数据变化的敏感性，攻击者可对输入数据进行干扰生成对抗样本诱使人工智能系统产生错误输出，2016年DefCon会议上360团队利用对抗样本攻击成功控制特斯拉自动驾驶汽车。而且，未来人工智能专有攻击将和传统的网络攻击技术相互融合增强，构成对智能系统的更大威胁。
（三）未来较长时间内，人工智能安全攻防难度和能力不对等加剧安全风险。目前，已有一些人工智能攻击技术且发展迅速，但是有效的人工智能安全防御技术却非常少，尚属世界性难题。一方面是因为很难为人工智能攻击方法构建理论模型，因此难以形成相应的安全防御理论。另一方面是因为以深度神经网络为代表的人工智能算法缺乏理论支持，无法有效指导设计者构建更好的算法。
四、人工智能安全监管挑战
有效管控人工智能安全风险，保障个人、社会和国家安全的同时，充分发挥人工智能产业创新优势是人工智能安全监管应到的目标。但是，由于人工智能自身技术及其安全风险的特点，给现有社会各行各业的法律法规、监管政策、监管措施提出严峻挑战。
（一）现有法律法规未考虑人工智能安全。由于应用于社会各行各业的人工智能产品和系统将代替人类进行感知、决策和操作行为，且在售出后的运行过程中可根据输入数据进行自主迭代和更新，这使得人工智能产品和系统是实际的安全事件行为责任人。然而，现行法律法规条文是将自然人和法人作为监管和追责对象，未合法化人工智能产品和系统的社会应用，也未区分人工智能产品和系统、生产和销售厂商、使用人的不同责任和义务。以自动驾驶为例，现行的《道路交通安全法》及其配套的法律体系明确要求机动车必须由合格的驾驶员按照规定进行驾驶，尚未考虑到自动驾驶机动车辆这一问题。
（二）现有监管体制、政策和措施难以保障人工智能安全。我国现行的是分行业、分领域的监管体制，而人工智能产品和系统具有突出的跨界融合的属性，超出了单一国家部委的监管范畴，容易造成监管主体不明、监管政策冲突或遗漏等问题，不利于保障人工智能安全。而且，Matthew在文章《Regulating Artificial intelligence System: Risks, Challenges, Competencies, and Strategies》中指出由于人工智能研发、运行具有的全球分散性（人工智能研发人员可能分布在全球的不同地方，人工智能系统的各组件由不同机构提供）、秘密性（人工智能研发不需要投入大量可见的固定资产设施，其设计和研发过程可秘密进行）、不连续性（人工智能的各部件不需要在同一地点同时进行研发）、不透明性（人工智能系统的内部工作模式及各组件之间的相互配合方式是不透明的，而且人工智能系统在设计、研发过程中的缺陷，消费者和下游生产商和销售商很难知晓）、不可预见性（人工智能系统在运行时会产生人类不可预见的决策和行为）、不可解释性（人类无法理解人工智能系统产生决策、行为、错误的原因）等特点，这使得以规制研究和开发行为的生产者准入制度、规范产品质量的产品许可制度为核心的事前监管方式不再适用，并且导致以风险监测及处置、事后追责及赔偿为主的事中和事后监管措施面临困难。
五、我国人工智能安全发展建议
人工智能安全已引起相关国家和国际组织、科技巨头、学术界等多方关注。但是，我国政府、企业目前主要关注于人工智能技术及商业化应用，尚未给予人工智能安全相应的重视，建议我国结合产业发展和网络安全保障需要，加快人工智能相关的法律法规、监管政策及措施、防护技术及产品等方面的研究和部署工作。
（一）国家战略层面重视人工智能安全。将安全作为重要要素纳入我国人工智能发展顶层设计，开展专项规划和相应法律法规及监管政策的制修订。在我国正在制定的战略规划中增加安全方向。研制和修订自动驾驶、无人机、智能医疗等人工智能重点应用领域安全方面的法律法规，为我国人工智能产业化应用及安全提供法律保障，明确国家各部委人工智能安全监管的职权范围，建立起涵盖人工智能产品和系统，设计者、生产者和销售者，使用者的人工智能安全责任承担体系，授权监管机构建立针对人工智能产品和系统的安全评估和审批认证制度，规定经过监管机构安全评估和审批认证的人工智能产品和系统只承担有限责任。
（二）加强多部委统筹联合制定人工智能安全监管政策。结合人工智能产业发展趋势和网络信息安全保障需求，针对人工智能重点应用领域组建专家团队充分剖析和评估相应人工智能技术和产品的安全监管挑战及现有政策局限，并提出相应政策建议。建议国家成立部际联合小组，加强多部委统筹，联合制定相应监管政策和措施等，并将拟定的政策和措施公开征求企业和公众意见。多部委联合建立人工智能产品和系统的安全评估和审批认证制度，确立安全评估的测试标准与规则，明确认证申请的评判流程，细化审核认证程序。
（三）建立人工智能安全检测认证体系。以政府引导、市场运行为原则建立人工智能安全检测认证体系，加快安全检测认证的国家标准、行业标准和认证技术规范的制定，建立健全人工智能产品和系统的整机及关键零部件安全检测认证平台，引导企业申请认证，引领市场采信证书。检测认证平台将建立人工智能产品和系统的质量追溯体系、从认证机构到企业产品的信用档案和“黑名单”，并将有关信息纳入全国信用信息共享平台向社会公开，推动认证结果在财政专项、金融信贷、税收减免、重大工程等政策中的采信使用。
（四）加强人工智能安全理论和技术研究。引导多方面社会资源加大持续投资力度，大力支持科研人员和安全企业在人工智能安全攻击和防御技术的研究，引导企业积极参与国际人工智能安全标准的制修订，加快完善我国人工智能安全标准体系。探索人工智能重点应用领域最佳安全实践，研发智能系统安全风险监测识别和安全防护产品，提高智能系统安全水平。
（五）加快布局和完善人工智能安全生态。积极建立人工智能安全产学研协同创新共同体，找准人工智能安全的重点和薄弱点，制定人工智能安全产业发展路线图，构建我国产学研结合的人工智能安全生态。高校和科研机构突破重点关键技术，寻求突破或规避现有人工智能技术局限的方法；人工智能企业积极研发和运用更先进和更安全的人工智能技术；安全公司探索人工智能安全攻防技术和产品并提供人工智能安全服务能力，形成完整人工智能安全产业链。
（作者：中国信息通信研究院安全研究所 景慧昀）
声明：本文来自互联网信息安全评估中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
