中国法学会法治研究所副研究员  刘金瑞

在大数据、超级计算、脑科学等新理论新技术的发展和推动下，人工智能近几年迎来了新一轮发展浪潮，在成为驱动经济增长和社会进步的新动力。在这一背景下，各国政府纷纷制定人工智能战略和发展计划，试图抢占新的国际竞争制高点。我国2017发布了《新一代人工智能发展规划》，明确提出要构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，要到2030年成为世界主要人工智能创新中心。近期，习近平总书记在全国网络安全和信息化工作会议上进一步强调，要推动互联网、大数据、人工智能和实体经济深度融合，加快制造业、农业、服务业数字化、网络化、智能化。

但由于技术的复杂性、不确定性等特征，人工智能的迅速发展也带来了巨大的安全挑战，如何认识和应对这些风险挑战成为确保人工智能安全、可靠、可控发展的关键。本文结合人工智能发展阶段的划分总体审视了其引发的安全问题，在此基础上着重分析了现阶段人工智能带来的新的网络安全挑战，并针对这些挑战提出了相应的法律对策。

一、全面认识人工智能发展带来的安全挑战

人工智能带来的安全挑战是其在发展过程中所凸显出来的，既要从纵向上历史地看待人工智能在不同发展阶段带来的不同安全风险，也要从横向上全面地审视人工智能给人类社会不同生活领域带来的各种安全威胁。

虽然划分人工智能发展阶段有不同的观点和角度，但核心都在于人工智能和人类的关系。对比人类的自主性，本文认为人工智能的本质特征在于能够作出自动化决策或行为，可以把人工智能在多大程度上摆脱人类的自主控制作为人工智能发展阶段划分的标准。根据人类对人工智能控制程度的不同，可以将人工智能划分为三个阶段：一是人工智能辅助和增强人类阶段；二是人工智能和人类共生共存的阶段，此时人类已经离不开人工智能；三是人工智能控制人类阶段。这一划分实际反映了一种终极意义的挑战：人工智能是人类发明的技术手段，人类怎么才能确保不被这一手段打败，而始终保证人本身才是技术手段的目的？

从目前的技术水平看，我们现在基本是处于第一阶段，在向第二阶段迈进，所以人工智能辅助和增强人类方面的安全问题应该是我们关注的重点。虽然很多技术专家可能并不见得同意这一判断，但从法学角度看，认识人工智能的安全挑战并作出应对预案，往往是基于之前已经发生过的事实或者可以预见的有可能发生的情形。换言之，我们既不能视而不见，也不能杞人忧天，但可以适度前瞻。关于人工智能类似科幻层面的想象，并不是法律制度设计所要考虑的。不过考虑到人工智能发展在一定程度上的不确定性，在立法上可以考虑设立一定的机构和机制，来监测风险、引导发展和应对危机。

在人工智能辅助和增强人类发展阶段，全面认识人工智能带来的安全挑战应该包括以下几个层面：

只有站到总体国家安全观的高度，才可以全面审视人工智能带来的安全挑战。习总书记站在战略和全局高度提出了总体国家安全观，明确指出要既重视传统安全，又重视非传统安全，构建集政治安全、国土安全、军事安全、经济安全、文化安全、社会安全、科技安全、信息安全、生态安全、资源安全、核安全等于一体的国家安全体系。当前，人工智能正在引发链式突破，推动经济社会各领域从数字化、网络化全面迈向智能化。正因如此，人工智能完全可能会引发上述11个领域的安全问题。

比如，人工智能可能用于音视频合成与伪造，自动生成并推送假消息，左右和控制公众的认知和判断，从而威胁国家的政治安全、文化安全。比如，人工智能可能引发就业问题、社会保障问题，造成经济安全和社会安全的挑战。近期很多研究也在不断揭示这些风险，比如2017年7月哈佛大学肯尼迪学院发布的《人工智能与国家安全》报告指出，人工智能将成为国家安全领域的颠覆性力量，其影响可与核、航空航天、信息和生物技术比肩，将深刻改变军事、信息和经济领域安全态势。再如，2018年4月兰德公司发布的《人工智能对核战争风险的影响》报告指出，人工智能会鼓励人类去冒险，有可能颠覆核威慑战略的基础。

概言之，人工智能技术应用既可能威胁网络信息安全，也可能挑战国家的政治安全、军事安全、经济安全、文化安全等各方面安全。前者可以称为“对网络系统的安全挑战”或者“对网络安全的挑战”，比如被攻击造成数据泄露、关键信息基础设施瘫痪等；后者可以称为“对社会系统的安全挑战”，比如前文那些例证。当然，基于目前社会架构的网络化信息化，后者往往是在前者的基础上造成的，即支撑社会系统的重要网络系统受到攻击和破坏，从而威胁社会系统的稳定和秩序。从某种意义上讲，人工智能带来的网络安全挑战属于基础问题，理应成为现阶段我们认识、研究和应对的重中之重。

二、人工智能对网络安全来讲是把“双刃剑”

对于网络安全来讲，人工智能是一把“双刃剑”。一方面，人工智能可以将安全研究人员从海量的威胁数据分析中解放出来，通过监测威胁可以迅速发现、分析和响应新攻击和新漏洞，自动化实时共享威胁情报，实现系统自动防御修复，从而大大提升抵御安全威胁的能力。目前，全球越来越多的安全公司正在尝试将人工智能、机器学习等集成到产品之中，智能化（Intelligence）、自动化（Automatic）成为2018年美国RSA大会上的热词。

但另一方面，人工智能也带来了新的网络安全威胁。

1. 人工智能技术及其应用的复杂性带来安全挑战。人工智能不仅仅是各种算法和方案的集合，更是一个由软件、硬件、数据、设备、通信协议、数据接口和人组成的丰富多彩的生态系统，广泛应用于自动驾驶、工业机器人、智能医疗、无人机、智能家居助手等领域。这种复杂的技术构成和应用场景会产生新的安全漏洞。比如2017年12月谷歌被爆其机器学习框架TensorFlow中存在的严重的安全漏洞，再比如将欺骗数据输入机器学习模型，让系统产生误判等。

2.  人工智能可能被不法分子利用，成为新的网络犯罪工具，产生新的犯罪形式。比如2017年9月，绍兴警方成功破获我国首例利用人工智能侵犯公民个人信息案，在该案中犯罪分子利用一种具有深度学习功能的“快啊”打码平台进行机器快速识别验证码，从而绕过网络账户安全登录策略。

3. 人工智能的不确定性引发安全挑战。这包括两个方面：一是存在“算法黑箱”，某些自动化决策和行为有一定的不可解释性，解释不了如此决策和行为的原因和逻辑，如何使得这种自动化决策的不确定性可控成为重大的安全挑战。二是人工智能的应用环境和算法发展有一定的不确定性，面对应用条件的变化可能导致无法预测和无法承受的后果，将这种结果的不确定性限定在一定范围不至于成为一种重大威胁是我们面临的一项艰巨任务。

4. 人工智能对个人信息和隐私保护造成安全挑战。人工智能使得大量的用户个人信息尤其是行为数据集中到少量的组织和公司手中，对于目前隐私和信息安全法律制度的遵从来讲是一个巨大挑战。人工智能对于收集和处理个人数据的巨大需求，使得未经授权使用个人信息和隐私的风险大大增加。不同系统和算法需要共享和利用海量用户数据，考虑到成本问题，这对获取用户同意的方式、人工智能的应用方式以及用户个人数据流转方式都提出了巨大的挑战。

可以看出，人工智能给网络安全带来的挑战，不仅包括人工智能技术应用引起的安全问题，比如数据利用规则、算法“黑箱”等，也包括人工智能技术本身带来的安全问题，比如算法的安全漏洞等。目前的讨论往往集中在前一方面，但后一方面的安全挑战同样不能忽视。需要指出的是，“网络安全”在我国不仅包括网络信息系统安全，还包括网络信息内容安全，人工智能技术用于信息内容生成和分发而引发的安全风险同样不能忽视。只有高度重视和应对这些新的安全风险挑战，才能确保人工智能健康有序发展。

从人工智能技术本身看，其快速发展得益于大数据、物联网、芯片技术、计算机视觉、语音识别等技术的快速发展以及机器学习、深度学习等相关算法的极大提升。从某种程度上看，人工智能是技术叠加的结果，技术叠加导致了风险的叠加，这意味着所叠加的这些技术可能引发的网络安全风险对于人工智能技术而言可能同样存在。比如系统被侵入的风险、个人信息和隐私被侵害的风险。对于这些叠加的既有安全风险，法律制度已经有一些相关的制度设计。对于本文关注的人工智能带来的新的安全挑战，则需要法律制度及时更新予以应对。

三、应对人工智能安全挑战的法律对策

面对人工智能带来的新的安全挑战，法律制度必须给予有力回应，确保人工智能技术的安全、可靠和可控，以保障经济社会安全稳定和健康发展。我国《新一代人工智能发展规划》明确指出，要“开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等。重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定相关安全管理法规，为新技术的快速应用奠定法律基础。”对于健全人工智能安全管理的法律制度，本文提出以下几方面建议：

1. 建议设立新的人工智能监管机构，以全方位的监测风险、引导发展和应对危机。英国政府已经宣布成立多个人工智能专门机构，包括AI委员会、政府AI办公室、数据伦理和创新中心、国家AI研究所，以推动研究和创新，引领人工智能技术的发展。2018年3月，美国众议院提出法案，建议成立“国家人工智能安全委员会”，负责审查人工智能、机器学习的发展和相关技术，以便全面解决国家安全需要，包括经济风险和国防需要。考虑到人工智能发展在一定程度上的不确定性，我国应该设立专门的人工智能发展委员会。这一委员会不仅应该从技术上致力于提高人工智能技术的可解释性、信任度、评估监测等，也应该开展人工智能行为科学和伦理等问题研究，建立多层次的人工智能伦理框架，制定人工智能专门立法规划以及制定人工智能突发事件应急方案。

2. 应该明确禁止发展和应用人工智能的领域。鉴于人工智能的“算法黑箱”可能导致我们无法预测和无法承受的后果，建议建立禁止发展和应用人工智能的“负面清单”。目前讨论最多的就是智能化的自主武器系统和机器人，这种人工智能系统可以在没有人类干预和指定的情况下自主确定并消灭攻击目标。2016年4月，在联合国召集的一个会议上，有94个国家建议根据《特定常规武器公约》讨论是否应该限制致命性自主武器系统；截至2017年11月，已有巴西、乌干达和伊拉克等22个国家禁止完全的自主武器。再比如，是否应该禁止将人工智能用于核威慑领域，是否应该禁止将人工智能用于一些关系到国家命脉的关键信息基础设施等等。建议我国尽早开始研究和确定禁止发展和应用人工智能领域，形成此问题的中国主张，并通过国际公约、双边协定等促进国际共识的达成。确定人工智能应用领域负面清单的重要性不亚于对核武器和生化武器的控制。

3. 应该强化确保整个人工智能生命周期安全的法律制度。鉴于人工智能技术的复杂性和一定的人机交互性，建议强化有关法律制度以确保人工智能整个生命周期的安全可控。对于供应链安全，从产品准入来看，应该建立人工智能系统专用产品认证，可以建立不同于“网络关键设备和网络安全专用产品目录”的专用目录；从产品研发来看，应该提高人工智能产品研发的安全标准，明确标准中必须具备相当的网络安全要求，推动人工智能系统安全认证，构建动态的人工智能研发应用评估评价机制；对于某些用于重要信息系统的人工智能产品或系统，可以建立特定的国家安全审查制度和特殊的定期检测评估制度。对于专门人员的安全，可以建立培训上岗、资格准入、背景审查等制度。此外，还要积极应对有关算法和数据内容的新型犯罪。针对攻击人工智能算法及训练数据的行为，以及人工智能用于伪造网络内容而实施经济诈骗、虚构政治事件等，可以考虑围绕算法和网络内容安全订立新的罪名予以处罚。

4. 增设提高透明度和用户参与性的制度。针对人工智能的不可解释性，一是可以规定提高透明度。比如规定在某些情形下公开人工智能系统或应用的代码，这种公开有时意味着人工智能开发者核心技术的公开，出于利益平衡的考虑，可以考虑通过规定特定的领域或情形公开、事后公开、部分公开、限定公开范围、给予一定补偿等而对人工智能开发者或运营者给予一定的保护。二是可以规定扩大用户的参与性。在很多场景下，实现人工智能技术完全透明是几乎不可能的，但人工智能的决策自动化确实涉及用户的切身利益。此时可以考虑规定扩大用户的参与性，规定受人工智能自动决策影响的用户有权知道人工智能算法背后的基本逻辑或者运算标准，并在因此受到不公正对待时有权获得救济。2017年12月，电气电子工程师协会（IEEE）的自主与智能系统伦理全球倡议项目发布了《人工智能设计的伦理准则》第2版，明确提出“透明和个人权利”，规定“必须允许当事人、其律师和法院可以合理地获取政府和其他国家机关采用这些系统所产生和使用的所有数据和信息”，“公众有权了解是谁通过投资来制定或支持关于这类系统的伦理决策”等。

5. 推动人工智能全球治理共同应对安全挑战。人工智能的快速发展带来的安全问题是全球各国共同面临的重大挑战，我国应当积极倡导人工智能全球治理以应对共同挑战。具体说来，应该坚持安全性、可用性、互操作性、可追溯性原则，积极引导企业、学界和公众等多方主体参与治理，通过研究共性问题加强在人工智能伦理框架、法律法规体系、技术标准体系、行业监管规则等方面的交流合作和国际统一，通过国际条约等明确规定禁止人工智能发展和应用的特定领域，形成全球性的风险控制机制，尤其要避免人工智能技术引发新一轮的军备竞赛，最大限度地减少人工智能的安全隐患，争取早日形成安全可靠、持续发展的人工智能全球治理体系，使人工智能技术创新更好地造福于人类社会。

声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。