2019年4月，麦肯锡发布《应对人工智能的风险》的研究报告。报告分析了可能引发人工智能风险的五个驱动因素，并指出应对风险的三个原则。
（一） 风险的驱动因素
一是数据方面的问题。随着来源于网络、社交媒体、移动设备、传感器和物联网等方面的非结构化数据越来越多，使得对数据的摄取、分类、链接和正确使用变得愈发困难。这就很容易引发相关风险，如无意中使用或者泄露了隐藏在匿名数据中的敏感信息。
二是技术方面的问题。运营环境中的技术和流程问题可能会对人工智能系统的性能产生负面影响。例如，当一家重要金融机构的合规软件未能发现交易问题时，就可能导致数据反馈不再包含所有客户的交易信息。
三是安全方面的问题。企业收集的看似非敏感的营销、健康和财务数据，可能会被不法分子用来为人工智能系统提供支撑。如果企业的安全防范措施不到位，这些信息将可能被整合在一起创建虚假身份。对于上述情况，尽管相关的企业（可能在保护个人身份信息方面非常有效）是不知情的，但仍然可能遭受消费者的反对和监管机构的监管。
四是模型方面的问题。当人工智能输出有偏见性的结果、变得不稳定或者得出其他一些明显不合理的结论时，可能是人工智能模型本身存在问题（如用于训练模型时的数据不具有代表性）。此外，当人工智能模型嵌在软件即服务（SaaS）的产品中时，模型方面的问题更难发现。因为服务提供者在引入新的智能功能时，通常不会大肆宣传还引入了可以与系统中的用户数据进行交互的模型（该模型可能导致意外风险，包括引起黑客可利用的隐藏漏洞等）。
五是人机交互方面的问题。人与机器之间的交互是一个关键的风险因素。其中，自动化运输、制造业和基础设施系统面临的挑战最为明显。例如当重型设备、车辆或其他机械的操作员注意力不集中时，其便无法准确、及时地接管设备，这就很容易引发事故和伤害。但即便是人为判断，也可能发生错误。因此，如果没有严格的内部管理措施，存在恶意的员工或者不法分子可能破坏算法或者以恶意的方式使用人工智能应用程序。
（二）风险的应对原则
清晰—使用结构化识别方法来确定最紧要的风险。
报告介绍了欧洲银行确定最紧要风险的经验。首先，该银行的首席运营官召集了业务部门、IT部门、安全和风险管理部门的负责人，评估确定银行现有的最大风险。在对现有风险有清晰认识的基础上，再考虑应用人工智能后将如何加剧这些风险，以及人工智能的推动者或者人工智能本身可能带来的新的风险。通过这种结构化风险识别流程，欧洲银行明确了哪些风险是最令人担忧的，从而优先应对这些风险。
综合——健全的企业内部管理。
要在企业整体层面来指导人工智能系统的开发和应用，开展适当的监督，并制定强有力的政策、程序、员工培训和应急计划。报告介绍了欧洲银行内部的一系列管理措施。包括：对如何使用以及在何处使用机器来作出对客户有影响的决定进行详细说明；对人工智能模型实施特定管理（如在模型开发的整个周期中始终记录模型代码、培训数据和所选参数）；要求所有利益相关者（包括赞助商）进行情景规划并制定应急预案，以应对人工智能模型性能漂移、数据输入移位或突然变化等灾难；加强业务及法规方面的员工培训（全面向员工告知银行为确保公平、准确决策和保护客户数据采取了哪些措施来，以及银行的治理框架、自动化技术和开发工具是如何协同工作的）；监督小组开展定期审查，以掌握由于监管变化、行业发展、法律调整、不断发展的消费者期望以及快速变化的技术所带来的新的风险。
细节——根据风险的性质加强有针对性的管控。
企业整体层面的管控措施非常重要，但不足以应对各种可能的风险。因此，还需要考虑因算法复杂性、数据要求以及人工智能嵌入到业务流程的程度等方面存在的差异，有针对性地采取管控措施。比如，企业在为某些特定用户提供服务时，有针对性地不使用太过复杂的机器学习模型，这虽然会在一定程度上降低预测能力而导致成本增加，但简单的模型也更容易发现因用户行为或数据变量的变化而引发的数据和模型本身的偏差，从而有效地平衡风险和收益。
报告最后还提出：人工智能还面临很多潜在的风险，如创新与风险之间的平衡、对意想不到的情况实施管控等，需要企业、个人和社会的广泛关注。尽管目前舆论和监管部门对于人工智能的反应已经相对缓和，但如果有更多的机构出现问题，这种情况可能会发生转变。此外，关于人工智能的伦理规范以及限制人工智能使用的界限也迫切地需要进行探讨。
作者简介：贾宝国，中国信息通信研究院互联网法律研究中心研究员
声明：本文来自CAICT互联网法律研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
