编者按：4月4日，刚刚成立9天的谷歌先进技术外部咨询委员会（ATEAC）宣布解散。这一被视为“AI伦理委员会”的机构是谷歌公司探讨AI伦理问题的有益尝试，但因为部分成员的背景问题，最终出生即夭折。这表明，如今算法治理面临的不仅仅是技术上的挑战。那么，在人工智能背景下，应该如何创新算法治理、推动算法向善？本期腾研识者贾开审时度势、深入分析，并给出三条建议，力图保持算法治理的创新性与时代价值。

  • 作者 | 电子科技大学公共管理学院讲师 贾开

2017年9月，《人民日报》连发三篇评论，对基于算法而向用户自动推荐个性化内容的互联网业态提出了批评。眼球经济导致推荐内容的低俗性、虚假性，片面强化用户偏见与喜好而使得整个社会可能陷入“信息茧房”的极端性，一味迎合用户而使得智能平台走向媚俗化并最终可能阻碍创新的危险性，共同构成了对于当前正蓬勃发展的算法推荐相关业态的深刻反思。

事实上，不仅仅是算法推荐，我们日益生活在一个“算法社会”之中。搜索引擎对于用户搜索内容的排序算法，商业银行对于贷款申请者的还款风险评估算法，机场车站对于大规模人群的特征识别算法，都是已经被普遍使用并深刻影响我们日常生活的典型案例。

由此引发的问题在于，对于伴随技术发展而出现的新业态，《人民日报》的警示性评论是否预示着算法在极大提高人类社会运行效率的同时，也会带来普遍性的治理挑战？更具体的，算法治理究竟是指什么？面对当前挑战，我们又该如何推进治理机制的创新以应对这种变化，尤其是如何通过公共政策框架的重构以平衡发展与规制的二元关系？这便构成了本文所要讨论的三个问题。

一、AI时代，算法治理扮演什么新角色？

虽然“算法”这一概念在现实生活中耳熟能详，但其定义在学界却并没有形成高度共识。不同理解的差异源于“算法”本身在事实上的模糊性与复杂性。一方面，算法被认为无处不在，其在不同场景下管理、分类、约束乃至决定整个社会的运行；但另一方面，算法却往往被描述为高深莫测或难以捉摸，我们并不能明确界定一个实体对象或工作流程来解释算法的运行。在佐治亚理工学院教授伯格斯特看来，算法就像“黑洞”，我们能清晰感受到它的影响但却并不能对其内部一窥究竟。

正因为此，试图对算法做出一般性的定义不仅困难，也是一个不可能完成的任务；而不同学科按照各自的理解与兴趣对算法的不同侧面展开研究则可能是更为实际的途径。沿袭这一思路，本文重点关注算法影响社会运行的规则属性，并试图从规则的形成与应用出发，探究算法影响社会运行的机制与过程。在此视域下，算法治理的对象将不仅聚焦作为其载体和结果的计算机代码，而同时包含影响这一载体和结果形成的所有相关因素，尤其是人工智能第三次浪潮背景下大数据的影响。

就算法的规则属性来看，莱辛格教授提出的“代码即法律”无疑是研究的起点。在莱辛格教授看来，“代码即法律”的意义在于回应了网络自由主义者对于“网络乌托邦”的想象，指出网络空间虽然能够避免政府干涉，但其却被置于市场主体这只“看不见的手”的完美控制之下，而后者正是通过算法来塑造网络空间的运行规则并进而对人类社会产生影响。

莱辛格教授的洞察开启了社会科学对于算法的研究兴趣，不过伴随着技术演化与业态发展的进程，算法本身的生产过程，及其对于人类社会的影响机制与结果都发生了巨大变化。就前者而言，在以机器学习为代表的第三次人工智能浪潮兴起的背景下，算法不再仅由商业公司（甚至不由人类）所生产并控制，算法的自我生产能力决定了其作为“规则”的复杂性；就后者而言，网络空间与现实空间的不断融合使得线上线下的边界逐渐模糊，原本局限于网络空间的算法规则开始对现实空间产生越来越多的影响。

上述两方面转变的重要性可从“波兰尼悖论”中得到更清晰的体现。迈克尔·波兰尼曾指出，“人类知道的远比其能表达出来的更多”。事实上，我们虽然能很容易记住一张面孔、辨别一个声音，但却并不能很好地阐述或解释我们为什么可以实现这一功能。在第三次人工智能浪潮兴起之前，传统算法的生产过程实际上就是人类表达自身的过程。对于传统算法而言,其往往需要设计者明确某项工作的实现流程并事无巨细地规定好计算机在给定条件下的给定动作。

“波兰尼悖论”在指出人类表达能力缺陷的同时，也指出了传统算法生产过程的局限。但以机器学习为代表的第三次人工智能浪潮的兴起，则突破了“波兰尼悖论”的束缚，机器学习算法可以通过基于大数据的自我训练、自我学习过程完成参数调整与模型构建，也即完成算法的自我生产过程。尽管人类仍然参与其中，但机器学习算法已然摆脱了需要依赖人类表达能力的局限，从而极大地提升了算法能力并扩展了其应用范围。

网景公司创始人马克·安德森2011年曾在《华尔街日报》上发表文章，描述了各个产业朝向数字化转型且其生产与服务过程被广泛嵌入软件的趋势，他将这一变化称之为“软件正在吞噬世界”。机器学习算法对于“波兰尼悖论”的突破，将加速这一进程的发生，最终使得“软件吞噬世界”成为更快到来的现实。算法作为社会运行的基础规则将由此扮演更为重要的作用，算法治理研究在此背景下才凸显其时代意义。

二、治理新议题：不可解释隐忧、自我实现困境与主体性难题

既然将算法治理置于以机器学习为代表的第三次人工智能发展浪潮的背景下，那么自然地，机器学习算法本身的原理与性质自然也会影响到算法的应用，并可能在其应用过程中带来风险。一般而言，当前最普遍应用的机器学习算法是建立在对于已标注人类知识的大数据集的训练基础上，由此形成由该大数据集若干共性特征所组成的规则集，进而被用于模式识别、信息预测、数据生成等各个领域。不过正因为此，我们同样不难发现机器学习算法的应用局限性，其至少体现在以下三点：[1]

首先，机器学习算法对于规则集的归纳依赖于预先界定的明确的输入数据、输出结果和评价指标，因而其更适用于具有明确任务界定的应用环境，但却很难被应用于不具有明确目标或者工作产出绩效不明确的人类活动之中。

再者，机器学习算法对于规则集的归纳，更多建立在对于输入大数据集的相关性分析基础上，而非直接建立不同变量之间的因果联系，因而其更适用于能够接受一定误差且满足“一秒反应原则”[2]的工作，但却无法处理依赖大量背景知识并要求较长逻辑推理链条的环境。

第三，机器学习算法在客观上要求输入大数据集与其应用环境具有概率上的分布一致性，否则算法基于输入大数据集所归纳出的特征“规则集”将很快过时，并因而难以指导对于当前和未来的预测或分析，这一特性在剧烈变动的环境中体现的尤为明显。

正是因为局限性的存在，当我们将算法普遍应用于人类社会不同领域时，便必然会带来诸多治理挑战，而这又具体表现为不可解释隐忧、自我实现困境与主体性难题这三个方面。

首先，不可解释隐忧主要关注算法因其生产和应用过程不能为人所理解而可能带来的算法黑箱、不可监督、难以追责等治理议题。需要注意的是，算法的不可解释性并非完全因为其作为商业秘密而受到公司或个人的刻意隐瞒，更深刻的原因一方面在于算法本身的复杂性，即使其设计者也很难清楚解释整个算法的运行过程；而另一方面则在于第三次人工智能浪潮背景下机器学习算法本身相对于人类表达能力的脱离，不仅其基于大数据集的自我学习、自我训练过程不为人所知，甚至是其最终形成的规则集也往往不能转换为可为人所理解的自然语言。

如果算法本身是完美的，那么因不可解释隐忧所导致的治理问题便也不足为惧；不过恰恰相反的是，经验性结论却表明算法永远都存在漏洞和缺陷。面对这样的潜在风险，由于不可解释隐忧的存在，我们并不能将相关责任完全置于算法设计者身上，这便自然带来监督与问责的难题。尤其是当将算法应用于公共决策领域之时，监督与问责机制的缺失将使得不可解释隐忧可能导致决策错误的风险变得不可接受，而这也将自然阻碍技术的发展与应用。

第二，自我强化困境聚焦算法因依赖大数据学习过程而可能出现的固化、偏差、歧视等治理议题。算法基于“大数据集”而通过自我训练、自我学习以形成“规则集”的过程，实质上是对于过往人类社会模式特征的总结并将其用于对于未来社会的感知与决策，这在提高人类社会运行效率的同时，也将不可避免地复制并延续当前社会的既有格局与特征，从而不利于变革与创新的发生。后者便被称为算法的“自我强化困境”。

与此相关的治理议题又可进一步细化为三种类型。首先，算法对于人类行为特征的精准识别在有利于为不同个体提供差异化、个性化服务的同时，也将强化个人偏好并甚至可能催化极端倾向。再者，人类社会的不确定性与复杂性在客观上决定了“大数据集”的不完备性，数据缺失导致算法所形成“规则集”的偏差将可能进一步强化既有的社会不公现象。事实上，人类社会既有的“数据鸿沟”现实可能导致部分人群的数据缺失，并因此使得他们进一步被隔离在“算法社会”之外。最后，机器学习算法基于社会整体“大数据集”而形成“规则集”并应用于具体场景的过程，暗含着以整体特征推断个体行为的基本逻辑，这便可能造成“算法歧视”问题，特别是在将算法应用于决策领域时其潜在风险尤甚。需要强调的是，算法歧视的严重后果还不仅止于此，它甚至可能造成“自我实现”的恶性循环。当一个最初没有高犯罪风险的黑人受到“算法歧视评估”并因而遭受错判时，其很可能因此对社会产生敌意并最终走上犯罪道路，从而反过来证明算法最初评估的“正确性”。

第三，主体性难题涉及算法作为人类社会运行规则而在一定应用场景下替代人类行为所引发的治理议题。

长久以来，围绕“算法（尤其以搜索引擎的排序算法为代表）是否应受言论自由保护”的激烈争论便是此类议题的集中体现。如果说对于传统算法而言，我们还可以将其类比为报纸并假定其背后是人类思想的表达（报纸编辑可被视为人类思想的表达）；那么对于第三次人工智能浪潮背景下的机器学习算法而言，算法的自我生产能力已经使得这种假设不再成立。机器学习算法基于大规模数据集形成的“规则集”并不依赖于人类的表达能力，这样的技术突破不仅意味着人类行为自动化程度的又一次提升，也反映了算法生产过程及其应用结果与人类行为本身的分离。考虑到传统治理体系都是以人类行为因果关系作为制度基础，机器学习算法的成熟与普及将不可避免地带来算法治理的主体性难题。

三、当未来已来，如何创新算法治理？

在兼顾发展的前提下，如何有效控制治理风险成为算法治理相关公共政策创新的主要内容。考虑到人工智能背景下算法的普及应用尚未完全铺开，相关的政策建议还不能细致到具体领域，而更多应着眼于宏观环境的引导与塑造。本文提出三方面建议。

首先，要加快普及人工智能认知教育，使人们能够科学认识算法应用带来的可能进步及潜在风险，在避免盲目乐观的同时形成客观预期，以减少技术发展及应用过程中的不必要障碍，并同时促进应对治理挑战的相关政策创新。尽管存在诸多风险与挑战，我们仍然要认识到人工智能背景下，算法的普及应用对于人类社会整体的福利提升。例如相关研究表明，基于算法的自动承保系统比人工审核能够更准确地预测违约，并因而在此基础上可以帮助往常难以被纳入金融服务体系的贷款申请人提高借款批准率[3]。

正因为此，重要的或许不是要求算法在应用过程中不能存在任何的偏差或歧视，而是以更为实际的态度评估其是否相比于当前社会运行机制有所提升。事实上，考虑到算法的不可解释隐忧问题，算法的设计者、使用者往往也并不清楚算法偏差或算法歧视的存在；在此情况下，更有效的治理方式并非片面地要求算法本身的透明与公开，而是调动利益相关方的积极性，从算法被影响者的角度观察、考量算法的应用结果。实现后者的前提便需要公众对于人工智能认知的提升乃至普及。

再者，要加强算法伦理的讨论与研究，推进自然科学领域与社会科学领域相关专家的对话与交流，并围绕算法的开发与应用共同起草、形成具有约束力的伦理指导原则。算法应用过程中所引发的治理挑战当前还处于发展阶段，在具体政策体系尚不完善的情况下，通过算法伦理的引导有助于在不限制技术发展可能性的同时缓和并控制相关风险。2017年1月，美国计算机协会专门发布了算法治理伦理原则，涵盖利益相关者责任、救济机制、算法使用机构责任、鼓励可解释算法研发、数据治理、算法审查要求、实时检查责任等七个方面。尽管在这些伦理原则的指导下，要求建立算法审查制度或算法正当程序制度的政策提案尚未获得共识，但伦理原则的形成与宣传仍然有助于促进相关研究者重视算法研究及应用过程中的潜在风险，并共同探索相应的治理措施。

最后，要根据算法应用的成熟程度及其影响的范围大小，以不超过其当前发展水平及未来发展可能性的客观理念，分领域、分优先级地制定相关公共政策。在人工智能第三次浪潮的影响下，公共管理领域当前围绕人工智能及算法治理相关政策的讨论虽然同样注意到了潜在的风险与挑战，但多是以对未来充满乐观想象的态度提出假设式、前瞻式的政策建议。不过正如本文对于机器学习算法基本原理的阐述所揭示的，其应用本身存在多方面的局限性，因而在可预见的未来中其仍然仅能在某些特定领域中得到广泛应用；而如果考虑到某些领域的应用还需要人类制度的剧烈变革，那么在短时间内，机器学习算法的应用范围可能将更为有限。

举例而言，自动驾驶汽车的广泛应用不仅需要技术的成熟，同时还需要交通法规、归责机制、保险条例等一系列社会制度的同步变革；相比之下，在机场、车站使用人脸识别算法替代人工以作为身份验证方式的应用场景，将更为迅速地普及开来。后者可能引发的风险与挑战自然应该成为当前政策的关注重心。正因为此，分领域、分优先级地围绕算法的不同应用开展政策研究并制定相关治理政策，可能是更为现实、也更为有效的公共政策创新思路。

本文为删减版，全文发表于《中国行政管理》2019年第1期。

参考文献：

1.Brynjolfsson, E., & Mitchell, T. (2017). What can machine learning do? Workforce implications. Science, 358(6370), 1530-1534.

2.LeCun, Y. 2018. Learning World Models: the Next Step towards AI. IJCAI.

3.Gates, S. W., Perry, V. G., & Zorn, P. M. (2002). Automated underwriting in mortgage lending: good news for the underserved?. Housing Policy Debate, 13(2), 369-391.

声明：本文来自腾讯研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。