由Salesforce、德勤、世界经济论坛(WEF)和英国人工智能办公室组成的协作小组,宣布计划为政府推出采购人工智能系统的指南《AI系统政府采购指南》(《Guidelines for AI Procurement》)。指南为各国政府提供了人工智能的定义和10项建议,以确保公共部门负责任地使用AI。

指南认为,政府应该先定义一个问题,然后留出足够的空间来寻找最佳的AI解决方案;指南敦促政府官员确保自己的采购符合国家AI战略,如果他们所在的国家/地区已有AI战略,则其目标是AI系统与开放许可之间的互操作性,避免被单一供应商锁定。指南还建议政府官员使用可以提供可解释性的AI系统,以便对AI模型如何得出结论进行解释。

文章仅供参考,观点不代表本机构立场。

作者:学术plus高级评论员 张涛

AI政府采购指南势在必行

随着政府机构越来越多地通过AI提供的机会来改善公共服务效率,提供更多更好的服务给公众。AI在改善政府行为、满足公共需求方面有很大的潜力,从交通管理到医疗服务,再到处理税收,处处都有AI的用武之地。但政府在应用最新的AI解决方案方面缺乏经验,许多公共机构在应用这种赋能技术方面时非常谨慎。

因此,发布AI政府采购指南可以带来诸多好处:

首先,政府和公共机构非常关注偏见、隐私、可审计性、透明性和整体复杂度。随着人工智能技术在刑事司法、法律实施等领域的应用引发了一些新的事件。但公民希望从政府处获得与创新的私营企业等相同的创新的服务,鉴于此,政府官员不仅要能识别AI带来的好处,还要了解AI带来的负面后果。如果没有明确的指南来指导如何确保审计性、透明性和可解释性,政府就可能无法满足公众对算法决策过程的监督,并引发新的风险或伤害。

其次,AI采购可以改善政府采购的有效性和效率,包括立法和政策措施,比如框架、模型合同等。良好的政府技术采购原则或许应该更加关注AI采购。比如,许多政府已经开始由多个团队来进行采购。在AI的政府采购方面,应当更加关注多学科研究方法和多样性。

第三,近年来AI在学术研究和应用方面都快速发展。政府对AI技术的应用将不断增加,并带来新的益处和风险。政府现在开始投入来构建负责任地生产AI的实践非常重要。

最后,政府采购规则和实践对市场会有很大的影响,尤其是在开发的早期。目前行业也在就这些技术的标准展开讨论,政府的权威和公信力可以帮助行业设置一个基准。

总的来说,该指南将指导采购流程的所有参与方达到维护公共利益和福祉的最终目标。

十项指南

1、采购流程应关注所面临的问题和机会,而不是特定的解决方案,并支持迭代方法。

a. 创新采购流程

以创新为中心的采购流程为加速AI系统等新技术的采用、促进创新、支持次要政策标准等提供了机会。比如,这些过程支持早期的市场参与,使购买者可以在不同阶段进入市场。这样就有机会在真正购买决策前对该技术在相关问题领域进行测试。

b. 采购时要给出明确的问题描述,而不是解决方案的详细说明

除了能发挥各相关方的优势外,该方法还有2个好处:可以在早期进入市场;可以让新的AI服务提供商参与进来,政府也而不再关注于特定的产品。培育新兴的AI生态系统是未来关键的经济投资。

c. 在产品开发过程中支持迭代方法

AI驱动的解决方案与其他技术在学习和利用新数据来进行训练方面有明显的不同。因此,AI系统的采购过程应该为迭代预留一定的空间,以确保鲁棒的、公平的、透明度评估和决策过程。

英国GovTech Catalyst challenge使用的基于问题的采购流程示意图:

2. 对使用AI对公众的益处进行定义,并评估风险

a. 在RFP中说清楚为什么觉得这个问题和AI相关,同时接受可选的技术方案;

b. 在RFP中解释清楚在评估标书时公共利益是自动决策过程的主要驱动力;

c. 在开始采购过程前进行AI风险和影响评估,确保评估结果通知RFP,并在决策点重新进行评估。

除此之外,在AI解决方案的全生命周期内,从设计到实现后的维护,都要进行系统性和持续性的风险监控。AI解决方案提供商可以通过项目管理功能来识别、草拟解决方案和报告风险。

SDLC(Systems Development Life Cycle,软件生命周期)的不同阶段AI风险评估问题示例如下:

3. 使采购与现有的政府战略一致,并有助于其进一步改进

a. 查阅政府发展规划文件和关于新技术的公共政策指南文件,如AI国家战略、创新战略和工业战略;

b. 与其他相关政府机构和科研院所相互协作和学习。

4. 在RFP中加入相关的潜在立法和行业规则

a. 对管理数据类型和应用类型的相关立法、权利、管理规则和其他规范进行审查,并在RFP中进行引用;

b. 将与AI系统部署相关的适当的机密性、商业密码保护、数据隐私最佳实践考虑进来;根据公共利益需要,可以在保密和保护商业秘密的前提下,在调查过程中,可以通过部分披露、有限的审查选择和其他增强公众信任的手段促进透明度。

5. 阐明访问相关数据的技术和管理可行性。

a. 确保从采购流程开始就有适当的数据管理机制;

b. 评估相关数据对项目是否可用;

c. 定义是否以及如何就采购计划和随后的项目与厂商进行数据共享。

6. 强调数据使用的技术和伦理限制来避免历史数据偏见这样的问题

a. 考虑范围内的数据的敏感性,以及数据使用是否公平;评估不同数据集的隐私需求以确定适当的保护等级。

b. 在RFP中强调对数据的限制,要求投标者描述如何解决这些问题。并为未提到的相关限制提出解决方案;如果政府没有正确的技能或方法来综合检查数据的可能限制,可以提供给厂商关于数据高级状态的指南,以起草适当的提议。保证RFP中数据的需求还包括进行数据质量评价和为低质量的数据提出解决方案。

7. 与不同的、跨学科团队工作

a. 在跨学科的团队中通过采购流程提出想法并进行决策

组成包含设计、采购和操作AI系统的跨学科团队。跨学科的团队应包括AI解决方案要应用的领域的政策、机器学习/数据科学、数据工程、技术、采购、伦理和人权方面的专业人才。确保有多样性的团队。包括来自不同性别、种族、社会和经济背景的成员,还应确保有观点的融合。这可以确保问题和解决方案是来自不同角度的,这样可以帮助解决偏见的问题。

b. 要求中标者组织具有适当技能集的团队;在评标时应当对中标者的团队技能进行评估,并作为评标结果的一部分。

8. 关注采购流程的算法审计和透明性机制

在传统模型中,服务接受者和服务提供者可以就结果或决策进行交互。接受者还可以对决策提出问题或对结果进行挑战。

但在使用神经网络类技术的全自动系统中,服务接受者无法预测结果。因此神经网络这样的算法非常准确,但无法就决策向第三方进行解释。

a. 通过AI解决方案来促进可审计的文化

在一些场景下,应当对服务提供商提出允许对方案进行独立审计的要求。这可以帮助预防或解决一些意外的后果。服务提供商和政府官员应当对AI解决方案的意外后果进行风险分析,并将法律的限制写进合同中来明确各方的责任。

b. 确保AI决策系统尽可能透明,鼓励可解释人工智能(XAI)的使用。要求投标者提供关于模型构建方法的信息等;

c. 通过算法内部和外部的可解释性来作为建立审计和市场竞争的方法。

9. 实现AI服务提供者和收购实体进行成果转让和长期风险评估的过程

a. 在采购过程中要明确采购包括AI在内的工具并非一次性的决定,而要在全生命周期内测试应用

b. 要求AI服务提供者确保成果转让和培训是项目参与的一部分,确保AI解决方案的维护和第三方独立审计。

c. 要求AI服务提供者提供如何管理非专业人员对应用的合理使用的方法

d. 在提出的方案的评估标准中加入伦理的考虑

10. 为AI解决方案提供商创造公平竞争的条件

a. 用多种方式尽可能多地接触AI解决方案提供商;

b. 通过采购流程尽早与厂商建立联系

c. 确保AI解决方案的互操作性,并要求公开许可条款以防厂商锁定(lock-in)

  • 考虑避免厂商锁定的策略,尤其是与黑盒算法相关的那些。具体包括使用开放标准、公开许可条款和公共领域发布条款。

  • 既可以设计新算法,也可以对现有算法进行修改。因此需要考虑知识产权的问题。

  • 为了保持对过时的系统的访问,要确保可以独立于厂商地对AI解决方案进行逆向以维护系统。

报告下载:http://www3.weforum.org/docs/WEF_Guidelines_for_AI_Procurement.pdf

声明:本文来自学术plus,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。