前言
作为全球首部全面规范人工智能技术的综合性立法,欧盟《人工智能法案》(Artificial Intelligence Act)自2024年8月1日起生效并分阶段实施。
法案生效一年来,欧盟委员会及相关机构陆续发布了一系列配套文件,包括法案实施时间表、《关于人工智能系统定义的指南》、《关于禁止的人工智能实践指南》以及《通用目的人工智能模型提供者义务范围指南》等,以更好推动法案的实施与落地。
本文旨在系统梳理欧盟《人工智能法案》的最新实施动态,并介绍关键指南文件的核心内容。通过分析法案的落地进程,我们希望帮助企业更好地把握欧盟人工智能监管方向和实施要求。
01
欧盟《人工智能法案》实施时间表
02
关于人工智能系统定义的指南
《人工智能法案》适用于人工智能系统,该法案对人工智能系统的定义为:被设计用于以不同程度的自主性运行,并可能在部署后表现出适应性的机器系统,且为了明确或隐含的目标,根据其接收的输入推断如何生成可以影响物理或虚拟环境的输出,如预测、内容、推荐或决策[11]。
2025年2月6日,欧盟委员会发布了《关于人工智能系统定义的指南》[12](Guidelines on the definition of an artificial intelligence system,以下简称“AI System Guidelines”),旨在为《人工智能法案》中人工智能系统的定义提供解释和指导。该指南由欧盟委员会制定,参考了利益相关者咨询和欧洲人工智能委员会的反馈意见,但其性质为非约束性文件,对人工智能系统的最终解释权仍归欧盟法院(CJEU)[13]。
AI System Guidelines的主要内容包括人工智能系统的构成要素,以及明确不属于人工智能系统的情形,以帮助相关方判断其系统是否属于《人工智能法案》的监管范围。鉴于人工智能技术的快速发展,AI System Guidelines强调,无法穷尽列举所有可能的人工智能系统,在明确定义“人工智能系统”概念的同时,需结合每个系统的具体特性进行分析和判断,避免机械套用定义[14]。
1. 人工智能系统的要素
AI System Guidelines围绕《人工智能法案》第3条第1款对“人工智能系统”的定义展开,详细阐述了人工智能系统定义的以下七个核心要素:
(1)基于机器的系统(Machine-based system)
人工智能系统的第一个要素是其属于“基于机器的系统”。“基于机器的系统”是指人工智能系统由硬件和软件组成的机器开发并在机器运行。硬件包括处理器、内存、存储设备、联网单元、输入/输出接口等机器的物理组件,用于提供计算的基础设施;软件则涵盖计算机代码、指令、程序、操作系统和应用程序,负责处理硬件如何处理数据并执行任务[15]。所有人工智能系统都是基于机器的,因为需要机器来实现其功能,先进人工智能系统的整个生命周期都依赖于机器[16]。无论是传统计算机、量子计算系统,还是具有计算能力的生物或有机系统,只要满足“基于机器”的条件,均可能属于人工智能系统[17]。
(2)自主性(Autonomy)
人工智能系统的第二个要素是其需被设计为具有不同程度的自主性。《人工智能法案》序言第12段明确“不同程度的自主性”意味着人工智能系统被设计为具有一定程度的行动独立性,能够在无需人工干预的情况下运行[18]。自主性和推理能力密不可分,人工智能系统的推理能力是实现其自主性的关键[19]。具备一定程度的自主性是一个系统被认定为人工智能系统的必要条件——完全依赖人工直接或间接手动操作的系统则不属于人工智能系统[20]。所有被设计为操作具有一定程度的行动独立性的系统都满足人工智能系统定义中对自主性的要求[21]。
(3)适应性(Adaptiveness)
人工智能系统的第三个要素是其在部署后可能具备适应性。《人工智能法案》序言第12段明确,适应性指人工智能系统在部署后可能具备自我学习能力,使其行为能够根据使用情况发生变化[22]。但“可能”一词说明,适应性并非构成人工智能系统的必要条件,不具备适应性的系统仍可能被认定为人工智能系统[23]。
(4)人工智能系统目标(AI system objectives)
人工智能系统的第四个要素是其被设计为根据一个或多个目标来运行。这些目标可分为显性目标和隐性目标:显性目标是指开发者直接编码到系统中的明确目标,如优化成本函数或累积奖励;隐性目标则是未明确定义但可从系统行为或训练数据中推导出的目标[24]。
AI System Guidelines特别区分了“系统目标”与“预期用途”(intended purpose):前者是系统内部要实现的功能性目标(如高准确率回答问题),后者则是系统在特定场景中的外部应用目的(如辅助某部门完成特定任务)[25]。
(5)使用人工智能技术推理出如何生成输出(Inferencing how to generate outputs using AI techniques)
人工智能系统的第五个要素是其必须能够通过输入的信息推理出如何生成输出,这是区分人工智能系统与其他系统的关键要素[26]。通过输入的信息推理出如何生成输出一方面指人工智能系统在“使用阶段”基于输入生成输出的能力,另一方面指在系统的“构建阶段”通过相关人工智能技术实现推理,从而生成输出结果。
《人工智能法案》序言第12段明确在构建人工智能系统时实现推理的人工智能技术包括机器学习方法,这些方法通过从数据中学习来实现特定目标;以及基于逻辑和知识的方法,这些方法通过对任务的编码知识或符号表示进行推理来解决问题。
AI System Guidelines进一步明确机器学习方法又分为:(1)监督学习(supervised learning;利用标记过的数据学习;应用包括垃圾邮件过滤系统、图片分类系统、诈骗监测系统);(2)无监督学习(unsupervised learning;利用无标记数据自我学习,应用包括药物发现、预测疾病的新型治疗方案),其中又包括自监督学习(self-supervised learning;AI在监督下利用无标记数据学习,应用包括语言模型预测);(3)强化学习(reinforced learning;AI通过奖励机制从自身经验收集的数据中学习,应用包括机器人控制、搜索引擎个性化推荐、自动驾驶技术);和(4)深度学习(deep learning;采用分层架构(神经网络)进行学习,能够从大量原始数据中自动学习特征)[27]。
(6)系统输出可影响物理或虚拟环境(Outputs that can influence physical or virtual environments)
人工智能系统的第六个要素是其能够生成可影响物理或虚拟环境的输出。这些输出分为预测、内容、推荐或决策这四大类型,其对人类介入的需求依次递减,而对于物理或虚拟环境的影响程度依次递增[28]:
预测:基于输入数据估算未知量值,如自动驾驶汽车对环境变化的实时预测;
内容:文本/图像/视频/音乐等创造性输出;
推荐:个性化行动/产品/服务推荐,也可转化为决策;以及
决策:输出结论或选择,自动化替代人类判断(如自动审批系统)。
人工智能系统与非人工智能系统在生成预测、内容、推荐和决策等输出方面存在差异。由于人工智能系统能够处理数据中的复杂关系和模式,其通常能够生成比非人工智能系统更细致的输出[29]。
(7)与环境互动(Interaction with the environment)
人工智能系统的第七个要素是其输出需能主动影响物理环境或虚拟环境。这一要素强调人工智能系统不是被动的,而是积极地影响其被部署的环境。“物理或虚拟环境”是指人工智能系统的影响既可以是有形的物理对象(例如机器人手臂),也可以是虚拟环境,包括数字空间、数据流和软件生态系统。[30]
2. 不属于人工智能系统的情形
AI System Guidelines明确以下系统不属于“人工智能系统”:
(1)改进数学优化的系统(Systems for improving mathematical optimization)[31]
此类系统虽然具备一定推理能力,但未超出基本数据处理的范畴,例如:
通过机器学习加速传统物理模拟的系统(如气象预测模型);
卫星通信中优化带宽分配的模型。
这些系统仅提升计算效率,不具备自主调整决策模型的智能能力。
(2)基本数据处理(Basic data processing)[32]
此类系统完全依赖预设规则,在整个生命周期无学习或推理能力,也未使用任何人工智能技术,例如:
数据库管理系统(如按条件筛选客户数据);
统计软件(如销售数据可视化工具)。
(3)基于经典启发式算法的系统(Systems based on classical heuristics)[33]
经典的启发式算法是一种问题解决技术,它依赖于基于经验的方法来有效地找到近似的解决方案。基于经典启发式算法的类系统采用预定义的规则系统或试错策略,依赖模式识别而非数据驱动学习,常适用于因时间或资源受限而无法找到精确解决方案的情形,例如国际象棋程序使用的极大极小(minimax)算法。
(4)简单预测系统(Simple prediction systems)[34]
此类系统仅通过基础统计规则(如历史平均值)生成预测,例如:
股票价格基线预测(始终预测历史平均价);
商店日销量预测(采用过去销售均值)。
03
《关于禁止的人工智能实践指南》
《人工智能法案》采取了风险分级管理的监管思路,将人工智能系统分为禁止的人工智能系统、高风险人工智能系统、有限风险人工智能系统和最小风险人工智能系统四个级别,分别施以不同的监管要求(具体监管要求详见欧盟《人工智能法案》对中国企业出海的影响一文)。其中,禁止的人工智能系统因对基本权利及欧盟价值观构成不可接受风险而被禁止[35],相关规定已于2025年2月2日起开始实施[36]。
《人工智能法案》规定,欧盟委员会应制定关于禁止的人工智能实践的实施指南[37]。2025年2月4日,欧盟委员会正式发布《关于禁止的人工智能实践指南》(Guidelines on Prohibited Artificial Intelligence Practices,以下简称“Prohibited AI Guidelines”),旨在进一步解释《人工智能法案》第5条关于禁止的人工智能系统的相关规定[38]。该指南不具有法律约束力,对禁止的人工智能实践的最终解释权仍归欧盟法院(CJEU)。指南所载示例仅具指导性,《人工智能法案》第5条的适用需充分考虑具体情形,并遵循个案评估原则[39]。
1. 整体适用
(1)禁止的人工智能系统总览
《关于禁止的人工智能实践指南》在《人工智能法案》第5条的基础上,细化列举了八类禁止的人工智能系统,包括:(1)有害操纵和欺骗类(Harmful manipulation, and Deception);(2)对脆弱性的有害利用类(Harmful Exploitation of Vulnerabilities);(3)社会评分类(Social Scoring);(4)个人刑事犯罪风险评估和预测类(Individual Criminal Offence Risk Assessment and Prediction);(5)非定向抓取构建人脸数据库类(Untargeted Scraping to Develop Facial Recognition Databases);(6)情绪识别(Emotion Recognition);(7)生物特征分类(Biometric Categorisation);(8)实时远程生物识别类(Real-time Remote Biometric Identification)[40]。我们将在下文展开逐一分析八种禁止的人工智能系统的具体含义,主要构成要件等内容。
(2)排除适用的情形
《人工智能法案》第2条规定了若干排除适用《人工智能法案》的情形。《关于禁止的人工智能实践指南》对该等排除适用情形进行了细化[41],包括:
1)国家安全、国防和军事目的
《人工智能法案》在任何情况下均不影响成员国在国家安全事务上的权限。如果人工智能系统是专门用于军事、国防或国家安全目的而投放市场、投入使用的,则其不在《人工智能法案》的适用范围内[42]。
2)与第三国进行司法和执法合作
对于第三国的公共机构或国际组织在与欧盟或某个成员国进行执法和司法合作的过程中使用的人工智能系统,若该等人工智能系统能够为个人基本权利和自由提供足够保障,则该人工智能系统不属于《人工智能法案》的适用范围[43]。
3)研发活动
《人工智能法案》不适用于人工智能系统或模型在投放市场或投入服务之前的任何研究、测试或开发活动,亦不适用于专为科学研究和发展目的而开发和投入服务的人工智能系统或模型[44]。
4)个人非专业活动
《人工智能法案》中针对部署者的义务不适用于个人在纯粹个人非专业活动中使用人工智能系统的情形。个人定期获取经济利益或从事专业、商业、贸易、职业或自由职业的活动,均应视为专业活动,因此不适用该项排除情形。该排除情形亦不适用于犯罪行为,因其不属于纯粹个人活动范畴[45]。
5)开源许可下发布的人工智能系统
开源许可下的人工智能系统通常不受《人工智能法案》约束,但若该等系统构成禁止的人工智能系统,则不能适用此排除适用条款[46]。
2. 禁止的人工智能系统具体介绍
(1)有害操纵和欺骗类及对脆弱性的有害利用类
1)含义及目的
被禁止的有害操纵和欺骗类人工智能系统,是指部署超出个人意识范畴的潜意识技术或故意采用操纵性或欺骗性技术的人工智能系统,其目的或效果在于扭曲行为,导致或可能合理导致重大伤害[47];
对脆弱性的有害利用类系统,是指利用因年龄、残疾或特定社会经济处境导致的脆弱性的人工智能系统,其目的或效果在于扭曲行为,导致或可能合理导致重大伤害[48];
禁止上述两类人工智能系统,目的在于保护个人及弱势群体免受人工智能的操纵和利用行为所造成的重大伤害(包括但不限于对个人自主权、决策能力和自由选择权的伤害)[49]。
2)主要构成要件
有害操纵和欺骗类与对脆弱性的有害利用类人工智能系统的构成要件较为类似,两者的构成要件一与构成要件四一致,仅在构成要件二和构成要件三上有差异[50]:
构成要件一:人工智能系统被“投放市场”、“投入服务”或“使用”;
“投放市场”是指首次在欧盟市场提供人工智能系统供使用,提供是指在商业活动中为在欧盟市场销售或使用而供应系统,无论是否收取费用,也无论通过何种方式供应系统[51];
“投入服务”指向部署者首次提供人工智能系统供其使用,或在欧盟境内用于自身预定目的,包括向第三方首次提供使用的情形,也涵盖内部开发及部署行为[52];
“使用”应做广义理解,涵盖系统投放市场或投入服务后生命周期内任何时点的使用或部署行为,也包括将人工智能系统整合至使用者的服务流程中(包括作为更复杂系统、流程及基础设施组成部分的情形)[53];
构成要件二:有害操纵和欺骗类人工智能系统必须使用超出个人意识范畴的潜意识技术或故意采用操纵性或欺骗性技术;对脆弱性的有害利用类系统必须利用因年龄、残疾或社会经济状况产生的脆弱性[54];
构成要件三:人工智能系统所采用的技术应以实质性地扭曲个人或群体行为为目的或产生此类效果。此外,有害操纵和欺骗类系统额外要求这种影响必须显著削弱个人或群体的知情决策能力,导致其作出原本不会作出的决定,对脆弱性的有害利用类系统则不需包括“显著削弱知情决策能力”这一要求[55];以及
构成要件四:被扭曲的行为必须导致或可能合理导致对该个人、其他人或群体的重大伤害。同时,所采用的技术对行为的实质性影响与已造成或可能合理造成的重大损害之间需存在合理因果关系[56]。
3)排除范围
根据《人工智能法》第5条第(1)款第(a)项和第(b)项的规定,要适用这些禁止性规定,必须满足相关条款中列出的所有条件,所有不符合这些条件的其他人工智能系统均不在这些禁止性规定的适用范围之内,以下是一些具体例子[57]:
a)采取合法说服技术的人工智能系统
采取合法说服技术的人工智能系统以透明的方式开展并尊重个人的自主权,其涉及以一种既能诉诸理性又能触动情感的方式呈现论点或信息,同时解释人工智能系统的目标和运作方式,提供相关且准确的信息以确保决策的明智性,并支持个人对信息进行评估并做出自由且自主的选择[58]。
b)不太可能造成重大伤害的操纵性、欺骗性及利用性人工智能系统
有害操纵和欺骗类系统以及对脆弱性的有害利用类系统禁止适用的核心前提是:人工智能系统的操纵及脆弱性剥削行为必须导致或可能合理导致重大损害。原则上,所有不具备显著危害可能性的操纵性、欺骗性及剥削性人工智能应用均不在此禁止范畴内,但不影响其他适用的欧盟法律的效力。
(2)社会评分类
1)含义和目标
被禁止的社会评分类人工智能系统是指基于社会行为或个人或个性特征对个人或群体进行评价或分类的人工智能系统,当数据来源于不相关社会情境或该等处理方式与社会行为不相称或不合理时,该等社会评分将导致对个人或群体的有害或不利待遇[59]。
实施社会评分的人工智能系统可能导致对特定个体和群体的歧视性、不公正对待,包括被排斥于社会之外,以及实施有违欧盟价值观的社会控制与监控行为。禁止社会评分类人工智能系统旨在保护人格尊严及其他基本权利(包括但不限于不受歧视的权利、平等权、数据保护权等)[60]。
2)主要构成要件
a)人工智能系统被“投放市场”、“投入服务”或“使用”;
b)该人工智能系统必须旨在或用于在一定时期内对个人或群体基于以下要素进行评估或分类:
其社会行为;或
已知、推断或预测的个人或个性特征;以及
c)人工智能系统辅助生成的社会评分必须在以下一种或多种情形中导致或可能导致对个人或群体的有害或不利待遇:
在与数据最初生成或收集场景无关的社会情境中;
处理方式与其社会行为或其严重程度不相称或不合理,处理方式与社会评分之间需有因果关系[61]。
需要注意的是,无论社会评分类人工智能系统由公共机构还是私人实体提供或使用,只要符合以上构成要件,都是被禁止的。[62]
3)排除范围
以下情形不属于被禁止的社会评分场景:
a)针对法律实体的社会评分,该等评分不基于个人的社会行为或个人或个性特征;
b)用户对服务质量的个人评分;
c)根据欧盟和成员国法律,为特定目的对自然人进行的合法评估实践,例如信用评分、风险评分、保险核保、提升服务质量和效率、优化理赔流程、特定员工评估、欺诈防控和监测、执法,前提是使用该评分导致的任何有害或不利待遇均与社会行为严重程度相称并具有正当理由。[63]
(3)个人刑事犯罪风险评估和预测类
1)含义和目标
被禁止的个人刑事犯罪风险评估和预测类系统是指仅通过个人画像或性格特征评估或预测个体犯罪风险的人工智能系统,但不包括基于与犯罪活动直接相关的客观且可验证的事实对人工评估提供支持的人工智能系统(该等系统属于高风险人工智能系统)[64]。
该等禁止的理由是,个人应根据其实际行为受到宣判,而非仅根据基于其个人画像或性格特征的人工智能预测行为受到宣判[65]。
2)主要构成要件
a)人工智能系统被“投放市场”、“投入服务”或“使用”;
b)人工智能系统必须进行风险评估,评估或预测个人实施刑事犯罪的风险;以及
c)风险评估或预测必须仅基于以下一项或两项做出:
对个人的画像;
对个人性格特征的评估。[66]
3)排除范围
以下情形不属于被禁止的个人刑事犯罪风险评估和预测类人工智能系统[67]:
a)基于地理位置、空间或场所的犯罪预测人工智能系统
基于地理位置、空间或场所的犯罪预测,其依据是犯罪发生地点或特定区域内的犯罪可能性。此类警务活动原则上不涉及对特定个体的评估,故不属于被禁止的范畴[68]。
b)基于与客观可验证的犯罪事实对人工评估提供支持的人工智能系统
当人工智能系统用于支持人工评估个人是否参与犯罪活动时(该评估本身已基于与犯罪活动直接相关的客观可验证事实而不仅基于对个人的画像和/或对个人性格特征的评估),该等系统不属于被禁止的范畴[69]。
c)用于法律实体犯罪预测与评估的人工智能系统
本条禁止仅适用于对于个人的刑事犯罪风险评估和预测,因此通常不适用于对公司、非政府组织等法律实体进行犯罪评估和预测的人工智能系统[70]。
d)用于个体行政违法行为预测的人工智能系统
本条禁止仅针对刑事犯罪预测,原则上不涵盖对个人基本权利和自由干预较少的行政违法行为的预测。
(4)非定向抓取构建人脸数据库类
1)含义和目标
被禁止的非定向抓取构建人脸数据库类系统,是指通过互联网或闭路电视(“CCTV”)录像非定向抓取人脸图像来创建或扩展人脸识别数据库的人工智能系统[71]。
从互联网和CCTV录像中非定向抓取人脸图像严重侵害个人隐私与数据保护权,并剥夺个人保持匿名的权利。该等行为会造成大规模监控的压迫感,并导致对隐私权等基本权利的严重侵犯,因此需禁止该类人工智能系统[72]。
2)主要构成要件
a)人工智能系统被“投放市场”、“投入服务”或“使用”;
b)人工智能系统的目的在于创建或扩充人脸识别数据库;
c)数据库填充手段是通过人工智能工具进行非定向抓取;以及
d)图像来源包括互联网或CCTV录像。[73]
3)排除范围
以下情形不适用于本条禁止:
a)对非面部图像的其他生物识别数据(如声音样本)的非定向抓取;
b)未使用人工智能系统的抓取行为;或
c)人脸数据库不用于识别个人(如用于人工智能模型训练或测试且不涉及身份识别的人脸数据库)。从互联网采集大量面部图像以构建生成虚构人物新图像的人工智能系统也不适用于本条禁止,因为该等系统不涉及识别真实的个人。[74]
(5)情绪识别类
1)含义和目标
被禁止的情绪识别类系统是指,在工作场所或教育机构进行情绪识别的人工智能系统,但出于医疗或安全目的的情况除外[75]。
目前情绪识别技术发展迅速,且在商业领域、娱乐产业、公共安全维护等多领域均有应用。但情绪识别技术的有效性与准确性常受质疑。情绪识别可能导致歧视性结果,并侵犯相关人员的权利与自由,特别是隐私权、人格尊严与思想自由权。这种风险在权力不对称的关系中尤为突出,例如职场与教育机构中的劳动者和学生往往处于弱势地位,因此需要禁止符合如下情形的情绪识别类人工智能系统。[76]
2)主要构成要件
a)人工智能系统被“投放市场”、“投入服务”或“使用”;
b)该人工智能系统用于基于生物识别信息推断(含识别,下同)情绪;
c)适用于工作场所或教育机构领域;以及
d)出于医疗或安全目的的人工智能系统不在此禁止之列。[77]
3)排除范围
以下情形不适用于本条禁止[78]:
a)非基于生物识别数据推断情绪和情感的人工智能系统;
b)推断疼痛、疲劳等生理状态的人工智能系统。
c)工作场所和教育机构之外其他领域;
d)为维护公共秩序与活动安全对群体行为进行监控管理的人群管控系统(Crowd Control),常见于大型集会如足球赛事、音乐会等或机场、车站等特定场所,该系统可在不推断个体情绪的情况下运作,例如分析场所整体声量或氛围水平;
e)用于医疗领域的人工智能系统,如护理机器人、医务人员在工作场所诊疗时使用的情绪识别系统、紧急呼叫语音分析监测器等。
(6)生物特征分类
1)含义和目标
生物特征分类人工智能系统,是指通过生物识别数据对人进行分类的人工智能系统,以推测或推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向;但不包括对依法获取的生物识别数据集进行标记或筛选,包括在执法领域[79]。
生物识别数据可能被用于提取、推测或推断包括敏感信息在内的多种信息(甚至无需当事人知情),这可能导致不公正和歧视性待遇,例如因被判定属于某一种族而拒绝提供服务。基于人工智能的生物特征分类系统若旨在将个人归类至涉及性取向、政治倾向或种族等方面的特定群体,不仅侵犯个人的尊严,更对隐私权、不受歧视权等基本权利构成重大风险,因此需要禁止该类人工智能系统[80]。
2)主要构成要件
a)人工智能系统被“投放市场”、“投入服务”或“使用”;
b)该系统必须是生物特征分类系统(生物特征分类系统是指基于个人生物识别数据将其划分至特定类别的人工智能系统,除非该系统附属于另一项商业服务且因客观技术原因确属必要[81]);
c)必须对个人进行分类;
d)分类依据基于生物识别数据;以及
e)分类目的为推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向。[82]
3)排除范围
以下情形不适用于本条禁止[83]:
a)对合法获取的生物识别数据集(如图像)进行标注或筛选的人工智能系统;
对生物识别数据集进行标注或筛选可能正是为了确保数据均衡代表所有人口群体,避免特定群体被过度代表。因此,基于某些受保护的敏感信息进行标注或筛选,可能是确保数据质量、防止歧视的必要措施;或
b)在执法领域对合法获取的数据集进行标注或筛选。
(7)实时远程生物识别类
1)含义和目标
实时远程生物识别类系统,是指在公共场所为执法目的部署(仅针对部署者)实时远程生物识别的人工智能系统,除非出于对特定受害者的针对性搜寻、预防特定威胁(包括恐怖袭击)或搜寻特定犯罪嫌疑人的必要[84]。
正如《人工智能法案》序言部分所指出,公共场所实时远程生物识别系统具有高度侵入性,可能影响大部分人群的私生活、引发持续被监控的感受,并间接阻碍集会自由等基本权利的行使。远程生物识别人工智能系统的技术缺陷可能导致结果偏差并产生歧视性影响,这种偏差在年龄、民族、种族、性别或残疾方面尤为显著。此外,此类实时系统影响的即时性及核查纠错机会的有限性,进一步放大了执法活动对相关人员的权利和自由的风险,因此需予以禁止。[85]
2)主要构成要件
a)人工智能系统为远程生物识别系统(指通过将个人生物识别数据与参考数据库中的数据进行比对,在无需当事人参与的情况下远距离完成识别个人的人工智能系统);
b)相关活动涉及对该系统的“使用”,该禁令仅禁止基于执法目的在公共场所使用实时远程生物识别系统,此类系统的“投放市场”或“投入服务”不受禁止;
c)采用“实时”方式,即对生物识别数据进行“即时、近乎即时或在任何情况下无显著延迟”的采集与处理;
d)应用于公共场所,公共场所指任何向不特定数量个人开放的公有或私有物理空间,无论是否设置准入条件,亦不受潜在容量限制;以及
e)服务于执法目的,执法目的包括对刑事犯罪的调查、侦查和起诉,在犯罪实际发生前预防刑事犯罪的活动,以及刑罚的执行。[86]
3)排除范围
《人工智能法案》为实时远程生物识别类禁止明确了如下三类例外情形,但需注意的是,只有成员国国内制定相关立法明确允许相关例外情形并满足《人工智能法案》规定的条件和保障措施(《人工智能法案》第5条第2至7款),该等例外情形才可具体适用[97]。
a)针对三类严重犯罪受害者及失踪人员的搜寻
在符合严格必要性标准的情况下,允许为执法目的在公共空间使用实时远程生物识别系统,以针对性搜寻绑架、人口贩卖或性剥削受害者,以及寻找失踪人员[88]。
b)预防迫在眉睫的生命威胁或恐怖袭击
为预防对个人生命或人身安全具体、重大且迫近的威胁,或真实存在或可预见的恐怖袭击威胁,可在符合严格必要标准的情况下,为执法目的在公共空间使用实时远程生物识别系统[89]。
c)特定犯罪嫌疑人的定位与识别
为对《人工智能法案》附件二所列且在涉案成员国至少可判处四年监禁或拘留的罪行进行刑事调查、起诉或执行刑事处罚之目的,对涉嫌实施刑事犯罪的人员进行定位与识别时,允许在公共场所实时使用实时远程生物识别系统[90]。
3. 处罚
《人工智能法案》根据违反严重程度,采用分级方式设定违反不同条款的处罚标准。违反禁止的人工智能系统的相关规定被视为最严重违规行为,将面临最高罚款。从事被禁人工智能实践的供应商和部署者可能被处以最高3500万欧元(约两亿九千万元人民币)罚款,若违规主体为企业,则最高可处其上一年度全球营业额7%的罚款(以较高者为准)。[91]
04
其他立法和实施动态
1. 关于建立人工智能领域独立专家科学小组的实施细则
《人工智能法案》规定应设立独立专家科学小组,为人工智能办公室及各成员国市场监督机构提供法案实施与执法方面的专业咨询及协助[92]。2025年3月7日,《关于建立人工智能领域独立专家科学小组的实施细则》正式发布。
人工智能领域独立专家科学小组将专注于通用人工智能模型及系统,主要职责包括:就系统性风险、模型分类、评估方法及跨境市场监督等事项向欧盟人工智能办公室及各成员国主管部门提供专业建议,并有权就新兴风险向人工智能办公室发出预警[93]。
2. 通用目的人工智能模型相关规定
(1)《通用目的人工智能模型提供者义务范围指南》
根据前述《人工智能法案》实施的时间线,《人工智能法案》对通用目的人工智能模型的相关要求于2025年8月2日生效。为进一步解释通用目的人工智能模型提供者的义务范围,欧盟委员会于2025年7月18日发布了《通用目的人工智能模型提供者义务范围指南》(Guidelines on the Scope of the Obligations for General-Purpose AI Models)[94]。
该指南涵盖四项主要内容:(1)通用目的人工智能模型定义;(2)通用目的人工智能模型提供者的认定;(3)开源通用目的人工智能模型提供者的义务豁免;(4)对通用目的人工智能模型提供者的合规要求[95]。
尽管该指南并不具有法律约束力,但该指南阐明了欧盟委员会对《人工智能法案》的解释与适用标准,且欧盟委员会将在此基础上采取执法行动[96]。
(2)《通用目的人工智能行为准则》
2025年7月10日,欧洲人工智能办公室发布了《通用目的人工智能行为准则》(Code of Practice for General-Purpose AI Models),该准则是一项自愿性工具,由独立专家在利益相关方参与的流程中制定,旨在帮助行业遵守《人工智能法案》中针对通用人工智能模型供应商的义务,确保投放欧洲市场的通用人工智能模型是安全且透明的。
《通用目的人工智能行为准则》包含三个独立编制的章节:《透明度》(Transparency)、《版权》(Copyright)以及《安全与保障》(Safety and Security)。其中,《透明度》与《版权》针对所有通用人工智能模型供应商;《安全与保障》仅适用于数量有限的最先进模型供应商,这些供应商需遵守《人工智能法案》中对具有系统性风险的通用人工智能模型供应商规定的义务。[97]
尽管《通用目的人工智能行为准则》不具有法律约束力,通用人工智能模型供应商仍可通过遵循该准则以证明其符合通用人工智能模型供应商的义务[98]。
(3)通用目的人工智能模型问答
欧盟人工智能办公室于2025年7月16日发布了通用目的人工智能模型问答,旨在促进对《人工智能法案》部分条款的理解。该问答主要包括通用目的人工智能模型的概念、通用目的人工智能模型供应商概念及义务、人工智能办公室执法权等相关内容[99]。
结尾
欧盟《人工智能法案》生效后分阶段实施,一方面法案下的义务在按照实施时间表逐步适用,另一方面欧盟委员会等机构也在不断发布配套指南对《人工智能法案》进行解释和澄清,帮助企业理解和遵守《人工智能法案》。
随着欧盟《人工智能法案》相关配套指南的陆续发布,法案的监管框架逐渐清晰,监管部门的执法与处罚也可能随之而来。出海欧盟的中国企业需关注欧盟《人工智能法案》的关键实施节点及每个节点对应的实施要求,并关注欧盟委员会等机构发布的配套指南,充分理解欧盟《人工智能法案》的合规要求并提前准备相应的合规方案。
脚注:
[1] Artificial Intelligence Act, Article 113
[2] Artificial Intelligence Act, Article 113
[3] Artificial Intelligence Act, Article 113 (a) and Recital 179
[4] Artificial Intelligence Act, Article 113 (b)
[5] Artificial Intelligence Act, Article 113
[6] Artificial Intelligence Act, Article 111 (2)
[7] Artificial Intelligence Act, Article 113
[8] Artificial Intelligence Act, Article 111 (3)
[9] Artificial Intelligence Act, Article 111 (2)
[10] Artificial Intelligence Act, Article 111 (1)
[11] Artificial Intelligence Act, Article 3 (1)
[12] Commission Guidelines on the definition of an artificial intelligence system established by Regulation (EU) 2024/1689 (AI Act); https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-ai-system-definition-facilitate-first-ai-acts-rules-application
[13] AI System Guidelines, Sections 5, 7
[14] AI System Guidelines, Section 6
[15] AI System Guidelines, Section 11
[16] AI System Guidelines, Section 12
[17] AI System Guidelines, Section 13
[18] AI System Guidelines, Section 14
[19] AI System Guidelines, Section 15
[20] AI System Guidelines, Section 17
[21] AI System Guidelines, Section 20
[22] AI System Guidelines, Section 22
[23] AI System Guidelines, Section 23
[24] AI System Guidelines, Section 24
[25] AI System Guidelines, Section 25
[26] AI System Guidelines, Section 26
[27] AI System Guidelines, Section 32
[28] AI System Guidelines, Sections 52-58
[29] AI System Guidelines, Section 59
[30] AI System Guidelines, Section 60
[31] AI System Guidelines, Sections 42-45
[32] AI System Guidelines, Sections 46-47
[33] AI System Guidelines, Section 48
[34] AI System Guidelines, Sections 49-51
[35] Artificial Intelligence Act, Article 5
[36] Artificial Intelligence Act, Article 113 (a)
[37] Artificial Intelligence Act, Article 96 (1)(b)
[38] Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act
[39] Prohibited AI Guidelines, Background and Objectives
[40] Prohibited AI Guidelines, 2.1
[41] Prohibited AI Guidelines, 2.5
[42] Prohibited AI Guidelines, 2.5.1
[43] Prohibited AI Guidelines, 2.5.2
[44] Prohibited AI Guidelines, 2.5.3
[45] Prohibited AI Guidelines, 2.5.4
[46] Prohibited AI Guidelines, 2.5.5
[47] Prohibited AI Guidelines, 2.1
[48] Prohibited AI Guidelines, 2.1
[49] Prohibited AI Guidelines, 3 (58), 3.1
[50] Prohibited AI Guidelines, 3.2, 3.3
[51] Artificial Intelligence Act, Article 3 (9); Prohibited AI Guidelines, 2.3 (12)
[52] Artificial Intelligence Act, Article 3 (11) ; Prohibited AI Guidelines, 2.3 (13)
[53] Prohibited AI Guidelines, 2.3 (14)
[54] Prohibited AI Guidelines, 3.2.1 and 3.3.1
[55] Prohibited AI Guidelines, 3.2.2 and 3.3.2
[56] Prohibited AI Guidelines, 3.2.3 and 3.3.3
[57] Prohibited AI Guidelines, 3.5
[58] Prohibited AI Guidelines, 3.5
[59] Prohibited AI Guidelines, 2.1
[60] Prohibited AI Guidelines, 4.1
[61] Prohibited AI Guidelines, 4.2
[62] Prohibited AI Guidelines, 4.2.3
[63] Prohibited AI Guidelines, 4.3
[64] Prohibited AI Guidelines, 2.1
[65] Prohibited AI Guidelines, 5.1
[66] Prohibited AI Guidelines, 5.2
[67] Prohibited AI Guidelines, 5.3.4
[68] Prohibited AI Guidelines, 5.3.1
[69] Prohibited AI Guidelines, 5.3.2
[70] Prohibited AI Guidelines, 5.3.3
[71] Prohibited AI Guidelines, 2.1
[72] Prohibited AI Guidelines, 6.1
[73] Prohibited AI Guidelines, 6.2
[74] Prohibited AI Guidelines, 6.3
[75] Prohibited AI Guidelines, 2.1
[76] Prohibited AI Guidelines, 7.1
[77] Prohibited AI Guidelines, 7.2
[78] Prohibited AI Guidelines, 7.4
[79] Prohibited AI Guidelines, 2.1
[80] Prohibited AI Guidelines, 8.1
[81] Artificial Intelligence Act, Article 3 (40)
[82] Prohibited AI Guidelines, 8.2
[83] Prohibited AI Guidelines, 8.3
[84] Prohibited AI Guidelines, 2.1
[85] Artificial Intelligence Act, Recital 32; Prohibited AI Guidelines, 9.1
[86] Prohibited AI Guidelines, 9.2
[87] Prohibited AI Guidelines, 9.3
[88] Prohibited AI Guidelines, 9.3.2
[89] Prohibited AI Guidelines, 9.3.3
[90] Prohibited AI Guidelines, 9.3.4
[91] Artificial Intelligence Act, Article 99
[92] Artificial Intelligence Act, Article 68
[93] https://artificialintelligenceact.eu/scientific-panel/
[94] https://digital-strategy.ec.europa.eu/en/library/guidelines-scope-obligations-providers-general-purpose-ai-models-under-ai-act
[95] Guidelines on the scope of the obligations for general-purpose AI models, 1. Background and objectives of the Commission guidelines (8)
[96] Guidelines on the scope of the obligations for general-purpose AI models, 1. Background and objectives of the Commission guidelines (9)
[97] https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
[98] https://artificialintelligenceact.eu/introduction-to-code-of-practice/; https://digital-strategy.ec.europa.eu/en/library/commission-opinion-assessment-general-purpose-ai-code-practice
[99] https://digital-strategy.ec.europa.eu/en/faqs/general-purpose-ai-models-ai-act-questions-answers
本文作者
赵新华
合伙人
公司业务部
atticus.zhao@cn.kwm.com
业务领域:公司并购、外商直接投资、公司重组、数据及隐私保护
赵新华律师拥有十多年的法律从业经验,曾为多家知名国内外企业提供法律服务,包括股权或资产收购、转让、公司重组、设立合资公司、特许经营、数据及隐私保护等,涉及的行业包括汽车、人工智能、物联网、高科技、零售、教育、现代农业、工业制造、船舶和医药等。赵新华律师对智能汽车、车联网领域的法律问题有着深入的研究,并为国内外众多客户提供并购、市场准入及合规方面的法律服务。
单文钰
主办律师
公司业务部
徐虹宇
律师
公司业务部
卢怿洵
律师
“一带一路”国际法律业务部
感谢实习生刘宇涵对本文作出的贡献。
转载声明:好文共赏,如需转载,请直接在公众号后台或下方留言区留言获取授权。
封面图源:画作·林子豪
声明:本文来自金杜研究院,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。