近日，欧洲数据保护委员会（EDPB）通过《关于生成式人工智能背景下网络抓取的指南》（Guidelines 03/2026 on web scraping in the context of generative AI，以下简称“指南”）公众咨询版本。该指南旨在明确利用公开网络数据训练和微调生成式人工智能模型时，应遵循的法律边界与技术规范。

在AI大模型时代，数据被誉为新的“石油”，而网络抓取则是获取这一关键资源的重要手段。然而，长期以来行业内存在一种认知误区，即“互联网上公开可获取的数据可无限制地用于模型训练”。此次EDPB发布的指南纠正了这一“公开即合规”的错误认知。

网络抓取并非“法外之地”，公开数据同样受GDPR严格管辖

指南开篇即确立了核心原则：只要网络抓取的数据中包含可直接或间接识别自然人的个人信息（如姓名、照片、社交媒体言论等），其提取、清洗、结构化和存储等全套处理活动，均须严格遵守GDPR的规定。EDPB明确指出，数据处于“公开”状态，并不代表自动免除法律约束。鉴于大模型开发中复杂的产业分工，指南对企业在数据保护中的角色进行了逐案事实分析。

  • 开发者：作为决定数据抓取目的和方式的AI开发商，属于数据控制者，须对整体抓取流程的GDPR合规性承担首要责任。

  • 抓取服务商：若第三方抓取机构完全遵照AI开发者的书面指令（如限定数据源、特定数据类别等）进行定向抓取，则应被认定为数据处理者。

  • 共同控制者：若两家机构共同参与决定训练数据集的构建标准和模型开发目的，即使分工不同（如一方负责抓取，一方负责训练），也需共同承担责任。

AI训练网络抓取的五项合规要点

为给广大开发者提供可操作的合规路径，指南围绕GDPR的核心原则，详细拆解了网络抓取在实际操作中的关键合规要求：

一是数据最小化原则。EDPB强调，虽然大模型训练需要海量数据，但这并不意味着可以无差别地抓取。企业必须在抓取前、抓取过程中及抓取后贯彻全生命周期的最小化控制。抓取前：优先评估是否可使用合成数据替代真实个人数据；设定精准的抓取筛选标准，避免缺乏特定目的的非定向抓取；主动排除特定类型的网站，如主要面向未成年人的社交网络，或内容结构中包含敏感财务信息、地理位置信息的平台；同时，应尊重网站的技术性限制措施，例如robots.txt、ai.txt等机制。抓取过程中与抓取后：采用基于语法的过滤机制，在收集阶段即过滤掉身份证号、电话号码等高风险的格式数据；应尽快对数据进行去标识化、匿名化或假名化处理。

二是对正当利益的严格适用。在GDPR框架下，由于大规模抓取无法逐一获取用户的“同意”，且缺少robots.txt并不等同于用户默示同意，因此企业通常只能依赖“正当利益”（GDPR第6(1)(f)条）作为合法性基础。然而，要合法适用这一条款，企业必须通过严格的“三步测试法”：第一，利益的正当性——开发对话助手、提升威胁检测等商业或研究目的必须真实、具体且非投机性；第二，处理的必要性——评估是否存在对个人权利和自由影响更小、且能达到同等目的的替代方案，例如制定更严格的数据筛选标准或使用假名化数据；第三，利益的平衡度——必须考量抓取行为是否会对用户的自主控制权、言论自由产生影响，或带来深度伪造及用户画像等高风险后果。

三是透明度义务的替代路径。GDPR要求数据控制者必须向数据主体告知其数据被处理的情况。尽管在大规模网络抓取中，逐一告知几乎“被证明为不可能”或需要“付出不成比例的努力”（因而可依据GDPR第14(5)(b)条适用豁免），但豁免不等于免责。企业必须采取替代性保护措施，其中最核心的是信息公开：在官方网站发布清晰、易懂的隐私政策，详细列明数据类别、处理目的及法律依据；尽可能列出所抓取网站的域名、URL列表及抓取时间戳，并公开网络爬虫的技术特征；同时提供便捷的用户申诉与退出机制，方便用户随时行使反对权。

四是确保数据准确性。为降低AI模型在应用阶段产生“幻觉”或错误输出个人信息的风险，开发者应建立源头治理机制：优先选择官方或高可信度的数据源，详细记录每次抓取的时间戳，并在清洗阶段对样本数据进行事实准确性的抽样核查。

五是特殊类别个人数据的全流程预防。根据GDPR第9条，原则上禁止处理涉及政治倾向、宗教信仰、健康状况及性取向等特殊类别的个人数据。然而，在公开网络抓取中，此类信息的“附带性”收集往往难以避免。

对此，EDPB援引欧盟法院在GC & Others案中确立的“职责、权力与能力”测试，要求控制者在模型全生命周期内实施最严格的技术防御措施：在采集前，设定精准的排除标准，利用敏感词过滤器阻断对相关目录的抓取；在采集后，建立快速响应机制，立即删除误抓的特殊类别数据并响应用户的删除请求；在训练中，增强模型防御能力，以抵御成员推理攻击等隐私攻击，从技术上防止敏感信息被模型过度记忆；在部署后，设置输出端内容过滤器，限制敏感隐私内容的输出，并积极探索机器学习算法，确保敏感数据在模型中实现实质性抹除。

随着指南的发布，欧盟补齐了“大模型训练语料侧”的关键监管拼图，标志着“公开即合规”的蛮荒时代终结。指南明确将合规义务穿透至包括模型微调企业在内的全产业链参与者，警示无约束的数据抓取行为将面临高昂的法律风险。面对这一趋势，大模型开发商必须将合规审查前置，确保正当利益评估与数据保护影响评估成为监管审计的必查防线。

文章由AI辅助生成，参考来源欧洲数据保护委员会，互联网公开信息

声明：本文来自赛博研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。