撰文、编辑 / Kaamel Labs

美国商业改进局儿童广告审查单位（CARU）于10月20日发布《生成式人工智能与儿童：品牌与政策制定者风险矩阵》，该矩阵旨在指导企业在面向儿童的 AI 产品与广告中防控风险。

文件识别了八类关键风险：误导性广告、虚拟代言、隐私与数据保护、安全使用、心理健康、操控与商业化、有害内容暴露以及透明度缺失，并提出针对性合规措施。 CARU 建议企业构建AI广告与数据治理体系，落实“隐私嵌入设计”和“人类在环”机制，强化算法安全与责任审查，从而在创新与儿童保护间实现平衡。

背景介绍

儿童广告审查单位（Children’s Advertising Review Unit，CARU）隶属美国商业改进局（BBB National Programs），是《儿童在线隐私保护法》（COPPA）框架下首个安全港计划。 CARU 致力于帮助企业遵守法律与行业指南，防止误导性广告与不当数据收集，并在必要时采取执法措施。

随着生成式人工智能的快速发展和在儿童领域的广泛应用，依托生成式人工智能的产品涵盖智能玩具、音箱、元宇宙虚拟角色及个性化推荐工具等多个领域。该技术在教育、娱乐与交互体验方面带来创新，同时也带来隐私、广告与安全风险，因为儿童在知识与判断力上具有局限，更易受到营销与算法影响。

为应对AI在儿童领域的挑战，CARU 于2025年成立跨行业专家工作组，于10月20日发布了《生成式人工智能与儿童：品牌与政策制定者风险矩阵》。该文件为企业识别并减轻针对儿童的 AI 风险提供实践框架，梳理了关键风险、现实案例与应对措施，旨在指导企业在技术迅速演进的背景下，落实负责任的设计、透明运营与风险防控。

人工智能与儿童的风险矩阵

文件列举了共八种风险，包括误导性与欺骗性广告、虚拟网红与代言人、隐私与数据保护、安全与负责任使用 AI 、心理健康与发展、操控与商业化、暴露于有害内容、缺乏透明度和可解释性，每一类均包括风险的具体内容与合规应对建议。本节将对上述内容简要概括：

（一）误导性与欺骗性广告（Misleading & Deceptive Advertising）

本部分适用于使用人工智能开发针对儿童的广告商。

风险内容：

  • 违反《CARU广告指南》和《联邦贸易委员会法》（FTC Act）第5条；

  • AI 广告可能帮助儿童与虚构角色或聊天机器人建立拟社会关系；

  • 生成不安全或不当的广告内容，传播虚假或错误信息；

  • 导致儿童过于依赖科技获取建议和陪伴；

  • 导致品牌安全性下降、信任度受损、知识产权风险及法律责任增加。

合规建议：

  • 确保 AI 增强功能不误导产品特性、性能或效果；

  • 避免模糊现实与虚构界限；

  • 建立有效的广告合规与治理政策；

  • 审查与第三方数据及广告投放相关合同，确保其 AI 广告与隐私做法符合法规要求。

（二）网红与代言人（Influencers & Endorsers）

本部分适用于使用面向儿童的社交媒体、虚拟网红、数字头像或聊天机器人者。

风险内容：

  • 违反《 CARU 广告指南》及 FTC 法案第5条；

  • 儿童可能向虚拟网红、数字化身或聊天机器人过度披露个人信息；

  • 建立虚假情感关系，损害品牌信任；

  • 存在知识产权风险与法律责任。

合规建议：

  • 全面审查 AI 生成内容（视觉、文字、聊天机器人、虚拟形象等）的真实性与合规性；

  • 建立影响者内容审查流程，涵盖 AI 生成素材；

  • 明确披露 AI 身份，让儿童理解交互对象为非真实人物；

  • 实施内容审查与信息保护机制，防止儿童泄露隐私；

  • 审慎选择广告合作方与直播投放渠道，避免不明来源的内容；

  • 定期测试技术，以降低偏见和错误信息带来的风险。

（三）隐私与数据保护（Privacy & Data Protection）

本部分适用于使用或创建人工智能驱动的应用程序、人工智能玩具、智能设备、语音助手、学习工具或教育类应用程序者。

风险内容：

  • 违反《 CARU 隐私指南》及《儿童在线隐私保护法》（COPPA）；

  • 第三方可能将儿童 AI 输入用作训练数据，造成数据滥用；

  • 导致身份盗用、欺诈、画像与儿童监控等风险；

  • 品牌信任受损、知识产权风险及潜在法律责任。

合规建议：

  • 落实隐私嵌入设计（Privacy by Design）原则；

  • 严格限制数据收集范围，启用默认高隐私设置；

  • 获取父母可验证的同意并提供明确通知；

  • 确保数据安全存储与端到端加密；

  • 禁止将儿童数据用于 AI 模型训练；

  • 定期培训员工并与 CARU 安全港机制对齐。

（四）安全与负责任使用 AI（Safe & Responsible Use of AI）

本部分适用于创建或使用面向儿童的人工智能产品者，包括聊天机器人、社交陪伴应用程序、虚拟形象和玩具。

风险内容：

  • 违反 CARU 广告与隐私准则及 COPPA；

  • AI输出可能出现偏见或歧视，或以不当方式使用儿童角色；

  • 潜在风险包括虚假信息、欺诈、网络欺凌、诱骗、滥用儿童图像及性剥削材料等；

  • 导致品牌声誉受损与监管责任。

合规建议：

  • 建立人在回路监督（Human-in-the-loop）机制；

  • 多样化训练数据并定期进行偏差评估；

  • 审查第三方供应商的AI风险管理流程；

  • 确保活动或广告不会引导儿童与陌生人互动；

  • 考虑设立 AI 产品绿灯委员会以审核新 AI 项目的安全与伦理合规性。

（五）心理健康与发展（Mental Health & Development）

本部分适用于创建或使用面向儿童的人工智能产品者，包括聊天机器人、社交陪伴应用程序、虚拟形象和玩具。

风险内容：

  • 违反 CARU 广告与隐私准则；

  • 使用 AI 驱动的聊天机器人、社交伴侣、推荐算法或无尽视频推送可能导致：社会隔离、自尊降低、焦虑、成瘾、注意力下降及认知能力削弱；

  • 损害品牌形象并引发法律责任与知识产权风险。

合规建议：

  • 避免设计成瘾型交互或界面；

  • 建立人机结合的内容监管与心理健康监测机制；

  • 推广健康的屏幕使用与数字福祉设计；

  • 定期测试 AI 产品对儿童心理与行为发展的影响；

  • 禁止设计模拟人类情感的 AI 伴侣聊天机器人。

（六）操控与商业化（Manipulation & Commercialization）

本部分适用于开发或使用聊天机器人、社交陪伴者、虚拟网红、社交或游戏平台中的推荐引擎、社交媒体算法或无尽的视频流。

风险内容：

  • 违反 CARU 广告与隐私准则、COPPA 及 FTC 代言指南；

  • AI 驱动的个性化广告或游戏内购买可能导致不道德定向、消费操控、过度支出与隐性营销；

  • 损害消费者自主权并增加法律与声誉风险。

合规建议：

  • 限制针对儿童的行为定向广告；

  • 明确披露广告性质，禁用助推与强制通知策略；

  • 采用道德设计标准（ethical design）以防过度商业化；

  • 持续监控广告与应用中的 AI 决策逻辑。

（七）暴露于有害内容（Exposure to Harmful Content）

本部分适用于使用人工智能生成的内容或视频、用户生成平台、人工智能聊天机器人或应用程序，以及游戏论坛。

风险内容：

  • 违反 CARU 广告与隐私指南；

  • 儿童可能接触不当、虚假或危险内容（如暴力、性暗示、烟酒、错误信息或深度伪造）；

  • 内容审核失效可导致法律风险及品牌信任下降。

合规建议：

  • 启用分龄内容过滤与设备级年龄验证；

  • 强化 AI 与人工内容审核系统并定期审计；

  • 建立举报与内容标记机制；

  • 确保内容来源可验证并具透明可追溯性；

  • 使用解释性工具以提升家长与监管透明度。

（八）缺乏透明度与可解释性（Lack of Transparency & Explainability）

本部分适用于使用算法者。

风险内容：

  • 违反 CARU 广告指南；

  • 算法不透明导致消费者被误导或失去信任；

  • 品牌安全、声誉与法律合规性受损。

合规建议：

  • 实施算法可解释性工具并定期提示 AI 交互属性；

  • 向用户（含家长与儿童）提供简明易懂的隐私政策与通知；

  • 确保存在明确的选择进入与退出机制及申诉渠道；

  • 建立删除与更正数据的权利机制。

合规启示与总结

《生成式人工智能与儿童：品牌与政策制定者风险矩阵》由美国 BBB 国家项目下属的儿童广告审查单位（CARU）联合业界专家发布，是一份权威的 AI 合规风险指南，系统总结了生成式 AI 在儿童广告设计、投放与数据处理中的主要风险与应对框架，对企业遵循 COPPA 等法规、完善生成式AI合规治理具有重要参考价值。因此，Kaamel 建议企业在改进生成式人工智能时，依据本报告开展相应完善措施：

  • 建立AI广告与数据治理体系，确保广告内容透明、真实与安全。建议企业遵守相关法规，在使用 AI 丰富广告素材、使用虚拟代言人及个性化推荐时，应确保所有效果及互动内容均有真实依据，避免因深度伪造等技术误导消费。此外，建议企业审查第三方广告供应商、数据处理方及平台协议，明确 AI 内容来源真实与数据处理合规义务，告知用户内容由 AI 生成，并防止未经授权的数据调用和隐私侵权。

  • 实施隐私嵌入设计和人在环路机制，强化数据与算法安全。若企业的AI系统收集或处理儿童数据，应在设计阶段嵌入隐私保护原则，限制数据收集范围，默认启用高隐私设置，并获取父母的可验证同意。企业须定期审查 AI 算法与数据集，防止因偏差或错误训练数据导致歧视性内容或儿童画像行为。同时，建议设立人类监督机制，对模型训练、内容输出与广告投放进行动态监控，确保算法决策过程可解释、可追溯并符合法规框架。

  • 完善企业社会责任机制，防止过度商业化与心理健康风险。AI 驱动的推荐算法、虚拟社交产品或游戏化广告可能诱导儿童过度消费或形成依赖。因此，建议企业避免诱导式设计与隐藏营销，明确披露广告属性。产品开发中应当设置使用时间管理、内容过滤与心理影响评估机制，以防成瘾、焦虑与注意力分散等负面影响。通过透明沟通与家长教育机制，企业不仅能满足合规要求，也能在品牌信任与社会责任层面建立长期竞争优势。

原文见：https://www.prnewswire.com/news-releases/bbb-national-programs-childrens-advertising-review-unit-publishes-safeguards-for-generative-ai--kids-announces-expanded-ai-working-group-302589164.html

声明：本文来自Kaamel隐私保护，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。