人工智能技术正以前所未有的浪潮之势,引领新一轮科技革命和产业变革,深度重塑经济社会发展格局。2025年8月,国务院发布《关于深入实施“人工智能+”行动的意见》,系统推动人工智能在全社会的普及应用与深度融合,逐步形成“以创新带应用、以应用促创新”的良性发展飞轮。技术跃迁释放价值红利的同时带来风险挑战,只有当“安全内核”嵌入“发展飞轮”,产业才能实现高质量和可持续发展。

近日,中国信息通信研究院(简称“中国信通院”)正式发布《人工智能安全治理研究报告(2025年)——推进人工智能安全治理产业实践框架》。

报告深入分析全球人工智能安全治理逐步迈向体系化、实操化趋势,认识到各主要经济体持续推进治理框架落地,如何在产业层面构建务实有效的安全治理举措已成为各方关注的核心议题。本报告立足本土产业实践,深入剖析当前面临的安全治理挑战,提出“两横三纵”的人工智能安全治理产业实践框架,旨在为产业提供一套系统性、可落地、动态化的安全治理体系,推动人工智能释放更大动能。

报告核心观点

1. 人工智能技术发展带来风险态势不断演化,需树立动态的安全观。人工智能技术应用的安全风险突破了传统安全边界带来新态势:一是风险形态演变快,补丁式防护思路难适用;二是风险识别难度高,应用场景风险指标难量化;三是模型能力进展快,对抗已知漏洞迈向应对未知风险。由于人工智能技术和应用具有不可预见性,当前人类对于人工智能安全风险认知存在局限性,需要建立动态演化的人工智能安全观。

2. 全球各方多措并举推进人工智能安全治理务实行动。国际合作层面,全球加强安全治理深化交流,联合国、国际电信联盟等主要国际组织加速推进治理规则完善,多国协同推进全球安全治理实践,产业界、学术界积极开展对话交流凝聚治理共识。监管政策层面,各国推动安全治理体系化落地,各主要经济体实施差异化监管方案,配套建立治理平台,开展治理行动,推动形成治理实效。产业实践层面,构建安全治理务实举措成为核心议题,通过形成自律共识、开展测试评估、建立互通渠道等,形成保障产业发展的良性生态。

3. 人工智能产业面临技术、应用、管理、协同共治的多重挑战。一是技术发展扩大内生安全新敞口。模型固有特性诱发安全可控复杂难题,内生安全形势愈发严峻。与传统网络安全相比,人工智能安全攻防非对称性加剧,技术安全凸显“易攻难守”新形势。二是应用延展引发衍生安全新难题。模型应用既带来应用形态迭代、开源生态滥用、软件供应链漏洞等外部性安全难题,也引发个人、群体、社会多层面次生风险传导放大。三是组织管理体系构建面临新卡点。人工智能技术的黑箱属性、应用的不确定性和产业链条的多样性愈发凸显,给人工智能模型研发、系统部署、应用运行等不同组织主体以及同时拥有多重身份的组织主体带来管理挑战。四是多元共治协同机制尚待健全完善。当前行业在核心治理环节普遍存在共建合力不足的问题,统一标准尚未形成、协同机制仍需完善。

4. 报告提出“两横三纵”的人工智能安全治理产业实践框架。面对人工智能内生安全与应用风险交织泛化的复杂挑战,传统单点、静态的防护体系已难以为继,产业界亟需一个系统性的安全治理落实框架。为此,报告立足本土产业实践,提出“两横三纵”的人工智能安全治理产业实践框架。企业内部层面,人工智能管理体系建设应结合技术发展态势,深度融合“管理层”的制度牵引作用与“技术层”的能力支撑作用,聚焦实际应用场景的应用风险,建立覆盖人工智能系统全生命周期的动态安全合规和风险管理方案,系统构建“开发侧”“部署侧”与“应用侧”安全关,实现从模型研发、系统部署到场景应用的全链条防护。此外,产业界需加强多元共治,将分散的治理努力汇聚成强大的系统屏障。

5. 多领域勾勒人工智能安全治理从原则框架走向行业纵深实施的清晰路径。金融行业探索构建基于智能程度与金融场景的分级管控体系,通过安全护栏、算法修正与本地化部署,筑牢风险防线。医疗行业积极应对模型幻觉等核心挑战,通过构建高价值应用、高知识密度、高技术含量数据集,保障输出的准确性与安全性。交通行业聚焦智能座舱与自动驾驶,积极探索端到端安全测试与仿真验证体系。能源行业在关键领域推动人工智能安全内生设计理念落地,推行“可解释AI+专家规则”双校验机制,确保工业级可靠。通信行业创新实践“以技治技”,通过大小模型协同、安全知识赋能与全生命周期管控,构建主动防御体系。

报告目录

一、人工智能安全治理概述

(一)宏观规范要求迈向务实新阶段

(二)技术应用发展凸显风险新态势

(三)产业实践需要安全治理新框架

二、全球人工智能安全治理现状

(一)国际合作层面,全球加强安全治理深化交流

(二)监管政策层面,各国推动安全治理体系化落地

(三)产业实践层面,构建安全治理务实举措成为核心议题

三、人工智能产业安全治理核心挑战

(一)技术发展扩大内生安全新敞口

(二)应用延展引发衍生安全新难题

(三)组织管理体系构建面临新卡点

(四)多元共治协同机制尚待健全完善

四、人工智能安全治理通用实践框架

(一)风险管理:构建闭环的人工智能风险管理体系

(二)模型研发:筑牢人工智能开发安全源头根基

(三)系统部署:构建人工智能部署安全防护屏障

(四)应用运行:强化人工智能应用安全动态评估

(五)产业生态:共建基准测试体系与协同治理机制

五、典型领域探索安全治理实践方案

(一)金融行业打造人工智能风险管控方案

(二)医疗行业多维度提升模型输出准确性

(三)交通行业结合应用场景探索安全方案

(四)能源行业加强基础设施的安全防护

(五)通信行业加强“以技治技”的安全治理体系

六、展望

主要专家简介

中国信通院人工智能研究所安全治理部主任,高级工程师

石霖

工信部人工智能标委会安全治理组组长,公安部信安标委会委员。主要从事人工智能领域的政府支撑、技术研究、标准制定、测试评估及产业生态建设工作。参与编写了人工智能、元宇宙领域多项国际、行业标准。深度支撑中国人工智能产业发展联盟、多届中国人工智能大赛等产业生态建设工作。

中国信通院人工智能研究所安全治理部副主任,工程师

呼娜英

中国人工智能产业发展联盟人工智能安全治理委员会治理组组长。从事人工智能安全治理、风险管理、个人信息保护等领域的研究。牵头或参与编写中国信通院《人工智能发展报告(2024年)》《人工智能风险治理研究报告(2024年)》等多本人工智能相关研究报告。具备丰富的人工智能安全治理国际合作经验,具备中国及美国纽约州律师职业资格。

中国信通院人工智能研究所工程师

郭苏敏

主要从事人工智能安全治理研究,研究领域包括风险管理、个人信息保护、生成式人工智能服务合规等,参与《人工智能发展报告(2024年)》《人工智能风险治理研究报告(2024年)》等多份人工智能相关研究报告及标准撰写,具备丰富的人工智能合规和风险管理咨询项目经验。

中国信通院人工智能研究所工程师

徐鹏

主要从事人工智能安全治理研究,研究领域包括智能体合规、个人信息保护、前沿模型安全等,深度支撑国家发改委、工信部、网信办等国家发展规划、政策文件制定,参与编写《人工智能发展报告(2024年)》等研究报告多份,牵头或参与制定人工智能安全治理领域行业标准多项。

其他参与撰写专家

黑一鸣 中国信通院人工智能研究所工程师,博士

邬京耀 中国信通院人工智能研究所工程师,博士

刘志鹏 中国信通院政策与经济研究所高级工程师,博士

谭俊 中国信通院政策与经济研究所工程师

更多精彩,敬请阅读解读PPT。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

版权声明:本报告版权属于中国信息通信研究院,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:中国信息通信研究院”。违反上述声明者,本院将追究其相关法律责任。

撰写团队联系方式:

中国信通院

人工智能研究所

呼娜英

15321699969

hunaying@caict.ac.cn

下载报告:https://www.caict.ac.cn/kxyj/qwfb/bps/202601/P020260109522200479975.pdf

声明:本文来自中国信通院CAICT,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。