随着“人工智能+”行动的深入推进，人工智能已从单一技术工具逐步演进为驱动社会生产生活方式变革的核心力量。然而，在技术赋能的背后，人工智能不仅集成并放大了传统信息系统的安全风险，还以更复杂、更隐蔽的方式催生新风险，威胁着信息系统与业务生产全环节。为有效支撑人工智能技术安全发展、推动人工智能技术安全落地，特此编制本研究报告。

报告立足技术视角，从基础设施层、数据层、模型层、应用层以及衍生场景五个角度系统梳理了人工智能安全风险，全面总结了当前安全防护技术现状及其面临的挑战，并从宏观管理、技术手段、产业生态三个层面提出应对策略，建立了一套覆盖人工智能全生命周期的技术安全分析体系，提出了多维度的风险评估框架，并在实际场景中验证了框架的适用性与有效性，为政策制定者、监管部门、行业从业者以及行业组织等提供全面的安全洞察、策略建议、决策依据和技术攻关指引。

报告核心观点

1. 区别于传统网络安全，人工智能安全风险载体更为多样，总体呈现多维复杂交织新态势。一方面，数据、模型、部署应用带来人工智能风险的全新载体。模型训练过程中的数据投毒可导致模型偏见和错误决策；模型自身的“黑盒”问题带来不可预期的安全风险；而人工智能应用的落地更是引入诸如智能体和通讯协议等多样的风险入口。另一方面，人工智能系统的内生风险和具体应用场景下的衍生风险通过数据产用闭环、算法缺陷传导、模型风险收敛三重机制形成非线性的复杂交织的新态势，风险也由“单点故障”向“系统级复杂涌现”演进。

图1：人工智能时代安全与传统网络安全的对比

2. 从技术角度看，当前人工智能风险主要体现在基础设施层、数据层、模型层、应用层以及衍生场景五个维度。基础设施层风险主要表现为软件供应链不可信风险、硬件缺陷被利用风险以及软硬集成脆弱性风险。数据层风险主要包括数据的合规性与完整性缺失、数据污染、敏感信息残留、标注质量缺陷等，贯穿数据采集、清洗、标注等多个环节。模型层风险核心体现为固有属性缺陷、防范能力不足及潜在前沿风险。应用层风险既包括小模型在集成与运行环节所暴露出的逻辑缺陷，也包括智能体等新应用带来的权限控制、通讯协议安全等新型风险。人工智能技术在具体场景下的衍生风险则包括被攻击者利用实施攻击性操作的滥用风险、因系统设计缺陷或部署偏差导致的误用风险以及特定应用中的场景化投射风险。

图2：技术视角下人工智能安全风险拆解

3. 针对人工智能系统不同层级的安全风险，当前的安全防护措施存在一定短板。一是基础设施层缺乏系统免疫式的风险应对方案，现有的安全方案多为单点防御，对于隐蔽性强、潜伏周期长以及跨层次传导的风险缺少有效应对措施。二是数据层的痛点问题仍未解决，尤其在敏感数据的管理与污染数据的处理环节，仍然缺乏有效的防护方案。三是模型层缺乏内外一体化的安全防护策略，仍面临防护理论不足、测评标准与数据集缺失、防护体系存在技术瓶颈等问题。四是应用层对于新型攻击防御的泛化能力不足，而开发创新防护方案的技术和资金成本较高，短时间内难以大规模市场化应用。五是衍生安全的防护方案多基于已知威胁构建，在应对攻击智能化、隐蔽化态势时局限性显著，尤其针对场景化投射风险，缺乏体系化防护策略。

图3：人工智能安全防护技术现状与不足

4. 结合前述各层级安全风险及现有防护措施短板，未来需从宏观管理、技术手段、产业生态三维度构建全面的技术风险应对体系。一是从宏观管理层面构建多维立体化技术防范体系。结合行业场景属性与技术安全风险“实施-识别-危害”全流程，实施风险分类分级管理，再根据分类分级结果明确技术应对优先级。该风险分类分级框架已在代码大模型场景中得到验证，可有效评估其风险等级。二是从技术层面形成系统化防御手段。构建跨层级协同防御机制，形成具备主动进化能力的防御体系，同时围绕人工智能全生命周期搭建立体防护架构。三是从产业生态层面形成共建共治共享的联动体系。政府及监管部门从顶层设计出发，建立安全标准与检测监测的立体化联动机制；联合科研机构与企业推进技术攻关及安全标准落地，共同支撑人工智能安全产业生态的建立。

报告目录

一、人工智能安全的技术定义与范畴

二、人工智能面临比传统信息系统更严峻的安全挑战

（一）人工智能安全放大了传统安全的诸多风险

（二）人工智能安全是传统安全在智能化时代的延续

（三）人工智能技术安全呈现诸多新问题

三、人工智能安全风险详述

（一）基础设施层已成为攻防博弈的重要目标

（二）数据层成为风险的根源、枢纽和关键目标

（三）模型层面临由内到外、由近及远的多重挑战

（四）应用层是风险的终端载体与复杂场景的交汇点

（五）衍生安全已成为人工智能风险的最终映射场

四、人工智能安全防护技术现状及面临的挑战

（一）基础设施层亟需系统免疫式的应对方案

（二）数据层需提升数据生命周期的“头尾”防护能力

（三）模型层缺乏内外一体化的安全防护策略与手段

（四）应用层新风险应对已经成为安全应对短板

（五）衍生安全领域缺乏系统性、全链条的应对方案

五、未来发展趋势及应对策略

（一）从宏观管理层面构建多维立体化技术防范体系

（二）从技术层面形成系统化防御手段

（三）从产业生态层面形成共建共治共享的联动体系

附件：技术安全风险评估框架实践——国内部分开源代码大模型风险评估

一、测试框架

二、测试对象和结果

三、安全风险评估分析

下载报告：https://aihub.caict.ac.cn/f/d/48c0bbc85c3948a62b615ceac6e9c1ce

陈文弢

中国人工智能产业发展联盟安全治理委员会安全组组长，主要从事人工智能安全领域的政策、标准、评测，以及技术能力构建等方面的研究，持续支撑国家相关部委开展政策制定、检测评估等工作，牵头或参与国家标准2项，行业标准10余项，联盟规范30余项，申报专利、软著等10余项。

邹 皓

中国信通院人工智能研究所工程师，主要从事人工智能安全领域的政策、标准、评测、产业研究，聚焦人脸识别安全、人工智能生成/合成内容检测等方向研究，参与国家标准1项，牵头或参与人工智能安全领域行业标准、团体标准及联盟规范10余项，参与编写世界互联网大会《发展负责任的生成式人工智能研究报告及共识文件》、中国互联网协会《中国互联网发展报告（2022）》等研究报告。

马若龙

中国信通院人工智能研究所工程师，主要从事人工智能安全领域的技术研究工作。参与大模型安全基准测试、大模型安全评估服务，牵头起草编制人工智能产业发展联盟发布的《代码大模型安全风险防范能力要求及评估方法》、《安全大模型能力要求总体框架》等多个规范，作为主要研究人员参加多项人工智能安全加固、风险监测的课题研究工作。

万星宇

中国信通院人工智能研究所工程师，主要从事人工智能安全领域的政策、标准、评测、产业研究工作。

声明：本文来自CAICT AI安全治理，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。