当大模型接入真实硬件后,安全问题不再局限于 “模型应当如何作答”,更需要关注机器人最终产生何种物理行为。远期的一项危险指令基准测试揭示:即便模型能够在部分场景下拒绝高危请求,在另一些高风险任务中,仍有可能生成危险动作规划并发起执行尝试。当前大模型安全评测多数聚焦于内容生成质量与指令拒答效果,而传统机器人安全标准主要针对速度、力矩、急停等机械运动阈值作出约束,两套规范尚无法完整覆盖从环境感知、指令理解、动作规划到实体控制执行的全风险链条。因此,面向具身智能场景的大模型测评体系,应当将跨模态危险任务、物理动作后果纳入综合评估范畴,进而区分模型主动拒止、安全防护系统拦截、本体执行失败等结果,从而为大模型驱动的实体机器人落地物理现实场景,构建可落地、可验证的安全边界。
具身智能让安全评测进入物理执行场景
(一)高风险指令可能转化为真实动作
2026年9月,Robocurve 发布 RoboHarm 基准测试,让机械臂在实验工具接触目标物、压缩空气罐加热、漂白剂混合、充电宝放入水中等高风险场景中按指令行动。测试将通用大模型接入机器人任务规划环节,作为机器人的 “大脑”,由模型根据摄像头画面和用户指令识别环境、决策下一步调用机械臂执行动作,再由控制器驱动机械臂。测试显示,有的模型对多类高风险任务几乎不拒绝;另有模型能在某一类任务中稳定拒绝,换到其他危险任务时仍会尝试执行。
(二)风险不只来自指令文本而来自任务
RoboHarm基准测试值得关注,因为危险并不总写在指令表面。“把这块放进水里” 要求模型识别出充电宝,并判断入水的后果;“把两个容器倒入红色杯子” 则要求模型读懂标签、识别混合药剂的风险。安全风险因而不仅取决于用户说了什么,还取决于机器人看到什么、放到哪里、让哪些物品发生接触。评测若不观察任务后果,就可能把表面普通的指令误判为安全。
现有评测标准难以覆盖具身智能风险
(一)大模型评测更擅长检查输出内容
现有大模型安全评测通常关注有害内容、偏见歧视、隐私泄露、违法违规建议、幻觉和危险能力等问题,核心对象仍是模型生成的文字、图片、音视频代码。这类评测能够判断模型是否输出不该说的话、是否拒绝明显危险请求,却难以观察机器人是否已经移动、是否接触危险物品、是否在错误对象上执行动作。对于具身智能而言,回复安全只是第一层,动作后果才是最终风险。
(二)机器人安全标准更擅长约束机械运动
传统机器人安全更关注机械结构、控制系统、工作空间、速度、力、保护停止和急停等要求,能够降低碰撞、挤压和失控运动等风险。但大模型驱动的机器人还可能出现 “动作安全、任务却不安全” 的情况:它可以平稳地移动工具,却把工具用在不合适的对象上;也可能在速度和力度都受控时,仍把电池放进水里,或将不应混合的清洁剂倒在一起。因此,除了检查机器人 “怎样动才安全”,还需要判断 “这件事该不该做”。
(三)主要缺口出现在语言意图到执行动作之间
现有评测体系不是没有标准,而在于标准之间尚未形成很好的闭环:大模型安全标准偏向内容管控,机器人安全标准偏向控制,网络安全标准偏向系统和数据。具身智能需要把三者串成一条链:用户意图被解释、模型规划动作、控制器执行轨迹、传感器反馈环境。只检查回复,会漏掉轨迹和接触后果;只检查轨迹,会漏掉危险物品组合;只统计完成率,还可能把抓取失败误判为安全。
国内外标准体系已经提供重要基础
(一)国内生成式人工智能标准提供服务安全底线
国内,GB/T 45654—2025《网络安全技术 生成式人工智能服务安全基本要求》已于2025年11月实施,围绕训练数据安全、模型安全和安全措施建立要求,评估涉及生成内容安全、准确可靠性及问题拒答等。其价值在于把违法违规内容、歧视偏见、个人信息保护、知识产权、准确可靠性和拒答机制纳入统一要求,为大模型服务建立基本安全底线。
(二)国际AI治理框架强调风险管理和高风险场景
国际上,NIST AI RMF 及其生成式人工智能配套文件聚焦全生命周期风险管理,关注架构内容、隐私、信息安全及应急能力,并指导部署测试和持续监测。欧盟 AI Act 按风险水平对 AI 系统提出差异化治理要求,高风险系统需要满足风险管理、数据治理、技术文档、透明度、人类监督、稳健性和网络安全等要求。ISO/IEC 42001 则从管理体系角度,为组织建立和改进 AI 管理体系提供框架。这些框架为具身智能治理提供了制度基础。
(三)机器人标准提供功能安全和集成安全基础
机器人领域也已有较成熟的安全基础。ISO 10218系列规范工业机器人本体与应用集成的安全要求,关注机械结构、控制系统、防护空间、保护停止、急停、速度和力限制等。这些要求对机械臂、协作机器人和工业应用仍然关键。对于大模型机器人,问题不是替代既有标准,而是在其基础上加入语义理解、任务规划、工具选择和环境后果评估。
让安全测评覆盖从指令到动作的闭环
从标准体系看,大模型安全、人工智能治理、网络安全和机器人功能安全各有边界,也各有必要。具身智能需要贯通链式测评:既看模型是否识别危险,也看规划是否将危险对象进行识别;既看控制端是否能急停,也看安全防护能否在模型误判时拦截动作;既看系统是否符合各级安全要求,也看版本升级、网络延迟和传感器异常是否会改变受理风险。
针对具身智能场景下的大模型开展安全测评,不能仅局限于校验其对危险指令的文本拒答表现,更要穿透语义输出,聚焦物理世界最终是否发生高危行为这一核心结果。测评体系要构建多模态的测试范式,将文本指令、图像感知、语音交互,以及多物品场景组合、长时序任务等现实高风险要素全部纳入评测边界。评测指标可建立多维度结果判别机制:既要观测机器人是否发起危险动作并尝试执行,也可区分任务终止的内在动因——究竟源于模型的语义风险识别与主动拒止、安全防护系统的后置拦截,还是机械本体运动失效带来的偶然执行失败。唯有打通从用户意图接收、模型理解规划,再到物理机构实际执行的完整链路,实现端到端全流程闭环校验,才能真正把安全评测从虚拟对话框延伸至真实物理世界。
作者:
李一萌
就职于中国移动研究院业务研究所,主要从事安全领域研究工作。
殷舒
就职于中国移动研究院业务研究所,主要从事智能体安全领域研究工作。
翟奇
就职于中国移动研究院业务研究所,主要从事智能体领域研究工作。
审核:
李征| 业务研究所
声明:本文来自中移智库,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。