随着核心网智能化进程不断深入，AI模型已成为支撑网络关键决策的重要组件。然而，模型在网长期运行中面临数据漂移、环境变化等带来的性能退化风险，入网前的一次性评估无法全面保障其全生命周期的服务质量。本文阐述了一种面向核心网AI模型功能在网评估监测的技术方案，该方案构建了覆盖数据采集、样本标注、指标计算与结果呈现的自动化闭环系统，支持周期性、跨厂商、透明化的在网功能监测，为智能化网络运行的稳定可靠提供系统化技术支撑。

引言

通信网络向智能化方向加速演进，核心网中越来越多地引入AI模型来承载关键决策任务——从网络拥塞预测、用户画像识别，到业务类型判别和用户体验评估。这些模型的准确性、泛化能力和长期稳定性，直接关系到网络运行质量与用户感知。然而，AI模型并非“一次部署、永久有效”，数据分布的自然漂移、部署环境的变化、在线微调带来的不确定性，都可能导致模型功能在入网后逐渐退化。为此，需要构建一套贯穿入网前验收与入网后持续监测的闭环评估体系，为智能化核心网提供透明、公正、自动化的模型功能守护。

从入网评估到在网监测

当前，核心网智能化网元正陆续引入AI模型，通过构建包含模型输入与真实标签的评估数据集，由厂商模型对样本进行推理输出预测值，再通过与真实标签的比对计算准确性指标，可完成模型入网前的功能评估。

真实标签获取是数据采集的核心难点，也决定了评估数据集构建的基本思路。根据真实标签获取方式的差异，目前核心网模型大致可分为三类：事后真实值采集类（如时序预测模型，事件发生后直接从数据源获取真值）、模型标注类（如用户画像模型，基于事后完整状态数据通过自研标注模型产出标签）和拨测采集类（如业务识别模型，需构建实验室拨测环境，基于真实标签拨测产生原始流量报文作为评测数据集的模型输入）。

（a）事后真实值采集类

（b）模型标注类

（c）拨测采集类

图一：核心网AI模型评估数据采集与评估方法

但前期评估仅为“一次性”的入网准入动作。AI模型投产后，实际生产环境的数据分布会随时间、用户行为、网络配置等变化而发生漂移，模型准确性可能逐步下降；同时，部分模型在首次入网后还需根据现网数据进行在线微调，其最终性能在离线阶段无法完全验证。当前，厂商虽在NWDAF内部集成了一些模型监测能力，但缺少独立于厂商的透明化外部监测实体。因此，需建立一套系统化的在网评估监测系统，以周期性、自动化的方式执行数据采集、标签生成、指标计算、结果展示与异常报警，从而支撑对在网AI模型进行客观、持续的功能体检。

在网评估监测系统的架构与功能

核心网AI模型在网评估监测系统采用“数据采集—数据处理与评估—结果呈现”的三层功能架构，形成从数据接入到评估输出的完整闭环。

数据采集层是系统运转的基础。根据模型类型的不同，系统需对接多种数据源：对于用户画像类模型，需周期性获取厂商NWDAF的预测结果及对应的用户专网接入单据数据；对于时序预测类模型，则采集预测值与真实网络指标；对于依赖拨测的业务识别类模型，需对接实验室拨测环境的数据输出。在网评估监测系统需制定统一的数据接口标准，完成数据清洗、预处理和质量检查，确保输入数据的规范性与可靠性。

评估执行层是系统的核心。该模块需集成样本标注能力（包括标注模型和自动标注工具）与指标计算能力（内置AI模型评估指标算子库）。以用户画像类模型为例，系统需截取用户接入网络后前N分钟的行为轨迹作为“考题”，同时基于用户完整轨迹通过标注模型生成“标准答案”，再将厂商推理结果与标准答案比对，计算精确率、召回率、检出率等指标。系统应支持任务管理功能，可按周、月等周期自动触发评估任务，评估结果自动存入数据库并推送至呈现层。

结果呈现层聚焦可视化与告警能力。系统应提供数据仪表盘，使运维人员可直观查看各厂商、各模型在不同时间维度的指标变化趋势；支持报表导出功能，便于存档或进一步分析；同时应具备阈值告警机制，当模型准确性等关键指标下降至警戒线时，自动触发异常通知，提醒运维团队及时介入，启动在线训练或模型更新流程。

实践案例：高铁用户画像模型的全生命周期验证

高铁用户画像模型可作为模型在网评估监测系统的典型验证场景。针对前期的入网验收，评估方可通过从现网采集历史用户移动性数据，并研发基于完整轨迹的用户画像标注模型，完成验收相关工作。

然而，前期验收仅能验证模型具备入网条件，具体应用过程中，厂商在不同线路上需进行模型微调。例如，高铁部分路段与高速公路并线，这一特殊地理特征在初版训练数据中可能未充分覆盖，需通过在线训练进行适配。同时，长期运行中数据漂移可能导致模型精度退化。通过模型在网评估监测系统，可周期性自动采样厂商预测数据与对应真实用户移动性数据，持续计算并展示准确率、召回率等关键指标，及时发现下降趋势，为运维人员触发在线优化提供数据依据，有效验证系统在入网后持续监测场景下的可行性与价值。

展望：统一监测底座，护航核心网全面智能化

面向未来，核心网AI模型评估监测系统需逐步集成所有在网运行的AI模型，实现统一、集成的监测能力。技术演进方向包括：持续丰富数据采集方式（对接更多现网设备与拨测环境）、优化标注模型与指标算子库，以提升评估自动化水平与准确度。只有建立常态化、透明化、自动化的评估监控体系，才能真正让AI模型从实验室走向现网、从短期试点走向长期稳定运行。在此基础上，持续完善核心网模型治理技术方案，从而为5G-A及未来6G网络的智能演进奠定坚实的质量基础。

作者：

沈珅

就职于中国移动研究院网络与IT技术研究所，主要从事网络智能化等领域研究工作。

李爱华

就职于中国移动研究院网络与IT技术研究所，主要从事5G/6G网络架构及组网、网络智能化等领域研究工作。

审核：

张昊 | 网络与IT技术研究所

声明：本文来自中移智库，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。