原文标题：An explainable deep learning-enabled intrusion detection framework in IoT networks

原文作者：Marwa Keshk, Nickolaos Koroniotis, Nam Pham , Nour Moustafa, Benjamin Turnbull, Albert Y. Zomaya

原文链接：https://doi.org/10.1016/j.ins.2023.119000

发表会议：Information Sciences

笔记作者：张琦驹@安全学术圈

主编：黄诚@安全学术圈

编辑：张贝宁@安全学术圈

1、引言

物联网（Internet of Things, IoT）技术的兴起推动了智能城市等大规模互联智能环境的发展，物联网设备通过持续的环境反馈和相关系统的自动调节，从根本上改变了现代社会的运作方式。然而，由于系统复杂性增加、配置错误以及新旧系统冲突等问题，保障这类新兴技术的安全已成为重大挑战，对现有基础设施的稳定性和可用性产生了显著影响。物联网设备的异构性导致其生成高维度、多模态的数据，传统安全机制（如反恶意软件、防火墙等）因灵活性和动态性不足，难以应对快速演变的攻击技术。入侵检测系统（Intrusion Detection System, IDS）作为成熟且广泛使用的网络安全检测手段，能够识别各种已知和零日网络攻击，而基于人工智能（尤其是深度学习）的 IDS 在处理大规模数据方面表现优异。但深度学习模型存在高误报率和决策不透明的 “黑箱” 问题，难以解释攻击检测的逻辑，阻碍了其在关键领域的应用。因此，提升物联网网络中入侵检测模型的可解释性，成为当前研究的重要方向。为此，本文提出一种新型可解释深度学习入侵检测框架 SPIP（S: Shapley Additive exPlanations, P: Permutation Feature Importance, I: Individual Conditional Expectation, P: Partial Dependence Plot），该框架结合长短期记忆网络（Long Short-Term Memory, LSTM）进行攻击识别，并通过整合上述方法生成局部和全局解释，旨在为物联网网络的网络防御提供高效且可解释的解决方案。

2、XAI 在 SPIP 框架中的作用机制

可解释人工智能（eXplainable Artificial Intelligence，XAI）是 SPIP 框架实现 “检测 + 解释” 双功能的核心组件，通过整合局部与全局解释方法，解决深度学习入侵检测模型的 “黑箱” 问题。其作用机制围绕解释的生成逻辑、覆盖范围及实际应用价值展开，具体包括以下内容：

局部解释：单条记录的决策解析。 局部解释聚焦于单条网络流量记录的分类结果，通过 SHAP（Shapley Additive exPlanations）和 ICE（Individual Conditional Expectation）揭示特征对个体决策的影响，为安全人员验证单条检测结果提供依据：

  • SHAP 的特征贡献量化：基于博弈论中的 Shapley 值，计算每条记录中各特征对模型输出的具体贡献值。例如，在某条被判定为 DDoS 攻击的记录中，SHAP 可量化 “conn_state=S1”“proto=TCP” 等特征使攻击概率提升的幅度（如增加 20%-60%），并通过可视化展示特征影响的正负方向（红色为正向促进，蓝色为负向抑制）。

  • ICE 的动态影响可视化：针对单条记录，绘制特征值变化与模型预测结果的关系曲线。例如，分析某条 Generic 攻击记录时，ICE 曲线可展示 “service” 特征值从低到高变化时，模型判定为攻击的概率从 90% 降至 10% 的过程，直观呈现特征值与决策的动态关联。

全局解释：模型整体的逻辑揭示。全局解释针对模型整体功能，通过 PFI（Permutation Feature Importance）、PDP（Partial Dependence Plot）及 SHAP 的全局分析，揭示模型依赖的关键特征及整体决策模式，辅助研究人员优化模型和理解攻击规律：

  • PFI 的特征重要性排序：通过随机置换某一特征值并计算模型误差变化，评估特征的全局重要性。例如，在 NSL-KDD 数据集上，PFI 发现 “dst_host_srv_count”“protocol_type” 等特征置换后模型误差显著上升（权重分别为 0.0587、0.0420），证明其为模型决策的核心特征。

  • PDP 的全局关系可视化：绘制特征值与模型平均预测结果的关系曲线，展示特征对全局决策的影响趋势。例如，针对 Generic 攻击，PDP 显示 “service” 特征值升高时，模型判定为攻击的概率显著下降，且可区分出受该特征影响程度不同的两类数据记录（下降 10% vs. 下降 90%）。

  • SHAP 的全局特征汇总：通过计算所有记录中各特征 Shapley 值的绝对值平均值，生成全局特征重要性排序。例如，在 TON_IoT 数据集的 DDoS 检测中，SHAP 发现 “conn_state”“dns_RD” 的平均 Shapley 值最高，证实其为区分 DDoS 攻击的关键特征。

解释的协同与应用价值。 SPIP 框架通过局部与全局解释的协同，实现多层级可解释性：

  • 对终端用户：PFI 的简单数值排序和 SHAP 的直观可视化（如特征影响正负）使其易于理解单条记录或整体模型的决策依据；

  • 对安全专家：ICE 和 PDP 揭示的特征动态影响可辅助分析攻击模式（如某类攻击中 “sttl” 特征的阈值范围）；

  • 对研究人员：全局特征重要性结果可指导特征筛选，减少模型复杂度（如仅保留前 20 位重要特征），同时保证检测性能（如 TON_IoT 数据集 F1-score 维持 0.829）。

3、SPIP 框架

SPIP框架是一种融合深度学习检测与多维度解释的物联网入侵检测解决方案，通过 “数据预处理→LSTM 检测→XAI 解释” 的三层架构，实现高效检测与可解释性的统一。其核心流程包括基础检测模型设计、解释模块整合及特征优化机制，具体如下：

3.1 基础检测模型：LSTM 的选择与构建

SPIP 以 LSTM（Long Short-Term Memory，长短期记忆网络）作为核心检测模型，适配物联网网络流量的时序特性，精准捕捉攻击行为的序列模式：

  • LSTM 的时序适应性：针对网络攻击的多阶段特性（如 “网络杀伤链” 的侦察、渗透、扩散等阶段），LSTM 通过记忆细胞和三门机制（遗忘门、记忆门、输出门）解决传统 RNN 的梯度消失问题，有效保留长时序依赖信息。例如，在检测 DDoS 攻击时，LSTM 可关联 “连接建立→流量激增→会话终止” 的序列特征，提升检测准确性。长时序依赖信息如下图所示。

  • 模型结构设计：采用 3 层隐藏层（每层 50 个神经元），输入维度为数据集特征数（如 NSL-KDD 的 41 维），输出维度为 2（攻击 / 正常）。使用 Adam 优化器（学习率 0.001）、dropout 率 0.1，以 batch_size=32 训练 10 个 epochs，在 TensorFlow 框架下实现高效训练。

该模型通过学习网络流量的时序特征，为后续解释模块提供可靠的检测结果基础。

3.2 解释模块：局部与全局解释的融合

SPIP 整合四种 XAI 方法，从局部和全局两个维度生成解释，覆盖单条记录决策与模型整体逻辑：

  • 局部解释模块（SHAP+ICE）：

    • SHAP 的个体贡献分析：基于 Shapley 值计算每条记录中各特征对预测结果的贡献。例如，对某条 Generic 攻击记录，SHAP 可量化 “service=dns”“sttl=254” 等特征使攻击概率提升的具体数值（如分别增加 30% 和 25%），并通过蜂群图展示特征影响的分布（横轴为 SHAP 值，纵轴为特征，颜色表示特征值高低）。

    • ICE 的动态影响展示：针对单条记录绘制特征值变化与预测结果的关系曲线。关系曲线示例如下图所示。

例如，分析某条 Probe 攻击记录时，ICE 曲线可显示 “dst_host_srv_count” 从低到高变化时，模型判定为攻击的概率从 80% 降至 10% 的过程，直观呈现特征的动态影响。

  • 全局解释模块（PFI+PDP+SHAP）：

    • PFI 的特征重要性排序：通过随机置换特征值并计算模型误差变化，评估特征的全局重要性。例如，在 UNSW-NB15 数据集上，PFI 发现 “swin”“dttl” 等特征置换后模型误差显著上升（权重分别为 0.0660、0.0449），确定其为核心特征。

    • PDP 的全局趋势可视化：绘制特征值与模型平均预测结果的关系曲线，揭示整体规律。例如，针对 DoS 攻击，PDP 显示 “duration”（连接时长）超过阈值后，攻击概率急剧上升，且可区分不同数据组的响应差异（如部分记录在阈值处概率跳升 50%，另一部分跳升 80%）。

    • SHAP 的全局特征汇总：计算所有记录中各特征 Shapley 值的绝对值平均值，生成全局重要性排序。例如，在 TON_IoT 数据集中，SHAP 发现 “conn_state”“dns_RD” 的平均贡献最高，证实其为 DDoS 攻击的关键标识。

3.3 特征优化机制：基于解释的特征筛选

SPIP 利用全局解释结果优化输入特征，在保证性能的同时提升效率：

  • 特征筛选逻辑：基于 PFI 和 SHAP 的全局重要性排序，选取前 20 位关键特征（如 NSL-KDD 中的 “dst_host_srv_count”“protocol_type”），形成精简特征集。

  • 性能与效率平衡：实验表明，使用筛选特征训练的模型性能与全特征模型相当（如 TON_IoT 的 F1-score 保持 0.829），但训练时间减少（如 UNSW-NB15 从 128519ms 降至 123377ms），检测时间缩短（如 NSL-KDD 从 507ms 降至 434ms），适配物联网设备的资源约束。

  • 特征融合策略：当单一方法筛选的特征存在偏差时，融合 PFI 和 SHAP 的结果（如取两者交集），进一步提升特征集的稳健性。例如，在 NSL-KDD 中，融合特征使模型 precision 从 0.921 提升至 0.971，减少误报。

通过上述流程，SPIP 框架实现了 “检测准确、解释全面、效率适配” 的目标，为物联网入侵检测提供了可解释、高性能的解决方案。

4、实验评估

SPIP 框架在 NSL-KDD、UNSW-NB15、TON_IoT 三个数据集上进行了全面评估，验证了其在检测性能、可解释性及效率方面的优势，具体结果如下：

多数据集检测性能：SPIP 框架基于 LSTM 的二元分类器在三个数据集上均表现出稳定的检测能力，准确率、Precision、Recall 及 F1-score 指标整体优于传统方法，且在复杂攻击场景中适应性更强，相关指标数据如下图所示：

  • NSL-KDD 数据集：准确率达 0.811，Precision 0.921，Recall 0.732，F1-score 0.815。相比签名式 IDS，其对零日攻击（如 U2R、R2L）的检测率提升约 15%-20%。

  • UNSW-NB15 数据集：准确率 0.866，Precision 0.811，Recall 0.988，F1-score 0.891。尤其在检测 “Generic” 攻击时，Recall 高达 0.962，体现出对新型攻击的识别能力。

  • TON_IoT 数据集：准确率 0.873，Precision 0.784，Recall 0.880，F1-score 0.829。在 DDoS 攻击检测中，结合 XAI 解释后，误报率降低至 5% 以下。

对比结果显示，SPIP 的性能优于传统签名式 IDS（如高漏报率）和单一 XAI 解释的 IDS（如精度损失），实现了检测与解释的平衡。

不同特征集的性能对比：通过 SPIP 框架提取的特征子集（SHAP 特征、PFI 特征及融合特征）在保持检测性能的同时，显著提升了效率，相关指标数据如下图所示：

  • SHAP 特征子集：在 NSL-KDD 上 Precision 提升至 0.970（原始特征 0.921），ToN_IoT 的检测时间从 1664ms 降至 1458ms。

  • PFI 特征子集：UNSW-NB15 的 Recall 提升至 0.990（原始特征 0.988），NSL-KDD 的训练时间从 88801ms 缩短至 87520ms。

  • 融合特征子集：ToN_IoT 的 F1-score 稳定在 0.829，UNSW-NB15 的 Recall 达 0.994，证明特征融合可兼顾不同解释方法的优势。

解释方法的有效性验证：SPIP 生成的局部和全局解释能准确反映特征与攻击的关联，且易于理解：

  • 全局解释的合理性：PFI 和 SHAP 识别的关键特征与攻击特性一致。例如，DDoS 攻击中 “conn_state”“dns_RD” 被列为核心特征，与实际攻击中连接状态异常、DNS 递归请求频繁的特点吻合；Generic 攻击中 “service”“swin” 的高重要性，匹配其依赖特定服务端口和 TCP 窗口值的行为。

  • 局部解释的准确性：SHAP 对单条记录的贡献量化与实际特征影响一致。如某 DDoS 记录中，“conn_state=S1” 使攻击概率提升 40%，“proto=TCP” 提升 25%，与人工分析结果一致；ICE 曲线显示 “sttl” 值超过 0.8 时，Generic 攻击概率骤升，符合攻击中源到目的 TTL 异常的规律。

  • 用户适应性：PFI 的数值排序适合终端用户快速理解特征重要性，SHAP 的蜂群图和 PDP 的趋势曲线可为安全专家提供深度分析依据，解释满意度评分达 85%（基于 10 名安全人员评估）。

效率评估：SPIP 框架通过特征筛选显著降低了训练和检测时间，适配物联网资源受限场景：

  • 训练时间：NSL-KDD 使用 SHAP 特征后训练时间减少 1800ms（从 88801ms 至 87006ms），UNSW-NB15 使用 PFI 特征减少 6072ms（从 128519ms 至 122447ms），特征维度降低使模型参数减少约 20%。

  • 检测时间：TON_IoT 使用融合特征后检测时间减少 171ms（从 1664ms 至 1493ms），NSL-KDD 的单条记录检测耗时从 0.004ms 降至 0.003ms，满足实时检测需求。

与同类方法的对比：相较于 GAA、MCA、TANN 等异常检测技术，SPIP 在平衡检测率（DR）和误报率（FPR）上表现更优：

  • NSL-KDD 数据集：SPIP 的 DR 为 0.811，FPR 仅 0.089，而 GAA 的 DR 虽达 0.987，但 FPR 为 0.004（过低导致漏报率高），TANN 的 FPR 则高达 0.094（误报过多）。

  • UNSW-NB15 数据集：SPIP 的 DR 0.866，FPR 0.054，优于 MCA（DR 0.90，FPR 0.068）和 TANN（DR 0.875，FPR 0.123），更适合实际部署。

综上，SPIP 框架在检测性能、可解释性及效率上均展现出显著优势，其生成的解释能有效辅助攻击分析，特征优化机制适配物联网场景，具备较高的实用价值。

5、总结

本文提出了一种名为 SPIP 的新型可解释深度学习入侵检测框架，旨在提升物联网网络中入侵检测系统（IDS）的可解释性与性能。该框架以长短期记忆网络（LSTM）为基础检测模型，结合 SHAP、PFI、ICE和 PDP四种可解释人工智能（XAI）方法，生成局部（单条数据决策）和全局（模型整体功能）解释，实现攻击检测与决策解释的结合。研究在 NSL-KDD、UNSW-NB15 和 TON_IoT 三个数据集上进行实验评估，结果显示该框架的二元分类器准确率分别达到 0.811、0.866 和 0.873，且通过特征筛选显著减少了训练和检测时间，生成的解释能直观揭示特征与攻击类别的关联，匹配实际攻击特性。SPIP 框架有效解决了深度学习 IDS 的 “黑箱” 问题，兼顾检测性能与可解释性，适合物联网网络的防御场景。

安全学术圈招募队友-ing

有兴趣加入学术圈的请联系 secdr#qq.com

声明：本文来自安全学术圈，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。