作者 | 中国银联 黄自力、杨阳
引言
近年来，基于人工智能（AI）技术分析恶意流量的方法为提高网络安全检测与防御能力开辟了新的思路，更适合在复杂的网络环境中满足实时准确的需求。
为提升网络流量的检测效率，减轻专业分析人员的分析负担，利用专家经验来构建网络异常流量自动检测平台，研究基于恶意流量与正常流量特征的自动检测技术，具有重要的现实意义。
基于专家经验的网络异常流量检测
（一）专家经验检测
基于专家经验的检测技术，是指根据安全专家对可疑行为的分析经验而形成的可信推理规则。安全专家在分析可疑行为时，通常的做法包括常识判定、统计分析、行为分析、知识分析、挖掘分析。通过专家经验分析而得到的分析结果通常可认定是正确的结论，但此方法会消耗大量的时间与极高的人力成本，不适用于海量的流量检测。因此，亟待一种自动化的方法处理海量数据，将专家经验汇总并集成在检测平台中，从而高效、可靠地检测恶意与正常流量。
（二）平台方案设计
如图1所示，网络流量自动检测方案包含了三层检测。
图1： 自动检测方案
首先，在快速过滤层，基于黑白样本强特征将绝大部分的初始网络流量与日志过滤。其次，将过滤后的网络流量传到智能检测层，通过机器学习、关联分析等AI方法。再次，进行检测与筛选。最后，对于仍难以判定黑白的流量，通过事后审计层，由技术专家来判断，将分析结果反馈给前两层，迭代优化前两层的过滤规则与模型参数。
（三）恶意流量检测
基于恶意流量特征的检测模块包含了各类Web攻击检测，总体流程图如图2所示。
图2：基于恶意流量特征的检测整体流程
数据流经过预处理后进行缓存，分别发送到三个检测引擎，并分别检测该流量，若存在攻击则直接报出，否则将结果汇总到综合判断，最后输出结果。
（四）正常流量检测
检测模块框架包含日志初分、正常日志学习和日志检测三大引擎。首先，流量分发至日志过滤和判断环节：日志过滤将流量与规则库对比，若匹配则传入学习引擎，否则转人工分析；人工确认正常后，提取规则并加入规则库，否则直接过滤。日志判断则验证模型是否存在。其次，学习引擎对正常HTTP日志按字段提取特征，构建模型存入数据库；新日志进入时，其特征与库中模型比较，差异则实时更新模型。最后，检测引擎提取所有HTTP日志字段键值对，与规则知识库及模型数据库的特征进行对比，对不符合特征的日志触发告警。整个系统实现自动化检测与动态模型优化，确保异常流量高效识别。
图3：基于正常流量特征的检测模块的总体框架图
结语
本文设计了一种基于专家经验的网络异常流量自动检测平台。根据专家经验，分别提取正常流量特征与恶意攻击特征，由两个相辅相成的检测模型所组成，可有效检测网络行为中的异常流量。基于专家经验转化的自动检测系统不仅大大提升检测准确性，也节省人工成本。同时，由于特征的泛化性与模型的通用性，本文所提出的方法可复用于其他类似的安全检测场景，为加强网络安全防范能力提供了新契机。
|| 本文作者：中国银联金融科技研究院 黄自力、杨阳
|| 声明：本文所涉及言论仅代表作者个人观点，仅供参考、交流之目的
声明：本文来自电子商务与支付国家工程研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
