工作来源

CODASPY 2024

工作背景

研究机构预计威胁情报市场在 2030 年将会达到 300 亿美元,威胁情报平台主要有两种使用方式:Feed 与远程 API。Feed 反映的是当前感知的威胁,远程 API 可以提供所有构建知识的访问。以往的研究发现,不同的威胁情报平台间重叠度极低。这似乎表明各家的情报 Feed 是截然不同的,想要获得全面的视野,最好是订阅多家数据 Feed。

工作设计

想要量化比较,使用几个关键指标:

覆盖率:IOC 有多大比例被威胁情报平台标记为恶意。

重叠率:两个威胁情报平台间共同覆盖的 IOC 占各自覆盖的比例。

独特性:有多少 IOC 是某个威胁情报平台独有的。

时效性:同一个 IOC 哪个威胁情报平台发现的最早。

工作准备

由于不能用一个威胁情报平台的数据去评估另一个威胁情报平台。本文构建了基于 BERT 的模型,在公开的安全报告(18 年间 5 万份报告)中提取了 18.2万个 IOC 指标。

工作评估

最初想要评估 29 个威胁情报平台,但是投入巨大。最终只评估 4 个威胁情报平台:VirusTotal (VT)、IBM X-Force (XF)、AlienVault (AV) 和 HybridAnalysis (HA)。每个 IOC 都查询所有信息,存入本地数据库中。

覆盖率

此前研究认为不同 Feed 间重合度很小,但其实远程 API 的数据重合度是很高的。意味着这些威胁情报平台,底层的知识库其实非常近似,Feed 的差异只是各家筛选过滤策略不同导致的,并不是威胁情报数据源头产生的差异。哈希和 IP 地址的覆盖率相对较高,但 URL 的覆盖率则没有那么高。

从 18 年的纵向数据来看,所有平台的检测覆盖率都呈现出稳步提升的趋势。

VT 上引擎的文件检出结果衡量如下,(请注意各引擎分母并不同,因为各个引擎可检测的文件并不同),检出率最高的是 BitDefender Flex 的 98%。

IP 检出中,检出率最高的是 Fortinet。URL 检出中,检出率最高的是 Seclookup。

重合率

对于文件检出,所有威胁情报平台间的重合度约为 0.7。例如 Alien-Vault 与 Xforce 的重合度度高达0.87,Xforce 与 Alien-Vault 的重合度为 0.73。

独特性

对于文件检出,各家差异较小。HybridAnalysis 相比 VirusTotal 甚至是零。但在 URL 检出上,各家差异较大。总体来说,付费来源的威胁情报独特性要比免费来源稍高些。

文件情报大家了解的都差不多,但是 IP 和 URL 存在互补情况。

及时性

对于文件检出,AlienVault、Xforce 和 VirusTotal 要比 HybridAnalysis 更快。对于 IP 检出,AlienVault、Xforce 和 VirusTotal 仍比 HybridAnalysis 要快。对于 URL 检出,VirusTotal 最快,AlienVault 最慢,Xforce 波动很大。

工作思考

威胁情报的评估是个长期存在的问题,本文的方式是一种方式但也存在较为明显的缺陷。本文传达出的大意:威胁情报平台的核心价值可能并不在于谁掌握最多的原始数据,而在于谁能够对这些数据进行更好的关联分析并以有效的方式提供给用户。

声明:本文来自威胁棱镜,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。