1901 年秋天,莱特兄弟遇上了麻烦。他们的滑翔机反复试飞,升力只有理论预测的三分之一。按当时的做法,设计依据是李林塔尔的升力表和斯米顿系数——后者自 1752 年提出,全世界工程师用了一百五十年。

换作多数人,会怀疑自己的手艺。兄弟俩怀疑的是数据。他们先骑了一辆改装自行车做平衡实验,确认李林塔尔的翼型数据本身没大错;然后在自行车铺里造了一台六英尺长的木制风洞,两个月里测了两百多个翼型,最后得出结论:错的是那个一百五十年没人动过的斯米顿系数——通行值 0.005,他们算出来是 0.0033。今天公认的值是 0.00327。

同一时期,史密森学会秘书长兰利手握战争部五万美元拨款和全美最顶尖的团队,造的是全尺寸飞机。1903 年 10 月和 12 月,他的"空中旅行者"两次一头栽进波托马克河。第二次坠毁后第九天,莱特兄弟那架总花费约一千美元的机器在基蒂霍克飞了十二秒。

兰利有规模,有经费,有权威。莱特兄弟有一台会说实话的木头箱子。

这个故事放在这里,是因为网络靶场正在重演兰利式错误。

一、节点数迷信的根源

靶场宣传里最常出现的数字是节点数——多少万节点、多少万并发、多少级流量。这个数字为什么受偏爱?因为它看起来最像实力。但一台仪器像不像世界,和它的读数可不可信,是两件事。莱特的风洞只有六英尺,连真实机翼的零头都装不下;它之所以改变了航空史,是因为它的天平校准过,读数敢拿到桌面上复核。

回看美国国家网络靶场NCR的招标书,DARPA 真正较劲的地方恰恰不在规模:时间同步机制,而且要能审计同步本身;跨异构节点的取证级数据采集;试验后的自动化消毒。这些条款没有一个字谈"像不像真实互联网",全部在谈"读数能不能信"。

没有刻度信任的时候,人们只能信任大小。节点数迷信不是宣传部门的发明,它是一种补偿——当一把尺子没法证明自己是直的,就只能证明自己很长。

二、比尺子歪更可怕的,是没有计量院

再问一层。物理世界里,你菜市场买的秤为什么敢信?因为它的刻度可以一路往上对:县计量所对省计量院,省计量院对国家基准,国家基准对国际千克原器。这条链子叫溯源链,链子的顶端是标准砝码——计量学意义上的"真值"。

网络安全的测量,链子在哪?"某系统告警延迟十秒"——在哪台靶场测的?背景流量对谁校准过?两家靶场给出两个数,哪家说了算?没有标准攻击样本库,没有靶场间的比对协议,没有一个机构负责回答"你的读数溯源到哪"。靶场可以建一百个,溯源链一条没有。这个领域缺的不是更多的秤,是计量院。

三、那把歪尺子:一段全行业不愿多提的公案

说这个领域从没铸过砝码,也不公道。铸过一次——结局值得每个建靶场的人默读三遍。

1998 和 1999 年,DARPA 委托 MIT 林肯实验室做入侵检测系统评估。林肯实验室仿真了一个空军基地的网络流量,往里注入五十八种攻击、两百多个实例,产出七周训练数据和两周测试数据。这批数据的衍生版本,就是后来大名鼎鼎的 KDD Cup 99 数据集。

2000 年,约翰·麦克休(John McHugh)发表了一篇逐条批判:合成流量与真实空军基地流量的相似性,没有给出统计证据;攻击的分类和分布可疑;误报率缺少合适的统计单元。后续研究者又发现了更多仿真痕迹——IP 包的 TTL 值种类少得反常、TCP 握手包规律得反常,真实网络的"脏东西"一概没有。换句话说,这枚砝码的铸造工艺有硬伤,而且是发布当年就被公开指出的硬伤。

然后呢?然后整个行业对着这把歪尺称了十五年。它的衍生品成了入侵检测研究的标准基准,成千上万篇论文在它上面报告"性能提升百分之几",直到 2009 年才有人系统修补,而直到今天,新的基准数据集论文仍要在开篇先向这段公案致意。一把歪尺的危害从来不在尺子本身——它让误差看起来像进步。十五年里,多少"更好的检测算法"其实只是"更适应这把歪尺的算法",没人算得清。

四、校准权

三件事串起来,图样就变了。

莱特兄弟的故事说:仪器的价值在刻度,不在体量——所以节点数说明不了什么。计量院的缺席说:单台仪器的刻度再认真,没有溯源链也只是自说自话——所以靶场数量也说明不了什么。KDD 公案说:一枚坏砝码可以污染十五年的研究——所以"先有数据基准"比"先有大靶场"紧要得多。

由此,网络靶场竞争的下一个回合,主题不是"谁的场子更大",而是谁的尺子被承认。校准权,就是对"什么是真的"的定义权:标准攻击样本用什么、背景流量怎么算真实、比对试验怎么做、误差棒画在哪——谁定这些,谁就给全世界的安全结论盖章。美国在这条链上的布局早已开始:从 DARPA 的评估数据集,到 NIST 的测试方法,再到 MITRE 的 ATT&CK 评估,形态各异,干的都是同一件事——造砝码。

所以,一个靶场项目,别再先问支持多少节点。应该是标准样本库在哪——用什么攻击集和背景流量做基准,谁维护,多久更新?读数跟谁对过表——和别的靶场、别的测量体系比对过吗,结果敢公开吗?误差棒画在哪——结论的不确定度有多大?

声明:本文来自时间之外沉浮事,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。