编者按

由美国防部主导的人工智能网络挑战赛(AIxCC)于8月8日结束,决赛排名前3的团队赢得了总计850万美元的资金,并将陆续以开源形式发布参赛的人工智能模型。

AixCC是一项为期两年的竞赛,由美国防部国防高级研究计划局(DARPA)与美国卫生高级研究计划局(ARPA-H)和前沿实验室合作举办,旨在评估为自主识别和修补关键基础设施系统中使用的开源代码中的漏洞而构建的人工智能模型。由自美国佐治亚理工学院、三星研究院、韩国科学技术院和浦项科技大学的专家组成的“亚特兰大团队”获得第一名,总部位于美纽约的小型企业Trail of Bits获得第二名,由美国和韩国的人工智能研究人员和安全专家组成的Theori团队获得第三名。上述团队分获400万美元、300万美元和150万美元的奖金,并计划将大部分奖金重新投资于网络推理系统的研究和进一步开发,或探索将该技术商业化的方法。

该竞赛评分算法根据参赛者快速创建漏洞补丁的能力以及对漏洞报告的分析能力,对参赛队伍的表现进行优先排序。“亚特兰大团队”在查找和验证漏洞、生成补丁、漏洞与补丁匹配方面表现最佳,并以最高的提交准确率和高质量提交率获得最高分。该团队表示,该团队的系统将更传统的威胁搜寻工具与人工智能结合在一起,这与其他更依赖人工智能的团队有所不同;过去十年来一直在使用的传统软件分析工具具有巨大的价值,人工智能可以利用这些工具来浏览源代码,放弃传统工具并非明智之举。

在决赛阶段,参赛团队尝试识别并生成涵盖5400万行代码的合成漏洞补丁;在70项挑战中总共发现了54个独特的合成漏洞,并修复了其中的43个,识别率77%、修复率61%均较半决赛(37%、25%)的有所提升;发现了18个真实的、非合成的漏洞,其中6个漏洞来自C代码库、12个漏洞来自Java代码库,还提供了11个针对真实的、非合成漏洞的补丁;不同于在半决赛时在修复C代码库漏洞方面最为成功,在修复C代码库和Java代码库漏洞方面的成功率相近;均发现了现实世界的漏洞,平均在45分钟内提交补丁;每项竞赛任务花费约152美元。

DARPA局长斯蒂芬·温切尔表示,使用现有方法查找漏洞和修补代码库速度慢、成本高,而且依赖于有限的人力,尤其是在对手使用人工智能来扩大其漏洞利用的情况下;AIxCC开发的技术将为防御者提供急需的优势,使其能够快速、大规模地识别和修补漏洞。AIxCC项目经理安德鲁·卡尼表示,自AIxCC推出以来,社区成员已从AI怀疑论者转变为倡导者和采用者;高质量的补丁修复是一项至关重要的成就,体现了将AI与其他网络防御技术相结合的价值;有证据表明,在其他代码合成技术难以奏效的情况下,网络推理系统发现漏洞的过程可能会增强补丁开发。

奇安网情局编译有关情况,供读者参考。

美国国防高级研究计划局(DARPA)8月8日宣布了人工智能网络挑战赛(AIxCC)的获胜团队。该项为期两年的竞赛是DARPA与美国卫生高级研究计划局(ARPA-H)和前沿实验室合作举办的首届此类竞赛,旨在评估为自主识别和修补关键基础设施系统中使用的开源代码中的漏洞而构建的人工智能模型。

近年来发生的多起攻击事件表明,恶意网络行为体能够利用从金融系统、公共事业到医疗保健生态系统等各个系统中存在的漏洞软件。参赛团队成功展示了利用人工智能的新型自主系统保护关键基础设施开源软件的能力。

DARPA局长斯蒂芬·温切尔表示,“AIxCC体现了DARPA的宗旨:严谨、创新、高风险、高回报,不断突破技术界限。通过开源网络推理系统(今天已开源了7个系统中的4个),我们立即将这些工具提供给网络防御者。使用现有方法查找漏洞和修补代码库速度慢、成本高,而且依赖于有限的人力——尤其是在对手使用人工智能来扩大其漏洞利用的情况下。AIxCC开发的技术将为防御者提供急需的优势,使其能够快速、大规模地识别和修补漏洞。”

为进一步加速采用,DARPA和ARPA-H将为参赛团队增加140万美元的奖金,以将AIxCC技术集成到现实世界的关键基础设施相关软件中。

ARPA-H代理局长贾森·鲁斯表示,“今天AIxCC决赛入围团队的成功证明了AI在解决我们医疗保健系统漏洞方面的现实潜力。ARPA-H致力于支持这些团队进行技术转型,并在医疗保健安全和患者安全方面发挥重要作用。”

由自美国佐治亚理工学院、三星研究院、韩国科学技术院(KAIST)和浦项科技大学(POSTECH)的专家组成的“亚特兰大团队”赢得了AIxCC。总部位于美纽约的小型企业Trail of Bits获得第二名,由美国和韩国的人工智能研究人员和安全专家组成的Theori获得第三名。

决赛中排名前三的队伍将分别获得400万美元、300万美元和150万美元的奖金。三支获奖团队的代表表示,计划将大部分奖金重新投资于网络推理系统的研究和进一步开发,或探索将该技术商业化的方法。

所有七支参赛队伍,包括all_you_need_is_a_fuzzing_brain、Shellphish、42-beyond-bug和Lacrosse等队伍,都在极其紧迫的时间内努力设计出能够显著推动网络安全研究的自动化系统。

深入探讨:最终竞赛结果和亮点

在决赛计分环节,参赛团队的系统尝试识别并生成涵盖5400万行代码的合成漏洞补丁。由于比赛基于真实软件,参赛团队的网络推理系统能够发现并非故意引入的漏洞。评分算法根据参赛者快速创建漏洞补丁的能力以及对漏洞报告的分析能力,对参赛队伍的表现进行优先排序。获胜团队在查找和验证漏洞、生成补丁、漏洞与补丁匹配方面表现最佳,并以最高的提交准确率和高质量提交率获得最高分。

佐治亚理工学院教授、“亚特兰大团队”负责人金泰洙(Taesoo Kim)表示,该团队的系统将更传统的威胁搜寻工具与人工智能结合在一起,这与其他更依赖人工智能的团队有所不同;过去十年来一直在使用的传统软件分析工具具有巨大的价值,人工智能可以利用这些工具来浏览源代码,放弃传统工具并非明智之举。

最终,参赛者的系统在70项挑战中总共发现了54个独特的合成漏洞,并修复了其中的43个。

在决赛中,参赛团队还发现了18个真实的、非合成的漏洞,并负责任地向开源项目维护者披露。其中6个漏洞来自C代码库(包括一个由维护者同时发现和修补的漏洞),12个漏洞来自Java代码库。参赛团队还提供了11个针对真实的、非合成漏洞的补丁。

斯蒂芬·温切尔表示,“我们现在生活的世界,古老的数字框架阻碍了一切,许多代码库、许多语言、许多商业模式,以及我们在此基础上构建的一切,都背负了巨大的技术债务……这是一个超出人类能力范围的问题,也是我们现在需要解决的关键问题。”

DARPA信息创新办公室主任凯瑟琳·费舍尔也持有类似谨慎乐观的表示,“软件掌控着世界,而掌控世界的软件却漏洞百出。我们有一种习得性无助感,觉得我们对此无能为力。软件就是这样的。人工智能网络挑战赛指向一个更光明的未来,软件只会做它该做的事,而不会做其他事。”

AIxCC项目经理安德鲁·卡尼称赞参赛者成功证明了使用人工智能的新型自主系统能够有效地发现和修补漏洞。他表示,“自AIxCC推出以来,社区成员已从AI怀疑论者转变为倡导者和采用者。高质量的补丁修复是一项至关重要的成就,它体现了将AI与其他网络防御技术相结合的价值。此外,我们发现有证据表明,在其他代码合成技术难以奏效的情况下,网络推理系统发现漏洞的过程可能会增强补丁开发。”

参赛团队的网络推理系统证明,它们能够以传统方法的一小部分成本创建有价值的漏洞报告和补丁,每个竞赛任务的平均成本约为152美元。漏洞赏金金额从数百美元到数十万美元不等。

AIxCC技术自2024年8月举行的半决赛以来取得了显著进步。在决赛计分环节,参赛队伍识别了77%的比赛合成漏洞,比半决赛的37%有所提升;修复了61%的漏洞,比半决赛的25%有所提升。在半决赛中,参赛队伍在查找和修复C代码库漏洞方面最为成功。在决赛中,参赛队伍在查找和修复C代码库和Java代码库漏洞方面的成功率相近。

其他主要比赛亮点包括:

  • 团队平均在45分钟内提交补丁

  • 每个团队都发现了现实世界的漏洞

  • 4个团队生成了一行长的补丁

  • 3个团队在1分钟内完成了3项不同的挑战任务

  • 1个团队因超过300行的补丁而得分

  • 参赛网络推理系统分析了超过5400万行代码

  • 参赛团队每项竞赛任务花费约152美元

后续步骤

所有7支决赛团队的网络推理系统都将以开源软件的形式开放,并遵循开放源代码促进会(Open Source Initiative)批准的许可证。4支团队已于8月8日开放了其网络推理系统;其他团队将在未来几周内发布。

其他比赛数据,包括比赛框架、比赛挑战、比赛遥测以及其他工具和数据,也将在未来几周内开源,以促进该技术的推广应用,并允许其他人试验和改进AIxCC开发的技术。

DARPA正在与包括这些团队在内的公共和私营部门合作伙伴合作,推动该技术得到广泛应用。

声明:本文来自奇安网情局,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。