如何让坦克“消失”：一次针对AI的数据投毒实验全记录

知远战略与防务研究所 王涛/编译

自：瑞典国防研究局2023年报告

【知远导读】本文译自瑞典国防研究局2023年3月出台的FOI-R-5396-SE号研究报告，报告题为“攻击和欺骗军事人工智能系统”。正文共分为四章，第一章简要介绍该报告的研究目的与范围、目标读者对象及相关阅读说明等。第二章介绍对抗性机器学习概念，并提出一种分类法，用于对本报告中的攻击进行分类和比较。第三章是案例研究，选取三种具备军事应用价值的已知攻击方法开展案例分析，并对这些方法进行评估。第四章对报告进行总结，讨论对抗性机器学习在现实场景，包括在军事领域中的适用性。

报告全文约2.8万字，推送部分节选自报告第三章。

本部分案例研究旨在探讨数据投毒。这种攻击方式通过欺骗敌方深度神经网络，使其对车辆进行错误分类，从而帮助军用车辆（在本案例中为坦克）规避侦测。

数据投毒

本案例研究考察一种数据投毒技术，该技术用于欺骗基于深度学习的计算机视觉模型，使其对某些图像进行错误分类。具体而言，在训练过程中通过篡改训练数据，对用于将图像分类为“坦克”或“汽车”的模型进行投毒（见本报告第二章第二部分）。其目的是诱使模型将坦克图像错误归类为“汽车”，但仅能针对那些被注入触发器的坦克图像。在此背景下，触发器指的是粘贴在图像上的小图像补丁（该补丁包含特定的触发器模式）。

本案例研究中描述的投毒攻击属于数字攻击，因为触发器是在图像的后期处理期间添加的。然而，从理论上讲，也可以在拍摄任何图像之前将物理触发器附加到现实世界中的对象上，从而实施类似的物理攻击。因此，我们可以大胆想象，只要坦克上覆盖着一个小的物理触发器补丁，就有可能绕开基于深度学习的军事车辆检测系统。

隐蔽性触发器后门攻击

对图像训练数据集进行投毒的一种简单方法，是在数据集的一些图像上粘贴触发器补丁，并且更改其关联的类别标签。¹例如，如果训练数据集包含军用坦克和民用汽车的图像，攻击者可以通过在部分坦克图像上粘贴触发器补丁，并将其标记为“汽车”，向数据集投毒。如果受害者随后用中毒的数据集训练基于深度学习的二元分类模型，那么当测试图像中的坦克出现触发器模式时，经过训练的模型往往会将其错误归类为“汽车”。这样做的原因在于模型已将特征触发器模式与“汽车”类别标签关联起来。这种数据投毒方法如图3.1所示。

上述简单攻击方法的一个很大弊端在于，即使是对图像进行短暂查看（除非开发者直接用爬虫抓来的数据，完全不做人工抽查），触发器补丁也是清晰可见的，一旦包含触发器的图像被错误标注，对手就不可能再用这样的图像训练模型。

因此，隐蔽性触发器后门攻击²才是一种更有效的数据投毒，在这种攻击中，基于深度学习的分类模型仅仅用不包含可见触发器的图像进行训练，所有训练图像也都被正确标注。尽管在训练过程中未暴露触发器模式，但在测试时仍然可以将其粘贴到图像上，从而导致经过训练的模型对图像进行错误分类。

图3.2说明了萨哈、苏布拉马尼亚和皮尔西亚瓦什³提出的隐蔽性触发器后门攻击的概念（该图已针对本案例研究中使用的两个类别进行了改编）。基本的中毒图像生成思路是，通过优化找到一张中毒汽车图像（即经过篡改的汽车图像），该图像在像素空间上接近对应的原始汽车图像，同时在特征空间上接近带有触发器补丁的坦克图像。换句话说，目标是生成一张中毒图像，它在视觉上看起来像原始汽车图像，但在特征上与带有触发器补丁的坦克图像相似。在此情况下，特征指的是某些基于深度学习的预训练分类模型（如AlexNet或者ResNet）的中间特征。需要注意的是，这个预训练模型仅在生成中毒图像时作为参考，目的是获取带有触发器补丁的坦克图像的特征表示。该模型不会进一步训练，其参数是冻结的。

图3.1：使用可见触发器和错误标注的训练图像的数据投毒攻击。在该图中，为了清晰起见，所有带有补丁的坦克图像都用红色标出。

图3.2：仅使用正确标记的训练图像和直到测试时间才显示的隐蔽性触发器的数据投毒攻击。在该图中，所有带有补丁的坦克图像都用红色标出，而所有中毒汽车图像都用黄色标出。

从形式上讲，毒物生成算法⁴会改变中毒汽车图像的像素值，以尽量缩小中毒汽车图像特征与带有补丁的坦克图像特征之间的差距。⁵这一操作需满足限制条件，即中毒汽车图像特征与原始汽车图像特征之间的差距的L∞范数<ϵ，其中当图像像素值在0～255之间时，ϵ≈16。该约束条件确保中毒汽车图像的每个像素值都与原始值保持相对接近，即在像素值改变后，中毒图像看起来仍然像是包含了一辆汽车。请注意，这个解释略有简化，省略了一些用于泛化数据投毒攻击所必需的算法细节。⁶

最终的中毒训练数据集是通过将一些中毒汽车图像添加到已包含未作任何修改的干净坦克和汽车图像的数据集中构建而成（图3.2）。如果受害者使用中毒数据集，对基于深度学习的预训练分类模型进行微调，该模型就会学习将中毒汽车图像与类别标签“汽车”相关联。然而，由于中毒汽车图像的特征表示与从带有补丁的坦克图像中获得的特征表示相似，模型也会将带有补丁的坦克图像与类别标签“汽车”相关联，即使训练数据集中没有任何带有补丁的坦克图像。因此，在微调过程中不会暴露触发器模式。

如果数据投毒攻击成功，微调后的模型将倾向于将干净汽车图像归类为“汽车”，将干净坦克图像归类为“坦克”，而将带有补丁的坦克图像归类为“汽车”（图3.2）。这种模型行为会让受害者相信模型能按预期发挥作用；至少是在对手开始使用触发器模式之前。

实验设置

由于很难找到包含足够多军用坦克图像的公开数据集，因此研究团队使用波希米亚互动模拟公司的虚拟战斗空间3（VBS3）软件生成了一个干净图像数据集，包含10种坦克模型和10种汽车模型，每种模型1000张、共计20000张图像。

随后，以AlexNet⁷和ResNet-18⁸两个在ImageNet数据集（包含1000个对象类别和大约100万张图像⁹）上预训练的分类模型为参考，按照萨哈、苏布拉马尼亚和皮尔西亚瓦什¹⁰提出的优化方案，在每张坦克图像的随机位置粘贴触发器补丁，并相应改变汽车图像的像素值，每个模型各生成1000张、共计2000张中毒汽车图像。一些带有补丁的坦克图像和中毒汽车图像如图3.3所示。

图3.3：使用AlexNet和ResNet生成的带有补丁的军用坦克图像和中毒汽车图像。

在生成中毒汽车图像之后，使用包含干净汽车图像（标记为“汽车”）、干净坦克图像（标记为“坦克”）以及中毒汽车图像（标记为“汽车”）的训练数据集，对预训练分类模型进行微调，再分别在干净汽车图像、干净坦克图像和带有补丁的坦克图像上测试性能。毒物生成、微调和测试使用的图像各不相同，且微调与测试始终使用新的模型实例。

值得一提的是，萨哈、苏布拉马尼亚和皮尔西亚瓦什¹¹并未研究跨架构的普遍性攻击，即受害者微调所用的模型架构与攻击者生成中毒图像所用的架构不同的情形。本案例研究因此在AlexNet与ResNet-18之间交叉进行微调与测试，以检验这种攻击的可推广性。

结果

本部分显示了使用含有中毒汽车图像的训练数据集进行微调的分类模型的测试结果。

表3.1：四种AlexNet模型的分类性能；每种模型都使用含有特定数量中毒汽车图像、干净汽车图像和干净坦克图像的不同训练数据集进行微调。每种模型的测试性能分别以对1000张干净汽车图像、1000张干净坦克图像和1000张带有补丁的坦克图像的准确率来报告。所有中毒汽车图像均使用AlexNet生成。

表3.1第一行显示，仅使用干净图像进行微调时，模型在干净汽车图像、干净坦克图像和带有补丁的坦克图像上都达到了非常高的测试准确率，这并不令人意外。第二行显示，当训练数据集中掺入100张中毒汽车图像（占比5%）后，模型在干净图像上仍保持近乎完美的准确率，但带有补丁的坦克图像仅有5.10%被正确识别分类——换言之，94.90%被错误归类为“汽车”，数据投毒攻击成功。表格最后两行显示，随着训练数据集中毒图像数量增加，带有补丁的坦克图像的识别准确率进一步下降。

使用ResNet-18重复上述实验，结果趋势相同：在干净图像上仍达到近乎完美的准确率，但投毒后带有补丁的坦克图像的分类识别准确率显著下降，使用500张中毒图像时仅为53.70%。对比表明，这种中毒攻击似乎在AlexNet上更成功，而AlexNet正是萨哈、苏布拉马尼亚和皮尔西亚瓦什¹²唯一研究过的模型。

跨架构检验则揭示了这种攻击的局限：根据使用ResNet生成的500张中毒汽车图像对AlexNet进行微调时，带有补丁的坦克图像的测试准确率为97.10%；反之，根据使用AlexNet生成的中毒图像对ResNet进行微调时，准确率为98.90%，攻击几乎完全失效。不过，当训练数据集同时混有使用两种模型架构生成的中毒图像时，攻击部分奏效：AlexNet和ResNet在带有补丁的坦克图像上的准确率分别降至54.0%和63.0%。也就是说，通过使用许多不同模型架构生成的中毒图像来扩充训练数据集，有可能在一定程度上同时欺骗多种分类模型，但这需要相当数量的中毒图像，整个数据集的规模也要相应增加。

讨论

可以创建包含干净汽车图像、干净坦克图像以及难以从干净汽车图像中区分出来的中毒汽车图像的数据集。这些中毒图像可用于在使用这些数据集进行微调的分类模型中注入后门，导致微调后的模型将包含特定触发器模式的坦克图像进行错误分类。然而，这种数据中毒攻击并不容易推广，因为只有当分类模型根据使用相同模型架构生成的中毒图像进行微调时，它才能成功。另一方面，从零开始训练新模型的成本很高，这意味着迁移学习正在成为应用深度学习的默认方法，而相对较少的核心架构的广泛使用可能会抵消这种攻击的局限性。最后，按照萨哈、苏布拉马尼亚和皮尔西亚瓦什¹³提出的方法，触发器补丁大小和像素修改幅度（ϵ）等参数均可进一步试验优化，攻击效果还可能更强。

从实践的视角来看，这种投毒攻击的优势在于其影响可以延伸到物理领域，即通过将触发器补丁应用于需要规避中毒的深度学习检测器的真正坦克来实现，无需直接访问检测系统本身，因为这种攻击依赖于检测器开发者在系统部署前的训练阶段无意中使用中毒图像。然而，这种投毒攻击的间接性也是其弱点：如果要让目标开发者不知情，攻击者几乎无法控制确保这些开发者使用中毒图像。相反，最可行的方法可能是将这些图像匿名发布在公开的数据集集合中，比如Kaggle¹⁴，并且寄希望于目标开发者自行检索和使用这些图像。另一方面，缺乏训练数据是机器学习领域普遍存在的问题，对于军事性质的公共训练数据而言，这个问题尤为严重，正如本文自己的实验所证明的那样，研究者不得不依赖合成的坦克图像。用于军事探测器训练的开放数据集对于此类系统的开发者来说极具吸引力，这会增加攻击的可行性。

对抗性机器学习在科学界引起了越来越多的关注，每天都有关于新的攻击变体的论文发表。正如本报告通过攻击方法示例所证明，几乎任何形式的机器学习都可能受到某种类型的对抗性机器学习的影响。随着深度学习在越来越多的应用中得到采用，攻击的机会和潜在回报也在增加。例如，图像识别模型正以某种形式用于与对手相关的情况，无论是民用还是军用：机场和体育场开始采用面部识别，出于各种原因拒绝某些人员进入¹⁵，这为这些人提供了应用对抗性机器学习来规避这些系统的动机。对卫星图像中军用车辆的自动侦测研究已有数十年之久，¹⁶而规避敌方卫星的此类侦测，显然是所有大国军队的关注重点。

【1】Tianyu Gu, Brendan Dolan-Gavitt, and Siddharth Garg. BadNets: Identifying vulnerabilities in the machine learning model supply chain. In arXiv preprint arXiv:1708.06733, 2017.

【2】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【3】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【4】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【5】Yanpei Liu, Xinyun Chen, Chang Liu, and Dawn Song. Delving into transferable adversarial examples and black-box attacks. arXiv preprint arXiv:1611.02770, 2016.

【6】Yanpei Liu, Xinyun Chen, Chang Liu, and Dawn Song. Delving into transferable adversarial examples and black-box attacks. arXiv preprint arXiv:1611.02770, 2016.

【7】Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. ImageNet classification with deep convolutional neural networks. In Proceedings of Advances in Neural Information Processing Systems (NeurIPS), 2012.

【8】Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

【9】Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2009.

【10】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【11】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【12】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【13】Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI Conference on Artificial Intelligence, 2020.

【14】Kaggle是一个面向数据科学家和机器学习爱好者的在线社区平台，它托管了各种各样的公共数据集（https://www.kaggle.com/datasets）。

【15】Khari Johnson. Get used to face recognition in stadiums. https://www.wired.com/story/get-used-to-face-recognition-in-stadiums/, Feb 2023.

【16】美国空军于1996年发布广受欢迎的移动和静止目标获取与识别训练数据集：https://www.sdms.afrl.af.mil/index.php?collection=mstar

声明：本文来自知远战略与防务研究所，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。