美情报高级研究计划局（IARPA）正在研究如何检测对人工智能的“木马”攻击。
现代图像识别人工智能通过分析某种物体的众多图像进行学习。如果需要训练算法检测道路标志的图片，就必须向人工智能算法提供从不同角度拍摄的各种道路标志的图片。算法将学习图像像素之间的关系，并从结构与图案上分辨停车标志与限速标志的不同。
但是设想一下，在人工智能受训阶段，对手在检测限速标志的软件中悄悄插入另外几幅图片（木马），这些图片显示的实际上是贴了贴纸的停车标志。也就是说，如果对手想欺骗人工智能使其将停车标志误认为限速标志，只需要在标志上贴上贴纸即可。
为了应对此类情况，IARPA需要相应的工具，使算法在识别图像中不同物体后，能够检测出是否存在问题或异常。
上述插入木马的方式并非攻击人工智能的唯一可能方式。人工智能感知世界的方式上存在着固有的缺陷，这样，就有可能通过改变停止标志等物体的外形而使得人工智能算法对其进行错误分类。这种方式被称为“对抗样本”。
尽管目前尚未出现已知的木马或对抗样本攻击，但此类攻击发生的可能性越来越高。IARPA计划在两年时间内完成检测工具的开发。
费洪译自互联网
李晓文审定
2018年12月27日
声明：本文来自防务快讯，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
