基于小灯泡的热红外行人物理对抗样本：Fooling thermal infrared pedestrian detectors in real world using small bulbs
红外热成像有着独特的优点，例如夜间成像、穿透障碍物成像、被动成像以及包含有温度信息等。因此，红外热成像有着广泛的应用，包含有辅助驾驶、故障检查以及疫 情筛查等，特别是在新冠疫情期间，热红外测温设备得到了广泛应用，但是目前红外AI系统的安全性还没有充分研究，因此带来了很多风险。我们首次提出了一种基于小灯泡的针对红外行人检测的物理攻击方法，使得红外行人检测器无法检测到人，目的是测试系统安全性能。我们首先建模了单个小灯泡的红外热图像，然后通过AI优化的办法设计出多个小灯泡组合出来的图案。在数字仿真环境中，以FLIR_ADAS_1_3的测试集为例，我们可以使得基于YOLOv3的红外行人检测器的平均准确率(AP)下降64.12%，与之对比的是，同样尺寸的空白补丁仅使得同样检测器的平均准确率下降29.69%。我们制造的小灯泡对抗板子，可以有效对红外行人检测器进行攻击。在现实世界中，它可以使得目标检测器的平均准确率下降34.48%，与之像对比的是，同样大小的空白板子仅仅使得平均准确率下降了14.91%。更进一步地，当采用了模型集成的攻击技术之后，我们设计的小灯泡对抗板子可以攻击未知的红外行人检测器，达到黑盒攻击的效果。该部分成果在AAAI 2021发表。
工作框架示意图
论文引用：Xiaopei Zhu; Xiao Li; Jianmin Li; Zheyao Wang; Xiaolin Hu; Fooling thermal infrared pedestrian detectors in real world using small bulbs, The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI), Virtual, 2021-2-2至2021-2-9.