作者

青暮、陈大鑫

攻击AI模型有多简单？

一束激光就够了！

近日，来自阿里安全的专家发布了一项新研究，只要用简单的激光笔，就可以让AI模型不再有效。在这个研究中，他们设计了一种算法，可模拟光束对AI模型进行“攻击”，这种测试方法还在现实世界中得到了验证，且“攻击”极易操作，对现有基于AI的视觉系统更具威胁，例如基于AI视觉的自动驾驶。

当不同频谱的光束打在同一个物体上，AI可能将该物体识别错误，比如将停车标识识别成顺利通行。

一束激光可能让自动驾驶汽车对交通标识识别错误

难以想象，假如一个人正在飞奔的自动驾驶汽车上闭眼休息，AI将“前方有危险”识别成“通行”后直接坠入万丈悬崖：

或者直接无法识别前方行人，那对于行人而言将是一场噩梦。

还有，自动驾驶汽车的摄像头受到激光束干扰时，会将“无轨电车”识别为“两栖动物”，将“路牌”识别为“皂液分配器”。

第一种情况可真是吓人。假设一个人正坐在一辆自动驾驶汽车上睡觉，突然横向冲过来一辆无轨电车，AI却以为那不过是一只蛤蟆，而它显然没有动物保护意识，也觉得蛤蟆构不成威胁……

“攻击AI远非需要人为去制造对抗样本，一支简单的激光笔就可以。我们想通过这个研究揭示AI模型一些之前没有被探索过的‘错误’，从而‘强壮’AI，让它未来能抵挡这种‘攻击’，也让相关从业者重视提高AI模型的安全性。”阿里安全图灵实验室负责人薛晖说道。

深度学习图像识别在一定的光照条件下其性能会受到影响，这种现象已经众所周知。但是，用激光干扰深度学习的可能性是怎么被发现的呢？

“主要是两方面原因，一方面是之前的物理攻击大多都是通过贴对抗Patch这种引入人工干扰方式使模型识别出错，我们就在思考是不是有其他的攻击形态，能对图像识别有攻击效果（激光攻击是在需要攻击的时候发射激光，并不需要贴Patch）；另一方面也是在年某著名汽车自动驾驶系统在强光天气下误识别导致的致命车祸这件事上受到启发，让我思考一些极端光线条件本身是否就会对人工智能系统构成威胁。”本论文的第一作者札奇告诉AI科技评论，札奇是澳大利亚斯威本科技大学博士三年级在读，目前在阿里安全图灵实验室研究实习。

目前阿里安全这篇论文已经在不久前被CVPR收录：

论文链接：

转载请注明:http://www.aideyishus.com/lkzp/143.html