偷偷摸摸的攻击诱使AI看到或听到不存在的东西

日期:2017-07-02 19:06:03 作者:关氅达 阅读:

Asahi Shimbun via Getty Images作者:Matt Reynolds谈到人工智能,看到的并不总是相信有可能欺骗机器学习系统进入听觉和看到不存在的东西我们已经知道戴着一副时髦的眼镜会让人脸识别软件误以为你是别人,但Facebook的研究表明同样的方法也可以欺骗其他算法这种技术 - 被称为对抗性的例子 - 可被黑客利用来欺骗无人驾驶汽车忽略停车标志或阻止CCTV摄像机发现人群中的嫌疑人向一个算法显示一张猫的照片,该照片以微妙的方式被操纵,它会认为它正在看着一只狗然而,这些改变可能非常轻微,以至于人类永远无法判断图像是否被篡改过 Facebook的人工智能研究员MoustaphaCissé及其同事发现,类似的技术 - 他们称之为Houdini--可以用来欺骗语音识别和机器视觉系统,为图像和声音添加如此少量的数字噪音人类不会注意到为了找到欺骗这种系统的方法,黑客只需要知道算法在面对特定情况时所看到或听到的内容虽然没有证据表明现实世界中已经使用过这种类型的攻击,但牛津大学的Marta Kwiatkowska说,我们看到它们被使用只是时间问题 “目前我们没有任何保护,”她说,虽然容易受到这些攻击的系统已经在闭路电视摄像机中使用宾夕法尼亚州立大学的Nicolas Papernot对此表示赞同 “很可能机器学习将被用于攻击系统需要更多的研究来发明新的机器学习技术,以便我们可以将它们用作防御,“他说西塞发现无人驾驶汽车中使用的图像分类算法类型可以忽略行人或停放的汽车 “我认为我们应该担心如何确保我们投入汽车的神经网络是安全的,”他说 Facebook的研究表明,这种方法也可以扩展到语音识别系统 Cissé的团队将一小部分数字噪音插入到一个说出短语的人的录音中,并将该录音播放到Google Voice语音识别应用程序中在这个对抗性的例子中,该应用程序认为它听到了与实际说话的句子完全不同的句子但并不是每个人都确信攻击会在现实世界中发挥作用伊利诺伊大学厄本那 - 香槟分校的David Forsyth建造了一个假的停车标志,经过数字修改后试图欺骗这些算法他发现,当一个移动的摄像机观察到这些标志时 - 就像它们来自无人驾驶汽车一样 - 他们实际上并没有欺骗算法他说,对抗性的例子可能在完美的条件下工作,但在现实世界中,诸如照明和视角等因素可能会使它们更不成功 “这些攻击可能比他们看起来更难以实现,”他说人工智能研究实验室OpenAI通过博客文章回应了Forsyth的论文,该博客文章表明,即使从不同的距离和角度观看图像,也可以使用图像识别算法 Forsyth表示,主要的问题是我们仍然不知道为什么算法会对人类永远不会注意到的微小变化如此敏感 “我们基本上不明白他们内心发生了什么”参考文献:arxiv.org/abs/1707.05373阅读更多:人工智能之路:数据理论的一个案例;机器人更强大,更快,更耐用......而且可以攻击更多关于这些主题: