神经网络对抗攻击：图像识别的潜在危险

Aline744

现代社会中，图像识别已经是非常重要的计算机算法了，广泛运用于医疗、安保、自动驾驶等多个领域。然而该算法一定是安全的吗？很遗憾绝大多数的图像识别算法都是有漏洞的。尤其对于深度学习类的图像识别算法，可以使用特殊的手段来进行干扰，对于图像x与一个图像识别网络A(x)，我们可以训练另一个神经网络B，该网络的输入是图片（或无输入），输出是精心设计的色块或噪声信号，神经网络的误差函数定义为：
- (y - A(B + x))^2
即将神经网络B的输出叠加在原图像上，令这个叠加后的图像尽可能的降低神经网络A的识别正确率。
我们使用手写数字识别网络来验证这个想法：第一组实验里，我们在图像中加入三行条状遮挡物，结果神经网络的识别准确率由0.9下降到0.6；第二组实验里，我们在整张图片中加入微弱的噪声，结果神经网络的识别准确率由0.9下降到0.44。从图片中可以看出，这种遮挡对于人眼是无效的，但是却能强烈的干扰图像识别算法。这提示我们在训练图像识别网络时，要在网络中人为引入噪声增加网络的耐受性；同时切记不可将重要的网络泄露出去，给别有用心者以机会。

ceceky

这叫给 ai 投毒

Aline744

1. https://github.com/PJSDDL/adversarial-attack-for-MNIST

复制代码

JuncoJet

文字识别不都是KNN算法嘛

JuncoJet

实测确实不好识别

ssffzz1

这也就说明一个问题，算法不是智能。人工智能，应该叫人工算法。