模拟CNNs前方的初级视觉皮层可提高对图像扰动的鲁棒性

作者: | Joel Dapello | Tiago Marques | Martin Schrimpf | Franziska Geiger | David Cox | James J. DiCarlo |

摘要:目前最先进的目标识别模型很大程度上是基于卷积神经网络(CNN)结构的,这些结构松散地受到灵长类视觉系统的启发。然而,这些CNN可能会被潜移默化的、明显精心制作的扰动所愚弄,并且很难识别损坏图像中的对象,而这些图像很容易被人类识别。在这里,通过与灵长类神经数据的比较,我们首先观察到,具有与灵长类初级视觉皮层(V1)更匹配的神经隐含层的CNN模型对对手攻击也更健壮。受此启发,我们开发了VOneNets,一种新的混合CNN视觉模型。每个VOneNet包含一个固定权重的神经网络前端,它模拟灵长类V1,称为VOneBlock,后面是一个根据当前CNN视觉模型改编的神经网络后端。VOneBlock基于V1的一个经典神经科学模型:线性-非线性-泊松模型,由生物约束的加博过滤库、简单和复杂的细胞非线性以及V1神经元随机产生器组成。经过训练后,VOneNet保持了较高的ImageNet性能,但每个VOneNet都更健壮,在由白盒对抗性攻击和常见图像损坏组成的综合基准上,性能分别比基本CNN和最先进的方法高出18%和3%。最后,我们展示了VOneBlock的所有组件协同工作以提高健壮性。虽然目前的CNN架构可以说是受大脑启发的,但这里展示的结果表明,更精确地模仿灵长类视觉系统的一个阶段会在ImageNet级别的计算机视觉应用中带来新的收益。

论文地址

http://proceedings.neurips.cc/paper/2020/hash/98b17f068d5d9b7668e19fb8ae470841-Abstract.html

下载地址

http://proceedings.neurips.cc/paper/2020/file/98b17f068d5d9b7668e19fb8ae470841-Paper.pdf

全部源码

https://github.com/dicarlolab/vonenet 类型: pytorch

NeurIPS 2020对象识别

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

模拟CNNs前方的初级视觉皮层可提高对图像扰动的鲁棒性