超越准确性:通过测量错误一致性来量化CNN和人类的逐项试验行为

作者: | Robert Geirhos | Kristof Meding | Felix A. Wichmann |

摘要:认知科学和行为神经科学以及机器学习和人工智能研究的一个中心问题是确定两个或更多的决策者(无论是大脑还是算法)是否使用相同的策略。仅靠精确度不能区分策略:两个系统可能使用非常不同的策略实现类似的精确度。如果两个系统的性能接近天花板,比如卷积神经网络(CNNs)和人类对视觉对象的识别,那么区分精度之外的需求就显得尤为迫切。在这里,我们引入逐次试错一致性,这是一种定量分析,用来衡量两个决策系统是否在相同的输入上系统地犯了错误。在逐个试验的基础上犯下一致的错误是决策者之间采取类似处理策略的必要条件。我们的分析适用于算法与算法的比较,人与人的比较,以及算法与人的比较。在将错误一致性应用于目标识别时,我们得到了三个主要发现:(1)不管体系结构如何,CNN之间都非常一致。(2)然而,CNN和人类观察者之间的一致性仅略高于仅凭偶然所能预期的水平--这表明人类和CNN很可能实施了截然不同的策略。(3)Cornet-S是一个被称为“当前灵长类腹侧视流的最佳模型”的递归模型,它未能捕捉到人类行为数据的基本特征,在我们的分析中,它的行为本质上就像一个标准的纯前馈ResNet-50。总而言之,错误一致性分析表明,人类和机器视觉使用的策略仍然非常不同--但我们设想我们的通用错误一致性分析将成为量化未来进展的富有成效的工具。

论文地址

https://arxiv.org/abs/2006.16736v3

下载地址

https://arxiv.org/pdf/2006.16736v3.pdf

全部源码

https://github.com/wichmann-lab/error-consistency

NeurIPS 2020决策对象识别

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

超越准确性:通过测量错误一致性来量化CNN和人类的逐项试验行为