基于语义数据增强的深层网络正则化

作者: | Yulin Wang | Gao Huang | Shiji Song | Xuran Pan | Yitong Xia | Cheng Wu |

摘要:众所周知,数据增强是一种简单但令人惊讶的有效技术,用于规则化深层网络。传统的数据扩充方案,例如翻转、平移或旋转,是低级、独立于数据和与类别无关的操作,导致扩充样本的有限分集。为此,我们提出了一种新的语义数据扩充算法来补充传统方法。该方法的灵感来自于深层网络在学习线性化特征层面是有效的,即深层特征空间中的某些方向对应于有意义的语义变换,例如,改变目标的背景或视角。基于这一观察,在特征空间中沿多个这样的方向平移训练样本可以有效地增加数据集的多样性。为了实现这一思想,我们首先引入了一种基于采样的方法来高效地获取有语义意义的方向。然后,通过假设扩充样本数为无穷大,推导出扩充训练集上期望交叉熵(CE)损失的上界,从而得到一种高效的算法。事实上,我们证明了所提出的隐式语义数据增强(ISDA)算法相当于最小化了一种新的鲁棒CE损失,它给正常的训练过程增加了最小的额外计算代价。除了监督学习,ISDA还可以应用于一致性正则化框架下的半监督学习任务,其中ISDA相当于最小化扩充特征和原始特征之间的期望KL-发散度的上界。虽然简单,但ISDA在CIFAR-10、CIFAR-100、SVHN、ImageNet、Citycapes和MS Coco等各种数据集上持续改进了流行的深度模型(例如ResNet和DenseNets)的泛化性能。

论文地址

https://arxiv.org/abs/2007.10538v2

下载地址

https://arxiv.org/pdf/2007.10538v2.pdf

全部源码

https://github.com/blackfeather-wang/ISDA-for-Deep-Networks 类型: pytorch

数据扩充

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

基于语义数据增强的深层网络正则化