无监督表征的原型对比学习

作者: | Junnan Li | Pan Zhou | Caiming Xiong | Richard Socher | Steven C. H. Hoi |

摘要:本文提出了原型对比学习(PCL),这是一种无监督的表征学习方法,解决了基于实例的对比学习的基本局限性。PCL不仅为实例识别任务学习底层特征,更重要的是,它将数据的语义结构隐式编码到学习的嵌入空间中。具体地说,我们引入原型作为潜在变量,以帮助在期望最大化框架下找到网络参数的最大似然估计。我们迭代地执行E-Step,即通过聚类找到原型的分布;M-Step,通过对比学习来优化网络。我们提出了ProtoNCE损失,这是InfoNCE损失的一种推广版本,用于对比学习,它鼓励表示更接近其指定的原型。PCL在多个无监督表示学习基准上获得了最先进的结果,在低资源转移任务中的准确率提高了10%以上。代码可在https://github.com/LiJunnan1992/PCL.上获得

论文地址

https://arxiv.org/abs/2005.04966v3

下载地址

https://arxiv.org/pdf/2005.04966v3.pdf

全部源码

https://github.com/LiJunnan1992/PCL 类型: pytorch

对比学习表示学习自监督图像分类半监督图像分类无监督表示学习

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

无监督表征的原型对比学习