基于像素的生成性预训练

作者: | Mark Chen | Alec Radford | Rewon Child | Jeff Wu | Heewoo Jun | Prafulla Dhariwal | David Luan | Ilya Sutskever |

摘要:受自然语言无监督表征学习进展的启发,我们考察了相似模型是否能够学习有用的图像表征。我们训练序列变换器来自动回归预测像素,而不需要结合2D输入结构的知识。尽管在没有标签的低分辨率ImageNet上进行了训练,我们发现GPT-2比例模型通过线性探测、微调和低数据分类来学习强图像表示。在CIFAR-10上,我们用线性探针获得了96.3%的准确率,超过了有监督的宽ResNet,在完全微调的情况下达到了99.0%的准确率,与顶级有监督的预训练模型相匹配。在ImageNet和Web图像的混合上训练的更大的模型与ImageNet上的自监督基准竞争,在我们的功能的线性探头上达到了72.0%的TOP-1准确率。

论文地址

https://openai.com/blog/image-gpt/

下载地址

https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf

全部源码

https://github.com/openai/image-gpt 类型: tensorflow

https://github.com/teddykoker/image-gpt 类型: pytorch

预印本2020表示学习自监督图像分类非监督表示学习

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

基于像素的生成性预训练