FracTrain:在时间和空间上小幅压缩比特节省,以实现高效的DNN训练

作者: | Yonggan Fu | Haoran You | Yang Zhao | Yue Wang | Chaojian Li | Kailash Gopalakrishnan | Zhangyang Wang | Yingyan Lin |

摘要:深度神经网络(DNNs)最近的突破推动了对具有现场学习功能的智能边缘设备的巨大需求,而由于边缘可用的资源有限,以及最先进的DNN(SOTA)所需的巨额培训成本,此类系统的实际实现仍然是一个挑战。由于降低精度是提高训练时间/能量效率的最有效的手段之一,低精度DNN训练受到越来越多的关注。在本文中,我们从一个正交的方向来探索:如何从最冗余的比特级别,沿着训练轨迹渐进地,动态地每输入一次,逐级地挤出更多的训练成本节约。具体地说,我们提出了分数训练,它集成了(I)渐进分数量化,它逐渐提高激活、权重和梯度的精度,这些直到最后的训练阶段才能达到Sota静电量化的离散神经网络训练的精度,以及(Ii)动态分数量化,它以一种输入自适应的方式为每一层的激活和梯度分配精度,只用于“分数地”更新层参数。广泛的模拟和消融研究(6个模型、4个数据集和包括标准、自适应和微调在内的3个训练设置)验证了FracTrain在降低DNN训练的计算成本和硬件量化的能量/潜伏期方面的有效性,同时获得了相当或更好的(-0.12%~+1.87%)精度。例如,当在CIFAR-10上训练ResNet-74时,与最佳SOTA基准相比,FracTrain分别节省了77.6%和53.5%的计算成本和训练延迟,同时实现了相当(-0.07%)的准确率。我们的代码可在以下网址获得:https://github.com/RICE-EIC/FracTrain.

论文地址

https://arxiv.org/abs/2012.13113v1

下载地址

https://arxiv.org/pdf/2012.13113v1.pdf

全部源码

https://github.com/RICE-EIC/FracTrain 类型: pytorch

NeurIPS 2020量化

相关推荐

暂无评论

微信扫一扫,分享到朋友圈

FracTrain:在时间和空间上小幅压缩比特节省,以实现高效的DNN训练