分类：混合精度训练

2021
07-12

pytorch 如何使用amp进行混合精度训练

简介AMP：Automaticmixedprecision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。在Pytorch1.5版本及以前，通过NVIDIA提供的apex库可以实现amp功能。但是在使用过程中会伴随着一些版本兼容和奇怪的报错问题。从1.6版本开始，Pytorch原生支持自动混合精度训练，并已进入稳定阶段，AMP训练能在TensorCoreGPU上实现更高的性能并节省多达50％的... 继续阅读 >