分类：避免训练loss

2021
07-09

PyTorch梯度裁剪避免训练loss nan的操作

近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现loss为nan的情况。PyTorch中采用torch.nn.utils.clip_grad_norm_来实现梯度裁剪，链接如下：https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html训练代码使用示例如下：fromtorch.nn.utilsimportclip_grad_norm_outputs=mode... 继续阅读 >