分类：检查模型梯度

2021
08-08

PyTorch 如何检查模型梯度是否可导

一、PyTorch检查模型梯度是否可导当我们构建复杂网络模型或在模型中加入复杂操作时，可能会需要验证该模型或操作是否可导，即模型是否能够优化，在PyTorch框架下，我们可以使用torch.autograd.gradcheck函数来实现这一功能。首先看一下官方文档中关于该函数的介绍：可以看到官方文档中介绍了该函数基于何种方法，以及其参数列表，下面给出几个例子介绍其使用方法，注意：Tensor需要是双精度浮点型且设置requires_grad=True第一... 继续阅读 >