分类：梯度

2021
08-08

pytorch 梯度NAN异常值的解决方案

pytorch梯度NAN异常值gradient为nan可能原因：1、梯度爆炸2、学习率太大3、数据本身有问题4、backward时，某些方法造成0在分母上，如：使用方法sqrt()定位造成nan的代码：importtorch#异常检测开启torch.autograd.set_detect_anomaly(True)#反向传播时检测是否有异常值，定位codewithtorch.autograd.detect_anomaly():loss.backward()pytorch处理inf和nan数值在构建网络框架后，运行代码，发现很多tensor出现了inf值或者na... 继续阅读 >

2020
10-08

浅谈matplotlib 绘制梯度下降求解过程

机器学习过程中经常需要可视化，有助于加强对模型和参数的理解。下面对梯度下降过程进行动图演示，可以修改不同的学习率，观看效果。importnumpyasnpimportmatplotlib.pyplotaspltfromIPythonimportdisplayX=2*np.random.rand(100,1)y=4+3*X+np.random.randn(100,1)#randn正态分布X_b=np.c_[np.ones((100,1)),X]#c_行数相等，左右拼接eta=0.1#学习率n_iter=1000#迭代次数m=100#样本点个数theta=n... 继续阅读 >