分类：异常值

2021
08-08

pytorch 梯度NAN异常值的解决方案

pytorch梯度NAN异常值gradient为nan可能原因：1、梯度爆炸2、学习率太大3、数据本身有问题4、backward时，某些方法造成0在分母上，如：使用方法sqrt()定位造成nan的代码：importtorch#异常检测开启torch.autograd.set_detect_anomaly(True)#反向传播时检测是否有异常值，定位codewithtorch.autograd.detect_anomaly():loss.backward()pytorch处理inf和nan数值在构建网络框架后，运行代码，发现很多tensor出现了inf值或者na... 继续阅读 >

2020
10-06

使用Numpy对特征中的异常值进行替换及条件替换方式

原始数据为Excel文件，由传感器获得，通过Pyhtonxlrd模块读入，读入后为数组形式，由于其存在部分异常值和缺失值，所以便利用Numpy对其中的异常值进行替换或条件替换。1.将'nan'替换为给定值importnumpyasnpdata=np.array([['nan',1,2,3,4],#数据类型为字符串型[10,15,20,25,'nan'],['nan',5,8,10,20]])print(data)#[['nan''1''2''3''4']#['10''15''20''25''nan']#['nan''5''8... 继续阅读 >