分类：BN层

2021
07-17

pytorch固定BN层参数的操作

背景：基于PyTorch的模型，想固定主分支参数，只训练子分支，结果发现在不同epoch相同的测试数据经过主分支输出的结果不同。原因：未固定主分支BN层中的running_mean和running_var。解决方法：将需要固定的BN层状态设置为eval。问题示例：环境：torch：1.7.0#-*-coding:utf-8-*-importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassNet(nn.Module):def__init__(self):super(Net,self).__init... 继续阅读 >

2021
07-09

pytorch中的model.eval()和BN层的使用

看代码吧~classConvNet(nn.module):def__init__(self,num_class=10):super(ConvNet,self).__init__()self.layer1=nn.Sequential(nn.Conv2d(1,16,kernel_size=5,stride=1,padding=2),nn.BatchNorm2d(16),nn.ReLU(),nn.MaxPool2d(kernel_size=2,stride=2))self.layer2=nn.S... 继续阅读 >

2020
10-08

可视化pytorch 模型中不同BN层的running mean曲线实例

加载模型字典逐一判断每一层，如果该层是bn的runningmean，就取出参数并取平均作为该层的代表对保存的每个BN层的数值进行曲线可视化fromfunctoolsimportpartialimportpickleimporttorchimportmatplotlib.pyplotaspltpth_path='checkpoint.pth'pickle.load=partial(pickle.load,encoding="latin1")pickle.Unpickler=partial(pickle.Unpickler,encoding="latin1")pretrained_dict=torch.load(pth_path,map_loc... 继续阅读 >

2020
10-08

浅谈pytorch中的BN层的注意事项

最近修改一个代码的时候，当使用网络进行推理的时候，发现每次更改测试集的batchsize大小竟然会导致推理结果不同，甚至产生错误结果，后来发现在网络中定义了BN层，BN层在训练过程中，会将一个Batch的中的数据转变成正太分布，在推理过程中使用训练过程中的参数对数据进行处理，然而网络并不知道你是在训练还是测试阶段，因此，需要手动的加上，需要在测试和训练阶段使用如下函数。model.train()ormodel.eval()BN类的定义见pyto... 继续阅读 >