分类：PyTorch

2020
10-08

pytorch中的weight-initilzation用法

pytorch中的权值初始化官方论坛对weight-initilzation的讨论torch.nn.Module.apply(fn)torch.nn.Module.apply(fn)#递归的调用weights_init函数,遍历nn.Module的submodule作为参数#常用来对模型的参数进行初始化#fn是对参数进行初始化的函数的句柄,fn以nn.Module或者自己定义的nn.Module的子类作为参数#fn(Module->None)?functiontobeappliedtoeachsubmodule#Returns:self#Returntype:Module例子:defweights_... 继续阅读 >

2020
10-08

pytorch查看模型weight与grad方式

在用pdbdebug的时候，有时候需要看一下特定layer的权重以及相应的梯度信息，如何查看呢？1.首先把你的模型打印出来，像这样2.然后观察到model下面有module的key，module下面有features的key，features下面有(0)的key，这样就可以直接打印出weight了，在pdbdebug界面输入pmodel.module.features[0].weight，就可以看到weight，输入pmodel.module.features[0].weight.grad就可以查看梯度信息补充知识：查看Pytorch网络的各层... 继续阅读 >

2020
10-08

pytorch  网络参数 weight bias 初始化详解

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。注意：第一种方法不推荐。尽量使用后两种方法。#notrecommenddefweights_init(m):classname=m.__class__.__name__ifclassname.find('Conv')!=-1:m.weight.data.normal_(0.0,0.02)elifclassname.find('BatchNorm')!=-1:m.weight.data.normal_(1.0,0.02)m.bi... 继续阅读 >

2020
10-08

可视化pytorch 模型中不同BN层的running mean曲线实例

加载模型字典逐一判断每一层，如果该层是bn的runningmean，就取出参数并取平均作为该层的代表对保存的每个BN层的数值进行曲线可视化fromfunctoolsimportpartialimportpickleimporttorchimportmatplotlib.pyplotaspltpth_path='checkpoint.pth'pickle.load=partial(pickle.load,encoding="latin1")pickle.Unpickler=partial(pickle.Unpickler,encoding="latin1")pretrained_dict=torch.load(pth_path,map_loc... 继续阅读 >

2020
10-08

pytorch 计算ConvTranspose1d输出特征大小方式

问题：如何经过convTransposed1d输出指定大小的特征？importtorchfromtorchimportnnimporttorch.nn.functionalasFconv1=nn.Conv1d(1,2,3,padding=1)conv2=nn.Conv1d(in_channels=2,out_channels=4,kernel_size=3,padding=1)#转置卷积dconv1=nn.ConvTranspose1d(4,1,kernel_size=3,stride=2,padding=1,output_padding=1)x=torch.randn(16,1,8)print(x.size())x1=conv1(x)x2=conv2(x1)print(x2.size... 继续阅读 >

2020
10-08

pytorch判断是否cuda 判断变量类型方式

我就废话不多说了，那就直接看代码吧~inputs=Variable(torch.randn(2,2))inputs.is_cuda#willreturnfalseinputs=Variable(torch.randn(2,2).cuda())inputs.is_cuda#returnstrue判断：torch.is_tensor()#如果是pytorch的tensor类型返回truetorch.is_storage()#如果是pytorch的storage类型返回ture这里还有一个小技巧，如果需要判断tensor是否为空，可以如下>>>a=torch.Tensor()>>>len(a)0>>>len(a)is0True设置：... 继续阅读 >

2020
10-08

Pytorch 解决自定义子Module .cuda() tensor失败的问题

最近在刚从tensorflow转入pytorch，对于自定义的nn.Module碰到了个问题，即使把模组modle=Model().cuda()，里面的子Module的parameter都没有被放入cuda，导致输入是torch.cuda.FloatTensor，但是比如CNN的weight却还是torch.FloatTensor（当然最粗暴的方法就是直接在子模组里面都用了.cuda()但是问题并不在那，可能是调用子模组的时候，存在某些错误，导致父模组没有把子模组的parameter注册到pytorch中。而我遇到的错误就是，... 继续阅读 >

2020
10-08

pytorch cuda上tensor的定义 以及减少cpu的操作详解

cuda上tensor的定义a=torch.ones(1000,1000,3).cuda()某一gpu上定义cuda1=torch.device('cuda:1')b=torch.randn((1000,1000,1000),device=cuda1)删除某一变量dela在cpu定义tensor然后转到gputorch.zeros().cuda()直接在gpu上定义，这样就减少了cpu的损耗torch.cuda.FloatTensor(batch_size,self.hidden_dim,self.height,self.width).fill_(0)补充知识：pytorchcuda.FloatTensor->FloatTensor错误类型：RuntimeError:In... 继续阅读 >

2020
10-08

pytorch 查看cuda 版本方式

由于pytorch的whl安装包名字都一样，所以我们很难区分到底是基于cuda的哪个版本。有一条指令可以查看importtorchprint(torch.version.cuda)补充知识：pytorch：网络定义参数的时候后面不能加".cuda()"pytorch定义网络__init__()的时候，参数不能加“cuda()",不然参数不包含在state_dict()中，比如下面这种写法是错误的self.W1=nn.Parameter(torch.FloatTensor(3,3),requires_grad=True).cuda()应该去掉".cuda()"self.W1=n... 继续阅读 >

2020
10-08

PyTorch-GPU加速实例

硬件：NVIDIA-GTX1080软件：Windows7、python3.6.5、pytorch-gpu-0.4.1一、基础知识将数据和网络都推到GPU，接上.cuda()二、代码展示importtorchimporttorch.nnasnnimporttorch.utils.dataasDataimporttorchvision#torch.manual_seed(1)EPOCH=1BATCH_SIZE=50LR=0.001DOWNLOAD_MNIST=Falsetrain_data=torchvision.datasets.MNIST(root='./mnist/',train=True,transform=torchvision.transforms.ToTensor(),... 继续阅读 >

2020
10-08

解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题

背景在公司用多卡训练模型，得到权值文件后保存，然后回到实验室，没有多卡的环境，用单卡训练，加载模型时出错，因为单卡机器上，没有使用DataParallel来加载模型，所以会出现加载错误。原因DataParallel包装的模型在保存时，权值参数前面会带有module字符，然而自己在单卡环境下，没有用DataParallel包装的模型权值参数不带module。本质上保存的权值文件是一个有序字典。解决方法1.在单卡环境下，用DataParallel包装模型。2.自己... 继续阅读 >

2020
10-08

浅谈pytorch中的BN层的注意事项

最近修改一个代码的时候，当使用网络进行推理的时候，发现每次更改测试集的batchsize大小竟然会导致推理结果不同，甚至产生错误结果，后来发现在网络中定义了BN层，BN层在训练过程中，会将一个Batch的中的数据转变成正太分布，在推理过程中使用训练过程中的参数对数据进行处理，然而网络并不知道你是在训练还是测试阶段，因此，需要手动的加上，需要在测试和训练阶段使用如下函数。model.train()ormodel.eval()BN类的定义见pyto... 继续阅读 >

2020
10-08

踩坑:pytorch中eval模式下结果远差于train模式介绍

首先，eval模式和train模式得到不同的结果是正常的。我的模型中，eval模式和train模式不同之处在于BatchNormalization和Dropout。Dropout比较简单，在train时会丢弃一部分连接，在eval时则不会。BatchNormalization，在train时不仅使用了当前batch的均值和方差，也使用了历史batch统计上的均值和方差，并做一个加权平均（momentum参数）。在test时，由于此时batchsize不一定一致，因此不再使用当前batch的均值和方差，仅使用历史... 继续阅读 >

2020
10-08

pytorch掉坑记录:model.eval的作用说明

训练完train_datasets之后，model要来测试样本了。在model(test_datasets)之前，需要加上model.eval().否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有batchnormalization层所带来的的性质。在做oneclassification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。补充知识：pytorch测试的时候为何要加上model.eval（）Doneedtousemodel.eval()whenItest?Sure,Dropoutworks... 继续阅读 >

2020
10-08

基于PyTorch的permute和reshape/view的区别介绍

二维的情况先用二维tensor作为例子，方便理解。permute作用为调换Tensor的维度，参数为调换的维度。例如对于一个二维Tensor来说，调用tensor.permute(1,0)意为将1轴（列轴）与0轴（行轴）调换，相当于进行转置。In[20]:aOut[20]:tensor([[0,1,2],[3,4,5]])In[21]:a.permute(1,0)Out[21]:tensor([[0,3],[1,4],[2,5]])如果使用view(3,2)或reshape(3,2)，得到的tensor并不是转置的效... 继续阅读 >

2020
10-08

pytorch快速搭建神经网络_Sequential操作

之前用Class类来搭建神经网络classNeuro_net(torch.nn.Module):"""神经网络"""def__init__(self,n_feature,n_hidden_layer,n_output):super(Neuro_net,self).__init__()self.hidden_layer=torch.nn.Linear(n_feature,n_hidden_layer)self.output_layer=torch.nn.Linear(n_hidden_layer,n_output)defforward(self,input):hidden_out=torch.relu(self.hidden_layer(input))out=self.out... 继续阅读 >