分类：PyTorch

2020
10-08

浅谈pytorch中torch.max和F.softmax函数的维度解释

浅谈pytorch中torch.max和F.softmax函数的维度解释 在利用torch.max函数和F.Ssoftmax函数时，对应该设置什么维度，总是有点懵，遂总结一下：首先看看二维tensor的函数的例子：importtorchimporttorch.nn.functionalasFinput=torch.randn(3,4)print(input)tensor([[-0.5526,-0.0194,2.1469,-0.2567],[-0.3337,-0.9229,0.0376,-0.0801],[1.4721,0.1181,-2.6214,1.7721]])b=F.softmax(input,dim=0)#按列SoftMax,列和为1print(b)tensor([[0.1018,0.3918,... 继续阅读 >
2020
10-08

浅谈PyTorch中in-place operation的含义

in-placeoperation在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它成为原地操作符。在pytorch中经常加后缀“_”来代表原地in-placeoperation，比如说.add_()或者.scatter()。python里面的+=，*=也是in-placeoperation。下面是正常的加操作,执行结束加操作之后x的值没有发生变化：importtorchx=torch.rand(2)#tensor([0.8284,0.5539])print(x)y=torch.rand(2)print(x... 继续阅读 >
2020
10-08

pytorch 限制GPU使用效率详解(计算效率)

问题用过tensorflow的人都知道，tf可以限制程序在GPU中的使用效率，但pytorch中没有这个操作。思路于是我想到了一个代替方法，玩过单片机点灯的同学都知道，灯的亮度是靠占空比实现的，这实际上也是计算机的运行原理。那我们是不是也可以通过增加GPU不工作的时间，进而降低GPU的使用效率？主要代码importtime...rest_time=0.15...for_inrange(XXX):...outputs=all_GPU_operations(data_set)#假设... 继续阅读 >
2020
10-08

Pytorch 高效使用GPU的操作

Pytorch 高效使用GPU的操作 前言深度学习涉及很多向量或多矩阵运算，如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法，如BP，Auto-Encoder，CNN等，都可以写成矩阵运算的形式，无须写成循环运算。然而，在单核CPU上执行时，矩阵运算会被展开成循环的形式，本质上还是串行执行。GPU（GraphicProcessUnits，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着NVIDIA、AMD等公司不断推进其GPU的大规模并... 继续阅读 >
2020
10-08

使用pytorch实现论文中的unet网络

使用pytorch实现论文中的unet网络 设计神经网络的一般步骤：1.设计框架2.设计骨干网络Unet网络设计的步骤：1.设计Unet网络工厂模式2.设计编解码结构3.设计卷积模块4.unet实例模块Unet网络最重要的特征：1.编解码结构。2.解码结构，比FCN更加完善，采用连接方式。3.本质是一个框架，编码部分可以使用很多图像分类网络。示例代码：importtorchimporttorch.nnasnnclassUnet(nn.Module):#初始化参数：Encoder,Decoder,bridge#bridge默认值为无，如果有... 继续阅读 >
2020
10-08

pytorch VGG11识别cifar10数据集(训练+预测单张输入图片操作)

pytorch VGG11识别cifar10数据集(训练+预测单张输入图片操作) 首先这是VGG的结构图，VGG11则是红色框里的结构，共分五个block，如红框中的VGG11第一个block就是一个conv3-64卷积层：一，写VGG代码时，首先定义一个vgg_block(n,in,out)方法，用来构建VGG中每个block中的卷积核和池化层：n是这个block中卷积层的数目，in是输入的通道数，out是输出的通道数有了block以后，我们还需要一个方法把形成的block叠在一起，我们定义这个方法叫vgg_stack：defvgg_stack(num_convs,channels):#vgg_ne... 继续阅读 >
2020
10-08

pytorch SENet实现案例

pytorch SENet实现案例 我就废话不多说了，大家还是直接看代码吧~fromtorchimportnnclassSELayer(nn.Module):def__init__(self,channel,reduction=16):super(SELayer,self).__init__()//返回1X1大小的特征图，通道数不变self.avg_pool=nn.AdaptiveAvgPool2d(1)self.fc=nn.Sequential(nn.Linear(channel,channel//reduction,bias=False),nn.ReLU(inplace=True),nn.Linear(channel//reduction,channel,bias=False),... 继续阅读 >
2020
10-08

Pytorch mask-rcnn 实现细节分享

Pytorch mask-rcnn 实现细节分享 DataLoaderDataset不能满足需求需自定义继承torch.utils.data.Dataset时需要override__init__,__getitem__,__len__，否则DataLoader导入自定义Dataset时缺少上述函数会导致NotImplementedError错误Numpy广播机制：让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在前面加1补齐输出数组的shape是输入数组shape的各个轴上的最大值如果输入数组的某个轴和输出数组的对应轴的长度相同或者其长度为1时，这个... 继续阅读 >
2020
10-08

在Pytorch中使用Mask R-CNN进行实例分割操作

在Pytorch中使用Mask R-CNN进行实例分割操作 在这篇文章中，我们将讨论maskR-CNN背后的一些理论，以及如何在PyTorch中使用预训练的maskR-CNN模型。1.语义分割、目标检测和实例分割之前已经介绍过：1、语义分割：在语义分割中，我们分配一个类标签（例如。狗、猫、人、背景等）对图像中的每个像素。2、目标检测：在目标检测中，我们将类标签分配给包含对象的包围框。一个非常自然的想法是把两者结合起来。我们只想在一个对象周围识别一个包围框，并且找到包围框中的哪些像素... 继续阅读 >
2020
10-08

PyTorch中model.zero_grad()和optimizer.zero_grad()用法

PyTorch中model.zero_grad()和optimizer.zero_grad()用法 废话不多说，直接上代码吧~model.zero_grad()optimizer.zero_grad()首先，这两种方式都是把模型中参数的梯度设为0当optimizer=optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器defzero_grad(self):"""Setsgradientsofallmodelparameterstozero."""forpinself.parameters():ifp.gradisnotNone:p.grad.data.zero_()补充知识：Pytorch中的optimizer.zero_grad和loss和ne... 继续阅读 >
2020
10-08

Pytorch实现将模型的所有参数的梯度清0

有两种方式直接把模型的参数梯度设成0：model.zero_grad()optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时，两者等效如果想要把某一Variable的梯度置为0，只需用以下语句：Variable.grad.data.zero_()补充知识：PyTorch中在反向传播前为什么要手动将梯度清零？optimizer.zero_grad()的意义optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到，对于每... 继续阅读 >
2020
10-08

pytorch实现查看当前学习率

在pytorch训练过程中可以通过下面这一句代码来打印当前学习率print(net.optimizer.state_dict()['param_groups'][0]['lr'])补充知识：Pytorch：代码实现不同层设置不同的学习率，选择性学习某些层参数1，如何动态调整学习率在使用pytorch进行模型训练时，经常需要随着训练的进行逐渐降低学习率，在pytorch中给出了非常方面的方法：假设我们定义了一个优化器：importtorchimporttorch.nnasnnoptimizer=torch.optim(model.para... 继续阅读 >
2020
10-08

在pytorch中动态调整优化器的学习率方式

在深度学习中，经常需要动态调整学习率，以达到更好地训练效果，本文纪录在pytorch中的实现方法，其优化器实例为SGD优化器，其他如Adam优化器同样适用。一般来说，在以SGD优化器作为基本优化器，然后根据epoch实现学习率指数下降，代码如下:step=[10,20,30,40]base_lr=1e-4sgd_opt=torch.optim.SGD(model.parameters(),lr=base_lr,nesterov=True,momentum=0.9)defadjust_lr(epoch):lr=base_lr*(0.1**np.sum(epoch... 继续阅读 >
2020
10-08

基于pytorch中的Sequential用法说明

classtorch.nn.Sequential(*args)一个时序容器。Modules会以他们传入的顺序被添加到容器中。当然，也可以传入一个OrderedDict。为了更容易的理解如何使用Sequential,下面给出了一个例子：#ExampleofusingSequentialmodel=nn.Sequential(nn.Conv2d(1,20,5),nn.ReLU(),nn.Conv2d(20,64,5),nn.ReLU())#ExampleofusingSequentialwithOrderedDictmodel=nn.Sequential(OrderedDict([('c... 继续阅读 >