分类：PyTorch

2021
07-09

PyTorch 如何自动计算梯度

PyTorch 如何自动计算梯度 在PyTorch中，torch.Tensor类是存储和变换数据的重要工具，相比于Numpy，Tensor提供GPU计算和自动求梯度等更多功能，在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本篇将介绍和总结如何使用autograd包来进行自动求梯度的有关操作。1.概念Tensor是这个pytorch的自动求导部分的核心类，如果将其属性.requires_grad=True，它将开始追踪(... 继续阅读 >
2021
07-09

pytorch训练神经网络爆内存的解决方案

pytorch训练神经网络爆内存的解决方案 训练的时候内存一直在增加，最后内存爆满，被迫中断。后来换了一个电脑发现还是这样，考虑是代码的问题。检查才发现我的代码两次存了loss，只有一个地方写的是loss.item（）。问题就在loss，因为loss是variable类型。要写成loss_train=loss_train+loss.item()，不能直接写loss_train=loss_train+loss。否则就会发现随着epoch的增加，占的内存也在一点一点增加。算是一个小坑吧，希望大家还是要仔细。补充：pytorch神经网络... 继续阅读 >
2021
07-09

解决Pytorch中的神坑:关于model.eval的问题

解决Pytorch中的神坑:关于model.eval的问题 有时候使用Pytorch训练完模型，在测试数据上面得到的结果令人大跌眼镜。这个时候需要检查一下定义的Model类中有没有BN或Dropout层，如果有任何一个存在那么在测试之前需要加入一行代码：#model是实例化的模型对象model=model.eval()表示将模型转变为evaluation（测试）模式，这样就可以排除BN和Dropout对测试的干扰。因为BN和Dropout在训练和测试时是不同的：对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致... 继续阅读 >
2021
07-09

Pytorch 中net.train 和 net.eval的使用说明

在训练模型时会在前面加上：model.train()在测试模型时在前面使用：model.eval()同时发现，如果不写这两个程序也可以运行，这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况，比如BatchNormalization和Dropout。训练时是正对每个min-batch的，但是在测试中往往是针对单张图片，即不存在min-batch的概念。由于网络训练完毕后参数都是固定的，因此每个批次的均值和方差都是不变的，因此直接结算所有batch的均值和方... 继续阅读 >
2021
07-09

对PyTorch中inplace字段的全面理解

例如torch.nn.ReLU(inplace=True)inplace=True表示进行原地操作，对上一层传递下来的tensor直接进行修改，如x=x+3；inplace=False表示新建一个变量存储操作结果，如y=x+3，x=y；inplace=True可以节省运算内存，不用多存储变量。补充：PyTorch中网络里面的inplace=True字段的意思在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢？有什么用？inplace=True的意思是进行原地操作，例如x=x+5，对x就是一个原地操作，y=x+5... 继续阅读 >
2021
07-09

pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作

pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作 F.avg_pool1d()数据是三维输入input维度：（batch_size,channels,width）channel可以看成高度kenerl维度：（一维:表示width的跨度）channel和输入的channel一致可以认为是矩阵的高度假设kernel_size=2,则每俩列相加求平均，stride默认和kernel_size保持一致，越界则丢弃（下面表示1，2列和3，4列相加求平均）input=torch.tensor([[1,1,1,1,1],[1,1,1,1,1],[0,0,0,1,1],[1,1,1,1,1],[1,1,1,1,1]]).unsqueeze(0).float()print(inp... 继续阅读 >
2021
07-09

Pytorch获取无梯度TorchTensor中的值

获取无梯度Tensor遇到的问题：使用两个网络并行运算，一个网络的输出值要给另一个网络反馈。而反馈的输出值带有网络权重的梯度，即grad_fn=<XXXBackward0>.这时候如果把反馈值扔到第二网络中更新，会出现第一个计算图丢失无法更新的错误。哎哟喂，我根本不需要第一个网络的梯度好吗？一开始用了一个笨办法，先转numpy，然后再转回torch.Tensor。因为numpy数据是不带梯度的。但是我的原始tensor的放在cuda上的，cuda的张量是不能直... 继续阅读 >
2021
07-08

Python深度学习之Pytorch初步使用

Python深度学习之Pytorch初步使用 目录一、Tensor二、Pytorch如何创建张量2.1创建张量2.2tensor与ndarray的关系2.3常用api2.4常用方法三、数据类型3.1获取数据类型四、tensor的其他操作4.1相加4.2tensor与数字的操作五、CUDA中的tensor一、TensorTensor(张量是一个统称，其中包括很多类型)：0阶张量：标量、常数、0-DTensor；1阶张量：向量、1-DTensor；2阶张量：矩阵、2-DTensor；……二、Pytorch如何创建张量2.1创建张量importtorcht=torch.Tens... 继续阅读 >
2021
07-08

我对PyTorch dataloader里的shuffle=True的理解

我对PyTorch dataloader里的shuffle=True的理解 对shuffle=True的理解：之前不了解shuffle的实际效果，假设有数据a,b,c,d，不知道batch_size=2后打乱，具体是如下哪一种情况：1.先按顺序取batch，对batch内打乱，即先取a,b，a,b进行打乱；2.先打乱，再取batch。证明是第二种shuffle(bool,optional):setto``True``tohavethedatareshuffledateveryepoch(default:``False``).ifshuffle:sampler=RandomSampler(dataset)#此时得到的是索引补充：简单测试一下py... 继续阅读 >
2021
07-08

pytorch 带batch的tensor类型图像显示操作

pytorch 带batch的tensor类型图像显示操作 项目场景pytorch训练时我们一般把数据集放到数据加载器里，然后分批拿出来训练。训练前我们一般还要看一下训练数据长啥样，也就是训练数据集可视化。那么如何显示dataloader里面带batch的tensor类型的图像呢？显示图像绘图最常用的库就是matplotlib：pipinstallmatplotlib显示图像会用到matplotlib.pyplot.imshow方法。查阅官方文档可知，该方法接收的图像的通道数要放到后面：数据加载器中数据的维度是[B,C,H,W]，我们每次只... 继续阅读 >
2021
07-08

解决pytorch下只打印tensor的数值不打印出device等信息的问题

解决pytorch下只打印tensor的数值不打印出device等信息的问题 torch.Tensor类型的数据loss和acc打印时如果写成以下写法print('batch_loss:'+str(loss.data)+'batchacc:'+str(acc.data))则不仅会打印出loss和acc的值，还会打印出device信息和tensor字样，如下：如果仅想打印出数值，使得打印出的信息更加简洁则要用以下写法print('batch_loss:{:.3f}batchacc:{:.3f}'.format(loss.data,acc.data))该写法还可控制输出格式，结果类似如下：补充：关于pytorch中用plt显示tensor的问题（te... 继续阅读 >
2021
07-08

Pytorch 如何查看、释放已关闭程序占用的GPU资源

Pytorch 如何查看、释放已关闭程序占用的GPU资源 看代码吧~importtorchprint(torch.cuda.current_device())print(torch.cuda.device_count())print(torch.cuda.get_device_name())print(torch.cuda.is_available())打开terminal输入nvidia-smi可以看到当前各个显卡及用户使用状况，如下图所示，使用kill-9pid(需替换成具体的编号)即可杀掉占用资源的程序，杀完后结果如下图所示，可以发现再也没有对应自己的程序了！补充一下师弟帮忙的记录截图，方便以后查询使用：补充：如何... 继续阅读 >
2021
07-08

pytorch 如何查看数据类型和大小

问题描述：查看tensor数据大小时使用了data.shape(),报错：TypeError:'torch.Size'objectisnotcallable或TypeError:'tuple'objectisnotcallable。解决方法：查看数据类型：data.dtype查看数据大小：data.shape补充：pytorchtensor比较大小数据类型要注意如下a=torch.tensor([[0,0],[0,0]])print(a>=0.5)输出tensor([[1,1],[1,1]],dtype=torch.uint8)结果明显不对,分析原因是因为,a是long类型,而0... 继续阅读 >
2021
07-08

pytorch中的squeeze函数、cat函数使用

1squeeze():去除size为1的维度，包括行和列。至于维度大于等于2时，squeeze()不起作用。行、例：>>>torch.rand(4,1,3)(0,.,.)=0.53910.85230.9260(1,.,.)=0.25070.95120.6578(2,.,.)=0.73020.35310.9442(3,.,.)=0.26890.43670.6610[torch.FloatTensorofsize4x1x3]>>>torch.rand(4,1,3).squeeze()0.08010.46000.17990.02360.71370.61280.02420.38470.45460.9004... 继续阅读 >
2021
07-08

聊聊Pytorch torch.cat与torch.stack的区别

聊聊Pytorch torch.cat与torch.stack的区别 torch.cat()函数可以将多个张量拼接成一个张量。torch.cat()有两个参数，第一个是要拼接的张量的列表或是元组；第二个参数是拼接的维度。torch.cat()的示例如下图1所示图1torch.cat()torch.stack()函数同样有张量列表和维度两个参数。stack与cat的区别在于，torch.stack()函数要求输入张量的大小完全相同，得到的张量的维度会比输入的张量的大小多1，并且多出的那个维度就是拼接的维度，那个维度的大小就是输入张量的个数。torch.... 继续阅读 >