分类：PyTorch

2021
03-02

Pytorch如何切换 cpu和gpu的使用详解

前言，在pytorch中，当服务器上的gpu被占用时，很多时候我们想先用cpu调试下代码，那么就需要进行gpu和cpu的切换。方法1：x.to(device)把device作为一个可变参数，推荐使用argparse进行加载：使用gpu时：device='cuda'x.to(device)#x是一个tensor，传到cuda上去使用cpu时：device='cpu'x.to(device)方法2：使用x.cuda()+CUDA_VISIBLE_DEVICES很多贴子中说，使用x.cuda()和x.to('cuda')虽然是等效的，但是x.cuda()的缺点是... 继续阅读 >

2021
02-28

Pytorch - TORCH.NN.INIT 参数初始化的操作

路径：https://pytorch.org/docs/master/nn.init.html#nn-init-doc初始化函数：torch.nn.init#-*-coding:utf-8-*-"""Createdon2019@author:fancp"""importtorchimporttorch.nnasnnw=torch.empty(3,5)#1.均匀分布-u(a,b)#torch.nn.init.uniform_(tensor,a=0.0,b=1.0)print(nn.init.uniform_(w))#=============================================================================#tensor([[0.9160,0.1832,0.52... 继续阅读 >

2021
02-27

pytorch __init__、forward与__call__的用法小结

1.介绍当我们使用pytorch来构建网络框架的时候，也会遇到和tensorflow（tensorflow__init__、build和call小结）类似的情况，即经常会遇到__init__、forward和call这三个互相搭配着使用，那么它们的主要区别又在哪里呢？1）__init__主要用来做参数初始化用，比如我们要初始化卷积的一些参数，就可以放到这里面，这点和tf里面的用法是一样的2）forward是表示一个前向传播，构建网络层的先后运算步骤3）__call__的功能其实和forward... 继续阅读 >

2021
02-26

pytorch 中forward 的用法与解释说明

前言最近在使用pytorch的时候，模型训练时，不需要使用forward，只要在实例化一个对象中传入对应的参数就可以自动调用forward函数即：forward的使用classModule(nn.Module):def__init__(self):super(Module,self).__init__()#......defforward(self,x):#......returnxdata=.....#输入数据#实例化一个对象module=Module()#前向传播module(data)#而不是使用下面的#module.forward(data)实际上modu... 继续阅读 >

2021
02-21

解决pytorch下出现multi-target not supported at的一种可能原因

在使用交叉熵损失函数的时候，target的形状应该是和label的形状一致或者是只有batchsize这一个维度的。如果target是这样的【batchszie，1】就会出现上述的错误。改一下试试，用squeeze（）函数降低纬度，如果不知道squeeze怎么用的，可以参考这篇文章。pytorch下的unsqueeze和squeeze用法这只是一种可能的原因。补充：pytorch使用中遇到的问题1.load模型参数文件时，提示torch.cuda.is_available()isFalse。按照pytorch官方网页... 继续阅读 >

2021
02-21

pytorch下的unsqueeze和squeeze的用法说明

#squeeze函数：从数组的形状中删除单维度条目，即把shape中为1的维度去掉#unsqueeze()是squeeze()的反向操作，增加一个维度，该维度维数为1，可以指定添加的维度。例如unsqueeze(a,1)表示在1这个维度进行添加importtorcha=torch.rand(2,3,1)print(torch.unsqueeze(a,2).size())#torch.Size([2,3,1,1])print(a.size())#torch.Size([2,3,1])print(a.squeeze().size())#torch.Size([2,3])print(a.squ... 继续阅读 >

2021
02-02

Pytorch 图像变换函数集合小结

一、必要的python模块PyTorch的Vision模块提供了图像变换的很多函数.torchvision/transforms/functional.pyfrom__future__importdivisionimporttorchimportsysimportmathfromPILimportImage,ImageOps,ImageEnhance,PILLOW_VERSIONtry:importaccimageexceptImportError:accimage=Noneimportnumpyasnpimportnumbersimportcollectionsimportwarningsimportmatplotlibaspltifsys.version_info<(3,... 继续阅读 >

2021
01-08

pytorch中index_select()的用法详解

pytorch中index_select()的用法index_select(input,dim,index)功能:在指定的维度dim上选取数据,不如选取某些行,列参数介绍第一个参数input是要索引查找的对象第二个参数dim是要查找的维度,因为通常情况下我们使用的都是二维张量,所以可以简单的记忆:0代表行,1代表列第三个参数index是你要索引的序列,它是一个tensor对象刚开始学习pytorch，遇到了index_select(),一开始不太明白几个参数的意思，后来查了一下资料，算是明... 继续阅读 >

2021
01-03

Pytorch1.5.1版本安装的方法步骤

查看自己cuda版本，我的cuda是11版本了，所以可以安装11版本以下的任何版本。进入pytorch官网官网网址：https://pytorch.org/2020年11月19号，更新最简单的是直接按官网给的RunthisCommand命令，直接安装，如下：condainstallpytorchtorchvisiontorchaudiocudatoolkit=10.2-cpytorch解释：-cpytorch，意思是从pytorch网站下载，速度感人，有办法的那就方便多了。按照上面图这样选择，安装pytorch有GPU加速的版本，安装命... 继续阅读 >

2020
12-10

PyTorch 中的傅里叶卷积实现示例

卷积卷积在数据分析中无处不在。几十年来，它们一直被用于信号和图像处理。最近，它们成为现代神经网络的重要组成部分。如果你处理数据的话，你可能会遇到错综复杂的问题。数学上，卷积表示为：尽管离散卷积在计算应用程序中更为常见，但在本文的大部分内容中我将使用连续形式，因为使用连续变量来证明卷积定理(下面讨论)要容易得多。之后，我们将回到离散情况，并使用傅立叶变换在PyTorch中实现它。离散卷积可以看作是连续卷积... 继续阅读 >

2020
12-10

弄清Pytorch显存的分配机制

对于显存不充足的炼丹研究者来说，弄清楚Pytorch显存的分配机制是很有必要的。下面直接通过实验来推出Pytorch显存的分配过程。实验实验代码如下：importtorchfromtorchimportcudax=torch.zeros([3,1024,1024,256],requires_grad=True,device='cuda')print("1",cuda.memory_allocated()/1024**2)y=5*xprint("2",cuda.memory_allocated()/1024**2)torch.mean(y).backward()print("3",cuda.memory_allo... 继续阅读 >

2020
12-10

PyTorch中clone()、detach()及相关扩展详解

clone()与detach()对比Torch为了提高速度，向量或是矩阵的赋值是指向同一内存的，这不同于Matlab。如果需要保存旧的tensor即需要开辟新的存储地址而不是引用，可以用clone()进行深拷贝，首先我们来打印出来clone()操作后的数据类型定义变化：(1).简单打印类型importtorcha=torch.tensor(1.0,requires_grad=True)b=a.clone()c=a.detach()a.data*=3b+=1print(a)#tensor(3.,requires_grad=True)print(b)print(... 继续阅读 >

2020
12-10

PyTorch中的拷贝与就地操作详解

前言PyTroch中我们经常使用到Numpy进行数据的处理，然后再转为Tensor，但是关系到数据的更改时我们要注意方法是否是共享地址，这关系到整个网络的更新。本篇就In-palce操作，拷贝操作中的注意点进行总结。In-place操作pytorch中原地操作的后缀为_，如.add_()或.scatter_()，就地操作是直接更改给定Tensor的内容而不进行复制的操作，即不会为变量分配新的内存。Python操作类似+=或*=也是就地操作。（我加了我自己~）为什么in-place... 继续阅读 >

2020
11-19

Pytorch实验常用代码段汇总

1.大幅度提升Pytorch的训练速度device=torch.device("cuda"iftorch.cuda.is_available()else"cpu")torch.backends.cudnn.benchmark=True但加了这一行，似乎运行结果不一样了。2.把原有的记录文件加个后缀变为.bak文件，避免直接覆盖#fromco-teachingtraincodetxtfile=save_dir+"/"+model_str+"_%s.txt"%str(args.optimizer)##goodjob！nowTime=datetime.datetime.now().strftime('%Y-%m-%d-%H:%M:%S... 继续阅读 >

2020
11-19

Ubuntu配置Pytorch on Graph (PoG)环境过程图解

最近准备复现一下KDD-20TowardsDeeperGraphNeuralNetworks的代码，顺便学习一下GCN最新的一些进展。GCN的代码通常需要安装PytorchonGraph,按照其官方指导,发现无法兼容当前所使用的服务器上的pytorch1.3和cuda10.0环境,需要升级cuda和pytorch的版本。于是准备重新安装一个虚拟环境，使用上cuda10.2和pytorch1.6。1.安装Cuda10.2以及对应版本的Cudnn安装cuda10.2，wgethttp://developer.downlo... 继续阅读 >

2020
11-19

PyTorch预训练Bert模型的示例

本文介绍以下内容：1.使用transformers框架做预训练的bert-base模型；2.开发平台使用Google的Colab平台，白嫖GPU加速；3.使用datasets模块下载IMDB影评数据作为训练数据。transformers模块简介transformers框架为Huggingface开源的深度学习框架，支持几乎所有的Transformer架构的预训练模型。使用非常的方便，本文基于此框架，尝试一下预训练模型的使用，简单易用。本来打算预训练bert-large模型，发现colab上GPU显存不够用，只... 继续阅读 >