分类：PyTorch

2021
03-05

Pytorch之扩充tensor的操作

我就废话不多说了，大家还是直接看代码吧~b=torch.zeros((3,2,6,6))a=torch.zeros((3,2,1,1))a.expand_as(b).size()Out[32]:torch.Size([3,2,6,6])a=torch.zeros((3,2,2,1))a.expand_as(b).size()Traceback(mostrecentcalllast):File"/home/lart/.conda/envs/pt/lib/python3.6/site-packages/IPython/core/interactiveshell.py",line3267,inrun_codeexec(code_obj,self.user_global_ns,self.user... 继续阅读 >
2021
03-05

pytorch 把图片数据转化成tensor的操作

pytorch 把图片数据转化成tensor的操作 摘要：在图像识别当中，一般步骤是先读取图片，然后把图片数据转化成tensor格式，再输送到网络中去。本文将介绍如何把图片转换成tensor。一、数据转换把图片转成成torch的tensor数据，一般采用函数：torchvision.transforms。通过一个例子说明，先用opencv读取一张图片，然后在转换；注意一点是：opencv储存图片的格式和torch的储存方式不一样，opencv储存图片格式是（H,W,C），而torch储存的格式是（C,H,W）。importtorchvision.... 继续阅读 >
2021
03-05

pytorch 计算Parameter和FLOP的操作

pytorch 计算Parameter和FLOP的操作 深度学习中，模型训练完后，查看模型的参数量和浮点计算量，在此记录下：1THOP在pytorch中有现成的包thop用于计算参数数量和FLOP，首先安装thop：pipinstallthop注意安装thop时可能出现如下错误：解决方法：pipinstall--upgradegit+https://github.com/Lyken17/pytorch-OpCounter.git#下载源码安装使用方法如下：fromtorchvision.modelsimportresnet50#引入ResNet50模型fromthopimportprofilemodel=resnet50()fl... 继续阅读 >
2021
03-05

Pytorch实现WGAN用于动漫头像生成

WGAN与GAN的不同去除sigmoid使用具有动量的优化方法，比如使用RMSProp要对Discriminator的权重做修整限制以确保lipschitz连续约WGAN实战卷积生成动漫头像 importtorchimporttorch.nnasnnimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderfromtorchvision.utilsimportsave_imageimportosfromanime_face_generator.datasetimportImageDatasetbatch_size=32num_epoch... 继续阅读 >
2021
03-05

对Pytorch 中的contiguous理解说明

对Pytorch 中的contiguous理解说明 最近遇到这个函数，但查的中文博客里的解释貌似不是很到位，这里翻译一下stackoverflow上的回答并加上自己的理解。在pytorch中，只有很少几个操作是不改变tensor的内容本身，而只是重新定义下标与元素的对应关系的。换句话说，这种操作不进行数据拷贝和数据的改变，变的是元数据。这些操作是：narrow()，view()，expand()和transpose()举个栗子，在使用transpose()进行转置操作时，pytorch并不会创建新的、转置后的tensor，而是修... 继续阅读 >
2021
03-05

基于PyTorch中view的用法说明

相当于numpy中resize（）的功能，但是用法可能不太一样。我的理解是：把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6]，因为它们排成一维向量都是6个元素，所以只要view后面的参数一致，得到的结果都是一样的。比如，a=torch.Tensor([[[1,2,3],[4,5,6]]])b=torch.Tensor([1... 继续阅读 >
2021
03-05

对pytorch中x = x.view(x.size(0), -1) 的理解说明

在pytorch的CNN代码中经常会看到x.view(x.size(0),-1)首先，在pytorch中的view()函数就是用来改变tensor的形状的，例如将2行3列的tensor变为1行6列，其中-1表示会自适应的调整剩余的维度a=torch.Tensor(2,3)print(a)#tensor([[0.0000,0.0000,0.0000],#[0.0000,0.0000,0.0000]])print(a.view(1,-1))#tensor([[0.0000,0.0000,0.0000,0.0000,0.0000,0.0000]])在CNN中卷积或者池化之后需要连接全连接层，所以需要把... 继续阅读 >
2021
03-05

Pytorch 中的optimizer使用说明

与优化函数相关的部分在torch.optim模块中，其中包含了大部分现在已有的流行的优化方法。如何使用Optimizer要想使用optimizer，需要创建一个optimizer对象，这个对象会保存当前状态，并根据梯度更新参数。怎样构造Optimizer要构造一个Optimizer，需要使用一个用来包含所有参数（Tensor形式）的iterable，把相关参数（如learningrate、weightdecay等）装进去。注意，如果想要使用.cuda()方法来将model移到GPU中，一定要确保这一... 继续阅读 >
2021
03-05

解决pytorch 的state_dict()拷贝问题

先说结论model.state_dict()是浅拷贝，返回的参数仍然会随着网络的训练而变化。应该使用deepcopy(model.state_dict())，或将参数及时序列化到硬盘。再讲故事，前几天在做一个模型的交叉验证训练时，通过model.state_dict()保存了每一组交叉验证模型的参数，后根据效果选择准确率最佳的模型load回去，结果每一次都是最后一个模型，从地址来看，每一个保存的state_dict()都具有不同的地址，但进一步发现state_dict()下的各个模型参数... 继续阅读 >
2021
03-05

解决pytorch 保存模型遇到的问题

今天用pytorch保存模型时遇到bugCan'tpickle<class'torch._C._VariableFunctions'>在google上查找原因，发现是保存时保存了整个模型的原因，而模型中有一些自定义的参数将torch.save(model,save_path)改为torch.save(model.state_dict(),save_path)然后载入模型也做相应的更改就好了补充：pytorch训练模型的一些坑1.图像读取opencv的python和c++读取的图像结果不一致，是因为python和c++采用的opencv版本不一样，从而使用的... 继续阅读 >
2021
03-05

解决pytorch 模型复制的一些问题

直接使用model2=model1会出现当更新model2时，model1的权重也会更新，这和自己的初始目的不同。经评论指出可以使用：model2=copy.deepcopy(model1)来实现深拷贝，手上没有pytorch环境，具体还没测试过，谁测试过可以和我说下有没有用。原方法：所有要使用模型复制可以使用如下方法。torch.save(model,"net_params.pkl")model5=Cnn(3,10)model5=torch.load('net_params.pkl')这样编写不会影响原始模型的权重补充：pytorch模型训练... 继续阅读 >
2021
03-05

Pytorch模型迁移和迁移学习,导入部分模型参数的操作

Pytorch模型迁移和迁移学习,导入部分模型参数的操作 1.利用resnet18做迁移学习importtorchfromtorchvisionimportmodelsif__name__=="__main__":#device=torch.device("cuda"iftorch.cuda.is_available()else"cpu")device='cpu'print("-----device:{}".format(device))print("-----Pytorchversion:{}".format(torch.__version__))input_tensor=torch.zeros(1,3,100,100)print('input_tensor:',input_tensor.shape)pretrained_file="model/r... 继续阅读 >
2021
03-05

pytorch 实现L2和L1正则化regularization的操作

pytorch 实现L2和L1正则化regularization的操作 1.torch.optim优化器实现L2正则化torch.optim集成了很多优化器，如SGD，Adadelta，Adam，Adagrad，RMSprop等，这些优化器自带的一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数，注意torch.optim集成的优化器只有L2正则化方法，你可以查看注释，参数weight_decay的解析是：weight_decay(float,optional):weightdecay(L2penalty)(default:0)使用torch.optim的优化器，可如下设置L2正则化optimizer=... 继续阅读 >
2021
03-05

pytorch Dataset,DataLoader产生自定义的训练数据案例

1.torch.utils.data.Datasetdatasets这是一个pytorch定义的dataset的源码集合。下面是一个自定义Datasets的基本框架，初始化放在__init__()中，其中__getitem__()和__len__()两个方法是必须重写的。__getitem__()返回训练数据，如图片和label，而__len__()返回数据长度。classCustomDataset(data.Dataset):#需要继承data.Datasetdef__init__(self):#TODO#1.Initializefilepathorlistoffilenames.passdef__ge... 继续阅读 >
2021
03-05

解决pytorch 数据类型报错的问题

pytorch报错：RuntimeError:ExpectedobjectoftypeVariable[torch.LongTensor]butfoundtypeVariable[torch.cuda.ByteTensor]forargument#1‘argument1'解决方法：pytorch框架在存储labels时，采用LongTensor来存储，所以在一开始dataset返回label时，就要返回与LongTensor对应的数据类型，即numpy.int64补充：使用pytorch遇到的各种问题及解决方案自己在使用pytorch遇到的各种问题及解决方案：RuntimeError:Expected... 继续阅读 >