分类：PyTorch

2021
07-17

pytorch 如何自定义卷积核权值参数

pytorch中构建卷积层一般使用nn.Conv2d方法，有些情况下我们需要自定义卷积核的权值weight，而nn.Conv2d中的卷积参数是不允许自定义的，此时可以使用torch.nn.functional.conv2d简称F.conv2dtorch.nn.functional.conv2d(input,weight,bias=None,stride=1,padding=0,dilation=1,groups=1)F.conv2d可以自己输入且也必须要求自己输入卷积权值weight和偏置bias。因此，构建自己想要的卷积核参数，再输入F.conv2d即可。下面是一个... 继续阅读 >

2021
07-16

Pytorch中的gather使用方法

官方说明gather可以对一个Tensor进行聚合，声明为：torch.gather(input,dim,index,out=None)→Tensor一般来说有三个参数：输入的变量input、指定在某一维上聚合的dim、聚合的使用的索引index，输出为Tensor类型的结果（index必须为LongTensor类型）。#参数介绍：input(Tensor)?Thesourcetensordim(int)?Theaxisalongwhichtoindexindex(LongTensor)?Theindicesofelementstogatherout(Tensor,optional)... 继续阅读 >

2021
07-12

Pytorch中的backward()多个loss函数用法

Pytorch的backward()函数假若有多个loss函数，如何进行反向传播和更新呢？x=torch.tensor(2.0,requires_grad=True)y=x**2z=x#反向传播y.backward()... 继续阅读 >

2021
07-12

pytorch中的model=model.to(device)使用说明

这代表将模型加载到指定设备上。其中，device=torch.device("cpu")代表的使用cpu，而device=torch.device("cuda")则代表的使用GPU。当我们指定了设备之后，就需要将模型加载到相应设备中，此时需要使用model=model.to(device)，将模型加载到相应的设备中。将由GPU保存的模型加载到CPU上。将torch.load()函数中的map_location参数设置为torch.device('cpu')device=torch.device('cpu')model=TheModelClass(*args,**kwargs)mode... 继续阅读 >

2021
07-12

pytorch--之halfTensor的使用详解

证明出错在dataloader里面在pytorch当中，float16和half是一样的数据结构，都是属于half操作，然后dataloader不能返回half值，所以在dataloader里面，要把float16改成float32即可返回补充：Pytorch中Tensor常用操作归纳对常用的一些Tensor的常用操作进行简单归纳，方便日后查询。后续有用到再补充。1、创建Tensorimporttorch#经典方式device=torch.device("cuda:0")x=torch.tensor([1,2],dtype=torch.float32,device=devi... 继续阅读 >

2021
07-12

pytorch 如何使用amp进行混合精度训练

简介AMP：Automaticmixedprecision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。在Pytorch1.5版本及以前，通过NVIDIA提供的apex库可以实现amp功能。但是在使用过程中会伴随着一些版本兼容和奇怪的报错问题。从1.6版本开始，Pytorch原生支持自动混合精度训练，并已进入稳定阶段，AMP训练能在TensorCoreGPU上实现更高的性能并节省多达50％的... 继续阅读 >

2021
07-09

pytorch 如何使用float64训练

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。可使用torch的一个函数，轻松地把模型参数转化为float64torch.set_default_dtype(torch.float64)输入类型可使用tensor.type(... 继续阅读 >

2021
07-09

pytorch 使用半精度模型部署的操作

背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外，最近也把pytorch应用在了部署上.在部署时，为了减少计算量，可以考虑使用16位浮点模型，而训练时涉及到梯度计算，需要使用32位浮点，这种精度的不一致经过测试，模型性能下降有限，可以接受.但是推断时计算量可以降低一半，同等计算资源下，并发度可提升近一倍具体方法在pytorch中，一般模型定义都继承torch.nn.Moudle，torch.nn.Module基类... 继续阅读 >

2021
07-09

解决Pytorch半精度浮点型网络训练的问题

用Pytorch1.0进行半精度浮点型网络训练需要注意下问题：1、网络要在GPU上跑，模型和输入样本数据都要cuda().half()2、模型参数转换为half型，不必索引到每层，直接model.cuda().half()即可3、对于半精度模型，优化算法，Adam我在使用过程中，在某些参数的梯度为0的时候，更新权重后，梯度为零的权重变成了NAN，这非常奇怪，但是Adam算法对于全精度数据类型却没有这个问题。另外，SGD算法对于半精度和全精度计算均没有问题。还有一... 继续阅读 >

2021
07-09

pytorch中Schedule与warmup_steps的用法说明

1.lr_scheduler相关lr_scheduler=WarmupLinearSchedule(optimizer,warmup_steps=args.warmup_steps,t_total=num_train_optimization_steps)其中args.warmup_steps可以认为是耐心系数num_train_optimization_steps为模型参数的总更新次数一般来说：num_train_optimization_steps=int(total_train_examples/args.train_batch_size/args.gradient_accumulation_steps)Schedule用来调节学习率，拿线性变换调整来说，下面代... 继续阅读 >

2021
07-09

pytorch 实现二分类交叉熵逆样本频率权重

通常，由于类别不均衡，需要使用weightedcrossentropyloss平衡。definverse_freq(label):"""输入label[N,1,H,W],1是channel数目"""den=label.sum()#0_,_,h,w=label.shapenum=h*walpha=den/num#0returntorch.tensor([alpha,1-alpha]).cuda()#train...loss1=F.cross_entropy(out1,label.squeeze(1).long(),weight=inverse_freq(label))补充：Pytorch踩坑记之交叉熵（nn.CrossEntropy... 继续阅读 >

2021
07-09

pytorch交叉熵损失函数的weight参数的使用

首先必须将权重也转为Tensor的cuda格式；然后将该class_weight作为交叉熵函数对应参数的输入值。class_weight=torch.FloatTensor([0.13859937,0.5821059,0.63871904,2.30220396,7.1588294,0]).cuda()补充：关于pytorch的CrossEntropyLoss的weight参数首先这个weight参数比想象中的要考虑的多你可以试试下面代码importtorchimporttorch.nnasnninputs=torch.FloatTensor([0,1,0,0,0,1])outputs=torch.LongTensor([0,1... 继续阅读 >

2021
07-09

pytorch 实现变分自动编码器的操作

本来以为自动编码器是很简单的东西，但是也是看了好多资料仍然不太懂它的原理。先把代码记录下来，有时间好好研究。这个例子是用MNIST数据集生成为例子#-*-coding:utf-8-*-"""CreatedonFriOct1211:42:192018@author:www"""importosimporttorchfromtorch.autogradimportVariableimporttorch.nn.functionalasFfromtorchimportnnfromtorch.utils.dataimportDataLoaderfromtorchvision.datasetsimportM... 继续阅读 >

2021
07-09

解决pytorch中的kl divergence计算问题

偶然从pytorch讨论论坛中看到的一个问题，KLdivergencedifferentresultsfromtf，kldivergence在TensorFlow中和pytorch中计算结果不同，平时没有注意到，记录下一篇关于KL散度、JS散度以及交叉熵对比的文章kldivergence介绍KL散度(Kullback?Leiblerdivergence)，又称相对熵，是描述两个概率分布P和Q差异的一种方法。计算公式:可以发现，P和Q中元素的个数不用相等，只需要两个分布中的离散元素一致。举个简单例子... 继续阅读 >

2021
07-09

pytorch 实现计算 kl散度 F.kl_div()

先附上官方文档说明：https://pytorch.org/docs/stable/nn.functional.htmltorch.nn.functional.kl_div(input,target,size_average=None,reduce=None,reduction='mean')Parametersinput?Tensorofarbitraryshapetarget?Tensorofthesameshapeasinputsize_average(bool,optional)?Deprecated(seereduction).Bydefault,thelossesareaveragedovereachlosselementinthebatch.Notethatforsomelo... 继续阅读 >

2021
07-09

Pytorch数据读取之Dataset和DataLoader知识总结

目录一、前言二、Dataset三、DatasetLoader四、将Dataset数据和标签放在GPU上（代码执行顺序出错则会有bug）一、前言确保安装scikit-imagenumpy二、Dataset一个例子：#导入需要的包importtorchimporttorch.utils.data.datasetasDatasetimportnumpyasnp#编造数据Data=np.asarray([[1,2],[3,4],[5,6],[7,8]])Label=np.asarray([[0],[1],[0],[2]])#数据[1,2]，对应的标签是[0]，数据[3,4],对应的标签... 继续阅读 >