分类：PyTorch

2021
08-08

pytorch 预训练模型读取修改相关参数的填坑问题

pytorch预训练模型读取修改相关参数的填坑修改部分层，仍然调用之前的模型参数。resnet=resnet50(pretrained=False)resnet.load_state_dict(torch.load(args.predir))res_conv31=Bottleneck_dilated(1024,256,dilated_rate=2)print("---------------------",res_conv31)print("---------------------",resnet.layer3[1])res_conv31.load_state_dict(resnet.layer3[1].state_dict())网络预训练模型与之前的模型对应不上，... 继续阅读 >
2021
08-08

解决pytorch 损失函数中输入输出不匹配的问题

一、pytorch损失函数中输入输出不匹配问题File"C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\module.py",line491,in__call__ result=self.forward(*input,**kwargs)File"C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\loss.py",line500,inforwardredu... 继续阅读 >
2021
08-08

Pytorch distributed 多卡并行载入模型操作

一、Pytorchdistributed多卡并行载入模型这次来介绍下如何载入模型。目前没有找到官方的distribute载入模型的方式，所以采用如下方式。大部分情况下，我们在测试时不需要多卡并行计算。所以，我在测试时只使用单卡。fromcollectionsimportOrderedDictdevice=torch.device("cuda")model=DGCNN(args).to(device)#自己的模型state_dict=torch.load(args.model_path)#存放模型的位置new_state_dict=OrderedDict()f... 继续阅读 >
2021
08-08

Pytorch中的学习率衰减及其用法详解

Pytorch中的学习率衰减及其用法详解 Pytorch学习率衰减及其用法学习率衰减是一个非常有效的炼丹技巧之一，在神经网络的训练过程中，当accuracy出现震荡或loss不再下降时，进行适当的学习率衰减是一个行之有效的手段，很多时候能明显提高accuracy。Pytorch中有两种学习率调整(衰减)方法：使用库函数进行调整；手动调整。1.使用库函数进行调整：Pytorch学习率调整策略通过torch.optim.lr_sheduler接口实现。pytorch提供的学习率调整策略分为三大类，分别是：（1）有... 继续阅读 >
2021
08-08

pytorch finetuning 自己的图片进行训练操作

pytorch finetuning 自己的图片进行训练操作 一、pytorchfinetuning自己的图片进行训练这种读取图片的方式用的是torch自带的ImageFolder，读取的文件夹必须在一个大的子文件下，按类别归好类。就像我现在要区分三个类别。#perparedataset#traindatatrain_data=torchvision.datasets.ImageFolder('F:/eyeDataSet/trainData',transform=transforms.Compose([transforms.Scale(256),transforms.CenterCrop(224),transforms.T... 继续阅读 >
2021
08-06

pytorch fine-tune 预训练的模型操作

pytorch fine-tune 预训练的模型操作 之一:torchvision中包含了很多预训练好的模型，这样就使得fine-tune非常容易。本文主要介绍如何fine-tunetorchvision中预训练好的模型。安装pipinstalltorchvision如何fine-tune以resnet18为例：fromtorchvisionimportmodelsfromtorchimportnnfromtorchimportoptimresnet_model=models.resnet18(pretrained=True)#pretrained设置为True，会自动下载模型所对应权重，并加载到模型中#也可以自己下载权... 继续阅读 >
2021
08-06

Pytorch之如何dropout避免过拟合

Pytorch之如何dropout避免过拟合 一.做数据二.搭建神经网络三.训练四.对比测试结果注意：测试过程中，一定要注意模式切换Pytorch的学习——过拟合过拟合过拟合是当数据量较小时或者输出结果过于依赖某些特定的神经元，训练神经网络训练会发生一种现象。出现这种现象的神经网络预测的结果并不具有普遍意义，其预测结果极不准确。解决方法1.增加数据量2.L1，L2，L3…正规化，即在计算误差值的时候加上要学习的参数值，当参数改变过大时，误差也会变大，通过这种惩罚... 继续阅读 >
2021
08-06

解决Pytorch在测试与训练过程中的验证结果不一致问题

引言今天在使用Pytorch导入此前保存的模型进行测试，在过程中发现输出的结果与验证结果差距甚大，经过排查后发现是forward与eval()顺序问题。现象此前的错误代码是input_cpu=torch.ones((1,2,160,160))target_cpu=torch.ones((1,2,160,160))target_gpu,input_gpu=target_cpu.cuda(),input_cpu.cuda()model.set_input_2(input_gpu,target_gpu)model.eval()model.forward()应该改为input_... 继续阅读 >
2021
08-06

pytorch DistributedDataParallel 多卡训练结果变差的解决方案

pytorch DistributedDataParallel 多卡训练结果变差的解决方案 DDP数据shuffle的设置使用DDP要给dataloader传入sampler参数（torch.utils.data.distributed.DistributedSampler(dataset,num_replicas=None,rank=None,shuffle=True,seed=0,drop_last=False)）。默认shuffle=True，但按照pytorchDistributedSampler的实现：def__iter__(self)->Iterator[T_co]:ifself.shuffle:#deterministicallyshufflebasedonepochandseedg=torch.G... 继续阅读 >
2021
07-31

pytorch 运行一段时间后出现GPU OOM的问题

pytorch的dataloader会将数据传到GPU上，这个过程GPU的mem占用会逐渐增加，为了避免GPUmen被无用的数据占用，可以在每个step后用del删除一些变量，也可以使用torch.cuda.empty_cache()释放显存：deltargets,input_k,input_masktorch.cuda.empty_cache()这时能观察到GPU的显存一直在动态变化。但是上述方式不是一个根本的解决方案，因为他受到峰值的影响很大。比如某个batch的数据量明显大于其他batch，可能模型处理该batch时显... 继续阅读 >
2021
07-31

浅谈Pytorch 定义的网络结构层能否重复使用

浅谈Pytorch 定义的网络结构层能否重复使用 前言：最近在构建网络的时候，有一些层参数一样，于是就没有定义新的层，直接重复使用了原来已经有的层，发现效果和模型大小都没有什么变化，心中产生了疑问：定义的网络结构层能否重复使用？因此接下来利用了一个小模型网络实验了一下。一、网络结构一：（连续使用相同的层）1、网络结构如下所示：classCnn(nn.Module):def__init__(self):super(Cnn,self).__init__()self.conv1=nn.Sequential(... 继续阅读 >
2021
07-30

pytorch 如何用cuda处理数据

1设置GPU的一些操作设置在os端哪些GPU可见，如果不可见，那肯定是不能够调用的~importosGPU='0,1,2'os.environ['CUDA_VISIBLE_DEVICES']=GPUtorch.cuda.is_available()查看cuda是否可用。iftorch.cuda.is_available():torch.backends.cudnn.benchmark=True'''如果网络的输入数据维度或类型上变化不大，设置torch.backends.cudnn.benchmark=true可以增加运行效率；如果网络的输入数... 继续阅读 >
2021
07-26

pytorch model.cuda()花费时间很长的解决

pytorch model.cuda()花费时间很长的解决 解决方法之一：如果pytorch在进行model.cuda(）操作需要花费的时间很长，长到你怀疑GPU的速度了，那就是不正常的。如果你用的pytorch版本是0.3.0，升级到0.3.1就好了！.cuda()加载时间很长的其他解决方法方法一：pipinstall--upgrade--force-reinstallhttp://download.pytorch.org/whl/cu80/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl后面这个可以自己到官网上找自己对应的python和cuda版本的安装包，官网为链接：... 继续阅读 >
2021
07-26

Pytorch GPU内存占用很高,但是利用率很低如何解决

Pytorch GPU内存占用很高,但是利用率很低如何解决 1.GPU占用率，利用率输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util）GPU内存占用率（Memory-Usage）往往是由于模型的大小以及batchsize的大小，来影响这个指标显卡的GPU利用率（GPU-util）往往跟代码有关，有更多的io运算，cpu运算就会导致利用率变低。比如打印loss,输出图像，等等这个时候发现，有一块卡的利用率经常跳到1%，而其他三块卡经常维持在70%以上2.原因分析当没有设置好... 继续阅读 >