分类：PyTorch

2021
04-25

pytorch tensor int型除法出现的问题

昨天晚上跑起来一个classification实验，今天发现训练loss在降，然而accuracy永远是0。。。直觉告诉我evaluation有问题然后发现自己写了个很愚蠢的bugaccuracy对应的tensor出来是int型的，我用到了一个除法取平均。而pytorch里无论用/or//结果都是取整，，accuracy一直就没有。。所以转换成float就没问题了，，低级bug，下不为例补充：pytorchtensordivision/除法除法的时候要注意数据类型的问题a=torch.div(torch.tensor... 继续阅读 >

2021
04-25

pytorch单维筛选 相乘的案例

m需要和筛选的结果维度相同>0.5运行的结果与原来维度相同，结果是01,0代不符合，1代表符合。importtorchm=torch.Tensor([0.1,0.2,0.3]).cuda()iou=torch.Tensor([0.5,0.6,0.7])x=m*((iou>0.5).type(torch.cuda.FloatTensor))print(x)下面是把第一条与第二条变成了2：importtorchm=torch.Tensor([0.1,0.2,0.3]).cuda()iou=torch.Tensor([0.5,0.6,0.7])a=iou>0.5m[[0,1,1]]=2print(m)下面的结果：0.2与0.3改为了2importt... 继续阅读 >

2021
04-07

Windows下实现pytorch环境搭建

Anaconda安装安装步骤：1、官网下载安装包：https://www.anaconda.com/distribution/2、运行并选择安装路径，等待安装完成。(要记得勾选AddAnacondatothesystemPATHenvironmentvariable，是为了将Anaconda添加到环境变量中)3、查看是否安装成功，cmd中输入conda回车，是否出现如下信息，有则说明安装成功。CUDA与CuDNN安装一、先检查自己的电脑所支持的CUDA版本是多少。步骤：1、桌面右键点击进去NVIDIA控制面板，找到左下... 继续阅读 >

2021
03-30

Pytorch数据读取与预处理该如何实现

在炼丹时，数据的读取与预处理是关键一步。不同的模型所需要的数据以及预处理方式各不相同，如果每个轮子都我们自己写的话，是很浪费时间和精力的。Pytorch帮我们实现了方便的数据读取与预处理方法，下面记录两个DEMO，便于加快以后的代码效率。根据数据是否一次性读取完，将DEMO分为：1、串行式读取。也就是一次性读取完所有需要的数据到内存，模型训练时不会再访问外存。通常用在内存足够的情况下使用，速度更快。... 继续阅读 >

2021
03-30

pytorch 实现冻结部分参数训练另一部分

1）添加下面一句话到模型中forpinself.parameters():p.requires_grad=False比如加载了resnet预训练模型之后，在resenet的基础上连接了新的模快，resenet模块那部分可以先暂时冻结不更新，只更新其他部分的参数，那么可以在下面加入上面那句话classRESNET_MF(nn.Module):def__init__(self,model,pretrained):super(RESNET_MF,self).__init__()self.resnet=model(pretrained)forpinself.parameters():p.re... 继续阅读 >

2021
03-30

Pytorch BertModel的使用说明

基本介绍环境:Python3.5+,Pytorch0.4.1/1.0.0安装:pipinstallpytorch-pretrained-bert必需参数:--data_dir:"str":数据根目录.目录下放着,train.xxx/dev.xxx/test.xxx三个数据文件.--vocab_dir:"str":词库文件地址.--bert_model:"str":存放着bert预训练好的模型.需要是一个gz文件,如"..x/xx/bert-base-chinese.tar.gz",里面包含一个bert_config.json和pytorch_model.bin文件.--task_name:"str":用来选择对应数据... 继续阅读 >

2021
03-30

PyTorch 迁移学习实践(几分钟即可训练好自己的模型)

前言如果你认为深度学习非常的吃GPU，或者说非常的耗时间，训练一个模型要非常久，但是你如果了解了迁移学习那你的模型可能只需要几分钟，而且准确率不比你自己训练的模型准确率低，本节我们将会介绍两种方法来实现迁移学习迁移学习方法介绍微调网络的方法实现迁移学习，更改最后一层全连接，并且微调训练网络将模型看成特征提取器，如果一个模型的预训练模型非常的好，那完全就把前面的层看成特征提取器，冻结所有层并且更改... 继续阅读 >

2021
03-30

超详细PyTorch实现手写数字识别器的示例代码

前言深度学习中有很多玩具数据，mnist就是其中一个，一个人能否入门深度学习往往就是以能否玩转mnist数据来判断的，在前面很多基础介绍后我们就可以来实现一个简单的手写数字识别的网络了数据的处理我们使用pytorch自带的包进行数据的预处理importtorchimporttorchvisionimporttorchvision.transformsastransformsimportnumpyasnpimportmatplotlib.pyplotasplttransform=transforms.Compose([transforms.ToTensor()... 继续阅读 >

2021
03-30

PyTorch数据读取的实现示例

前言PyTorch作为一款深度学习框架，已经帮助我们实现了很多很多的功能了，包括数据的读取和转换了，那么这一章节就介绍一下PyTorch内置的数据读取模块吧模块介绍pandas用于方便操作含有字符串的表文件，如csvzipfilepython内置的文件解压包cv2用于图片处理的模块,读入的图片模块为BGR,NHWCtorchvision.transforms用于图片的操作库，比如随机裁剪、缩放、模糊等等，可用于数据的增广，但也不仅限于内置的图片操作，... 继续阅读 >

2021
03-29

Linux安装Pytorch1.8GPU(CUDA11.1)的实现

先说下自己之前的环境（都是Linux系统，差别不大）：Centos7.6NVIDIADriverVersion440.33.01（等会需要更新驱动）CUDA10.1Pytorch1.6/1.7提示，如果想要保留之前的PyTorch1.6或1.7的环境，请不要卸载CUDA环境，可以通过Anaconda管理不同的环境，互不影响。但是需要注意你的NVIDIA驱动版本是否匹配。在这里能够看到官方给的对应CUDA版本所需使用驱动版本。通过上表可以发现，如果要使用CUDA11.1，那么需要将显卡的驱动更... 继续阅读 >

2021
03-23

Win10下安装CUDA11.0+CUDNN8.0+tensorflow-gpu2.4.1+pytorch1.7.0+paddlepaddle-gpu2.0.0

下载地址官方下载：CUDA和CUDNN.安装CUDA安装之前，建议关掉360安全卫士双击cuda_11.0.3_451.82_win10.exe文件根据自己需要更改安装路径将VisualStudioIntegration的勾去掉配置环境变量C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v11.0\bin;C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v11.0\libnvvp;安装CUDNN将下载的CUDNN解压缩，如下图。将将CUDNN文件夹里面的bin、include、lib文件直接复制到CUDA的安装... 继续阅读 >

2021
03-17

解决PyTorch与CUDA版本不匹配的问题

1.CUDA驱动和CUDAToolkit对应版本表一：CUDA驱动及CUDAToolkit最高对应版本最新可查阅官方文档注：驱动是向下兼容的，其决定了可安装的CUDAToolkit的最高版本。2.CUDAToolkit版本及其可用PyTorch对应版本（参考官网）表二：CUDAToolkit版本及可用PyTorch对应关系CUDAToolkit版本可用PyTorch版本7.50.4.1，0.3.0，0.2.0，0.1.12-0.1.68.01.1.0，1.0.0，0.4.... 继续阅读 >

2021
03-17

PyTorch 检查GPU版本是否安装成功的操作

anaconda命令行下检查:(base)PSC:\Users\chenxuqi>condadeactivatePSC:\Users\chenxuqi>condaactivatessd(ssd)PSC:\Users\chenxuqi>pythonPython3.6.12|Anaconda,Inc.|(default,Sep92020,00:29:25)[MSCv.191664bit(AMD64)]onwin32Type"help","copyright","credits"or"license"formoreinformation.>>>importtorch>>>print(torch.__version__)0.4.0>>>print(torch.cuda.is_available())True>... 继续阅读 >

2021
03-09

PyTorch 多GPU下模型的保存与加载(踩坑笔记)

这几天在一机多卡的环境下，用pytorch训练模型，遇到很多问题。现总结一个实用的做实验方式：多GPU下训练，创建模型代码通常如下：os.environ['CUDA_VISIBLE_DEVICES']=args.cudamodel=MyModel(args)iftorch.cuda.is_available()andargs.use_gpu:model=torch.nn.DataParallel(model).cuda()官方建议的模型保存方式，只保存参数：torch.save(model.module.state_dict(),"model.pkl")其实，这样很麻烦，我建议直接保存模... 继续阅读 >

2021
03-07

pytorch绘制曲线的方法

本文实例为大家分享了pytorch绘制曲线的具体代码，供大家参考，具体内容如下importtorchimporttorch.nn.functionalasFfromtorch.autogradimportVariableimportmatplotlib.pyplotasplt#fakedatax=torch.linspace(-5,5,200)#xdata(tensor),shape=(100,1)x=Variable(x)#创建variable（变量），构造神经网络要使用Variable类型x_np=x.data.numpy()#numpyarrayforplotting，用于绘图的numpy数组#fo... 继续阅读 >

2021
03-07

pytorch从csv加载自定义数据模板的操作

整理了一套模板，全注释了，这个难点终于克服了fromPILimportImageimportpandasaspdimportnumpyasnpimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataset,DataLoaderimportos#放文件的路径dir_path='./97/train/'csv_path='./97/train.csv'classMydataset(Dataset):#传递数据路径，csv路径，数据增强方法def__init__(self,dir_path,csv,transform=None,target_transform=None):... 继续阅读 >