分类：PyTorch

2021
07-08

pytorch中[..., 0]的用法说明

在看程序的时候看到了x[…,0]的语句不是很理解，后来自己做实验略微了解，以此记录方便自己查看。b=torch.Tensor([[[[10,2],[4,5],[7,8]],[[1,2],[4,5],[7,8]]]])print(b.size())(1,2,3,2)print(b[…,0])tensor([[[10.,4.,7.],[1.,4.,7.]]])print(b[…,0].size())(1,2,3)print(b[…,2])Traceback(mostrecentcalllast):File“”,line1,inIndexError:index2isoutofboundsfordimension3withsize2print... 继续阅读 >
2021
07-08

浅谈pytorch中stack和cat的及to_tensor的坑

初入计算机视觉遇到的一些坑1.pytorch中转tensorx=np.random.randint(10,100,(10,10,10))x=TF.to_tensor(x)print(x)这个函数会对输入数据进行自动归一化，比如有时候我们需要将0-255的图片转为numpy类型的数据，则会自动转为0-1之间2.stack和cat之间的差别stackx=torch.randn((1,2,3))y=torch.randn((1,2,3))z=torch.stack((x,y))#默认dim=0print(z.shape)#torch.Size([2,1,2,3])所以stack的之后的数据也就很好理解了，z[0,...]... 继续阅读 >
2021
07-04

beam search及pytorch的实现方式

主要记录两种不同的beamsearch版本版本一使用类似层次遍历的方式进行搜索，用队列进行维护，每次循环对当前层的所有节点进行搜索，这些节点每个分别对应topk个节点作为下一层候选节点，取所有候选节点的前tok个作为下一层节点加入队列bfswithwidthconstraint.启发式搜索的一种.属于贪心算法.如果k->inf，那么等价于bfs.从根节点开始（），选取所有可能（大概几万个）里面概率最大的k个，拓展为下一层节点.然后在这k个节点... 继续阅读 >
2021
07-04

pytorch实现textCNN的具体操作

pytorch实现textCNN的具体操作 1.原理2014年的一篇文章，开创cnn用到文本分类的先河。ConvolutionalNeuralNetworksforSentenceClassification原理说简单也简单，其实就是单层CNN加个全连接层：不过与图像中的cnn相比，改动为将卷积核的宽固定为一个词向量的维度，而长度一般取2,3,4,5这样。上图中第一幅图的每个词对应的一行为一个词向量，可以使用word2vec或者glove预训练得到。本例中使用随机初始化的向量。2.数据预处理手中有三个文件，分别为train.tx... 继续阅读 >
2021
07-02

Pytorch 如何实现LSTM时间序列预测

Pytorch 如何实现LSTM时间序列预测 开发环境说明：Python35Pytorch0.2CPU/GPU均可1、LSTM简介人类在进行学习时，往往不总是零开始，学习物理你会有数学基础、学习英语你会有中文基础等等。于是对于机器而言，神经网络的学习亦可不再从零开始，于是出现了TransferLearning，就是把一个领域已训练好的网络用于初始化另一个领域的任务，例如会下棋的神经网络可以用于打德州扑克。我们这讲的是另一种不从零开始学习的神经网络——循环神经网络（RecurrentNeuralNetw... 继续阅读 >
2021
07-02

pytorch实现ResNet结构的实例代码

pytorch实现ResNet结构的实例代码 目录1.ResNet的创新1）亮点2）原因2.ResNet的结构1）浅层的残差结构2）深层的残差结构3）总结3.BatchNormalization4.参考代码1.ResNet的创新现在重新稍微系统的介绍一下ResNet网络结构。ResNet结构首先通过一个卷积层然后有一个池化层，然后通过一系列的残差结构，最后再通过一个平均池化下采样操作，以及一个全连接层的得到了一个输出。ResNet网络可以达到很深的层数的原因就是不断的堆叠残差结构而来的。1）亮点网络中的亮点... 继续阅读 >
2021
07-02

Pytorch 实现变量类型转换

Pytorch 实现变量类型转换 Pytorch的数据类型为各式各样的Tensor,Tensor可以理解为高维矩阵。与Numpy中的Array类似。Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型，一般GPU上的Tensor是CPU上的Tensor加cuda()函数得到。通过使用Type函数可以查看变量类型。一般系统默认是torch.FloatTensor类型。例如data=torch.Tensor(2,3)是一个2*3的张量，类型为FloatTensor;data.cuda()就转换为GPU的张量类型，torch.cuda.FloatTensor类型。下面简单介绍... 继续阅读 >
2021
07-02

Linux环境下GPU版本的pytorch安装

Linux环境下GPU版本的pytorch安装 服务器环境：Ubuntu16.04.7显卡：2080cuda:10.1注：若服务器有管理员账户和个人账户，最好在个人账户下重新安装anaconda，否则安装pytorch过程中可能有些库安装失败，由于权限问题，不能删除这些失败的库重新安装。在个人账户下就不存在权限问题。一添加镜像源目的：使用默认的源地址下载速度很慢，会出现超时，导致某些第三方库只下载了部分，不完整，最终失败。首先查看当前镜像源cat~/.condarc或者condaconfig--showchann... 继续阅读 >
2021
07-01

Pytorch训练模型得到输出后计算F1-Score 和AUC的操作

1、计算F1-Score对于二分类来说，假设batchsize大小为64的话，那么模型一个batch的输出应该是torch.size([64,2])，所以首先做的是得到这个二维矩阵的每一行的最大索引值，然后添加到一个列表中，同时把标签也添加到一个列表中，最后使用sklearn中计算F1的工具包进行计算，代码如下importnumpyasnpimportsklearn.metricsimportf1_scoreprob_all=[]lable_all=[]fori,(data,label)intqdm(train_data_loader):prob... 继续阅读 >
2021
07-01

pytorch加载预训练模型与自己模型不匹配的解决方案

pytorch中如果自己搭建网络并且加载别人的与训练模型的话，如果模型和参数不严格匹配，就可能会出问题，接下来记录一下我的解决方法。两个有序字典找不同模型的参数和pth文件的参数都是有序字典(OrderedDict)，把字典中的键转为列表就可以在for循环里迭代找不同了。model=ResNet18(1)model_dict1=torch.load('resnet18.pth')model_dict2=model.state_dict()model_list1=list(model_dict1.keys())model_list2=list(model_... 继续阅读 >
2021
07-01

pytorch 如何打印网络回传梯度

pytorch 如何打印网络回传梯度 需求：打印梯度，检查网络学习情况net=your_network().cuda()deftrain():...outputs=net(inputs)loss=criterion(outputs,targets)loss.backward()forname,parmsinnet.named_parameters():print('-->name:',name,'-->grad_requirs:',parms.requires_grad,\'-->grad_value:',parms.grad)...打印结果如下：name表示网络参数的名字；parms.requires_grad表示该参数是否可学习，是不是frozen的；p... 继续阅读 >
2021
07-01

Pytorch中求模型准确率的两种方法小结

Pytorch中求模型准确率的两种方法小结 方法一：直接在epoch过程中求取准确率简介：此段代码是LeNet5中截取的。deftrain_model(model,train_loader):optimizer=torch.optim.Adam(model.parameters())loss_func=nn.CrossEntropyLoss()EPOCHS=5forepochinrange(EPOCHS):correct=0forbatch_idx,(X_batch,y_batch)inenumerate(train_loader):optimizer.zero_grad()#这里是只取训练数据的意思吗，X_b... 继续阅读 >
2021
07-01

Pytorch BCELoss和BCEWithLogitsLoss的使用

Pytorch BCELoss和BCEWithLogitsLoss的使用 BCELoss在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。先用Sigmoid给这些值都搞到0~1之间：假设Target是：下面我们用BCELoss来验证一下Loss是不是0.7194！emmm应该是我上面每次都保留4位小数，算到最后误差越来越大差了0.0001。不过也很厉害啦哈哈哈哈哈！BCEWithLogitsLossBCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193：嘻嘻，我可真是太厉害啦！补充：Pytorch中B... 继续阅读 >