分类：RNN

2021
07-26

Tensorflow与RNN、双向LSTM等的踩坑记录及解决

1、tensorflow（不定长）文本序列读取与解析tensorflow读取csv时需要指定各列的数据类型。但是对于RNN这种接受序列输入的模型来说，一条序列的长度是不固定。这时如果使用csv存储序列数据，应当首先将特征序列拼接成一列。例如两条数据序列，第一项是标签，之后是特征序列[0,1.1,1.2,2.3]转换成[0,'1.1_1.2_2.3'][1,1.0,2.5,1.6,3.2,4.5]转换成[1,'1.0_2.5_1.6_3.2_4.5']这样每条数据都只包含固定两列了。读取方式是... 继续阅读 >

2021
07-26

pytorch lstm gru rnn 得到每个state输出的操作

默认只返回最后一个state，所以一次输入一个step的input#coding=UTF-8importtorchimporttorch.autogradasautograd#torch中自动计算梯度模块importtorch.nnasnn#神经网络模块torch.manual_seed(1)#lstm单元输入和输出维度都是3lstm=nn.LSTM(input_size=3,hidden_size=3)#生成一个长度为5，每一个元素为1*3的序列作为输入，这里的数字3对应于上句中第一个3inputs=[autograd.Variable(torch.randn((1,3)))... 继续阅读 >

2021
07-22

解决pytorch rnn 变长输入序列的问题

pytorch实现变长输入的rnn分类输入数据是长度不固定的序列数据，主要讲解两个部分1、Data.DataLoader的collate_fn用法，以及按batch进行padding数据2、pack_padded_sequence和pad_packed_sequence来处理变长序列collate_fnDataloader的collate_fn参数，定义数据处理和合并成batch的方式。由于pack_padded_sequence用到的tensor必须按照长度从大到小排过序的，所以在Collate_fn中，需要完成两件事，一是把当前batch的样本按照当前ba... 继续阅读 >

2021
03-05

numpy实现RNN原理实现

首先说明代码只是帮助理解，并未写出梯度下降部分，默认参数已经被固定，不影响理解。代码主要实现RNN原理，只使用numpy库，不可用于GPU加速。importnumpyasnpclassRnn():def__init__(self,input_size,hidden_size,num_layers,bidirectional=False):self.input_size=input_sizeself.hidden_size=hidden_sizeself.num_layers=num_layersself.bidirectional=bidirectionaldeffeed(self,x):... 继续阅读 >