分类：LN(LayerNorm)

2021
07-17

pytorch中LN(LayerNorm)及Relu和其变相的输出操作

主要就是了解一下pytorch中的使用layernorm这种归一化之后的数据变化，以及数据使用relu，prelu，leakyrelu之后的变化。importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassmodel(nn.Module):def__init__(self):super(model,self).__init__()self.LN=nn.LayerNorm(10,eps=0,elementwise_affine=True)self.PRelu=nn.PReLU(init=0.25)self.Relu=nn.ReLU()self.L... 继续阅读 >