分类：Relu

2021
07-17

pytorch中LN(LayerNorm)及Relu和其变相的输出操作

主要就是了解一下pytorch中的使用layernorm这种归一化之后的数据变化，以及数据使用relu，prelu，leakyrelu之后的变化。importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassmodel(nn.Module):def__init__(self):super(model,self).__init__()self.LN=nn.LayerNorm(10,eps=0,elementwise_affine=True)self.PRelu=nn.PReLU(init=0.25)self.Relu=nn.ReLU()self.L... 继续阅读 >

2020
10-08

Keras 中Leaky ReLU等高级激活函数的用法

在用Keras来实现CNN等一系列网络时，我们经常用ReLU作为激活函数，一般写法如下：fromkerasimportlayersfromkerasimportmodelsmodel=models.Sequential()model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(28,28,1)))model.add(layers.MaxPooling2D((2,2)))model.add(layers.Conv2D(64,(3,3),activation='relu'))model.add(layers.MaxPooling2D((2,2)))model.add(layers.Conv2D(64,(3,3),... 继续阅读 >