分类：激活函数

2021
08-08

pytorch自定义不可导激活函数的操作

pytorch自定义不可导激活函数今天自定义不可导函数的时候遇到了一个大坑。首先我需要自定义一个函数：sign_fimporttorchfromtorch.autogradimportFunctionimporttorch.nnasnnclasssign_f(Function):@staticmethoddefforward(ctx,inputs):output=inputs.new(inputs.size())output[inputs>=0.]=1output[inputs<0.]=-1ctx.save_for_backward(inputs)returnoutp... 继续阅读 >

2020
10-10

python 深度学习中的4种激活函数

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数，下面会从公式、代码以及图像三个方面介绍这几种激活函数，首先来明确一下是哪四种：Sigmoid函数Tahn函数ReLu函数SoftMax函数激活函数的作用下面图像A是一个线性可分问题，也就是说对于两类点(蓝点和绿点)，你通过一条直线就可以实现完全分类。当然图像A是最理想、也是最简单的一种二分类问题，但是现实中往往存在一些非常复杂的线性不可分问题，比如图像B，... 继续阅读 >

2020
10-08

使用keras实现非线性回归(两种加激活函数的方式)

我就废话不多说了，大家还是直接看代码吧~importkerasimportnumpyasnpimportmatplotlib.pyplotasplt#Sequential按顺序构成的模型fromkeras.modelsimportSequential#Sequential是模型结构，输入层，隐藏层，输出层#Dense全连接层,Activation激活函数fromkeras.layersimportDense,Activationfromkeras.optimizersimportSGDx_data=np.linspace(-0.5,0.5,200)#从-0.5到0.5范围内生成200个随机点noise=np.random.nor... 继续阅读 >

2020
10-08

Keras 中Leaky ReLU等高级激活函数的用法

在用Keras来实现CNN等一系列网络时，我们经常用ReLU作为激活函数，一般写法如下：fromkerasimportlayersfromkerasimportmodelsmodel=models.Sequential()model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(28,28,1)))model.add(layers.MaxPooling2D((2,2)))model.add(layers.Conv2D(64,(3,3),activation='relu'))model.add(layers.MaxPooling2D((2,2)))model.add(layers.Conv2D(64,(3,3),... 继续阅读 >