激活函数的作用:
为了增加神经网络模型的非线性,解决线性不可分问题。
常用的激活函数有:
softmax: 在多分类中常用的激活函数,是基于逻辑回归的。
Softplus:softplus(x)=log(1+e^x),近似生物神经激活函数,最近出现的。
Relu:近似生物神经激活函数,最近出现的。
tanh:双曲正切激活函数,也是很常用的。
sigmoid:S型曲线激活函数,最常用的。
hard_sigmoid:基于S型激活函数。
linear:线性激活函数,最简单的。
参考:
keras支持的激活函数
神经网络激活函数的作用是什么?
激活函数中的硬饱和,软饱和,左饱和和右饱和。
常用激活函数的比较
标签: 激活、饱和、softplus、神经、常用、面试