常用的激活函数有哪些

激活函数的作用:

为了增加神经网络模型的非线性,解决线性不可分问题。

常用的激活函数有:

  • softmax: 在多分类中常用的激活函数,是基于逻辑回归的。
  • Softplus:softplus(x)=log(1+e^x),近似生物神经激活函数,最近出现的。
  • Relu:近似生物神经激活函数,最近出现的。
  • tanh:双曲正切激活函数,也是很常用的。
  • sigmoid:S型曲线激活函数,最常用的。
  • hard_sigmoid:基于S型激活函数。
  • linear:线性激活函数,最简单的。
  • 参考:

    keras支持的激活函数

    神经网络激活函数的作用是什么?

    激活函数中的硬饱和,软饱和,左饱和和右饱和。

    常用激活函数的比较


    标签: 激活、饱和、softplus、神经、常用、面试
    • 回复
    隐藏