相比sigmoid激活函数ReLU激活函数有什么优势？

（1） 防止梯度消失 （ sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0）

（2） ReLU的输出具有稀疏性

（3） ReLU函数简单计算速度快

标签： relu、激活、sigmoid、梯度、计算速度、面试
  • 回复
推荐
Copyright © 2014-2024 k6k4.com 版权所有

浙公网安备 33010602006230号

浙ICP备14015892号

隐藏