梯度下降算法：
1）迭代法的一种,可用于求解最小二乘问题,让梯度中所有偏导函数都下降到最低点的过程。
2）计算过程就是沿梯度下降的方向求解极小值，也可以沿梯度上升方向求解最大值
随机梯度下降算法：
1）随机梯度下降是每次迭代使用一个样本来对参数进行更新，使得训练速度加快。随机梯度下降算法是为了解决深度学习中多元目标函数的最优值问题。
2）随机是指每次迭代过程中，样本都要被随机打乱。训练模型的目的是使得目标函数达到极小值。
3）每次迭代并不是都向着整体最优化方向，导致梯度下降的波动非常大，更容易从一个局部最优跳到另一个局部最优，准确度下降
标签： 梯度、下降、随机、求解、极小值、面试
猜你感兴趣的圈子：
