温馨提示：在回答面试官的问题的时候，往往将问题往大的方面去回答，这样不会陷于小的技术上死磕，最后很容易把自己嗑死了。

（1）随即梯度下降

　   优点：可以一定程度上解决局部最优解的问题

　　缺点：收敛速度较慢

（2）批量梯度下降

　　优点：容易陷入局部最优解

　　缺点：收敛速度较快

（3）mini_batch梯度下降

　　综合随即梯度下降和批量梯度下降的优缺点，提取的一个中和的方法。

（4）牛顿法

　　牛顿法在迭代的时候，需要计算Hessian矩阵，当维度较高的时候，计算Hessian矩阵比较困难。

（5）拟牛顿法

　　拟牛顿法是为了改进牛顿法在迭代过程中，计算Hessian矩阵而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解。

（6）共轭梯度

（7）启发式的优化算法

　　启发式的优化算法有遗传算法，粒子群算法等。这类算法的主要思想就是设定一个目标函数，每次迭代根据相应的策略优化种群。直到满足什么样的条件为止。