梯度提升决策树(Gradient Boosting Decision Tree，GBDT)是Boosting算法中非常流行的一个。GBDT非常好地体现了“从错误中学习”的理念，基于决策树预测的残差进行迭代的学习。
  集成学习的两大框架：Bagging和Boosting。Bagging并行化，每个弱分类器可以独立地进行训练，而Boosting弱分类器需要一次生成。在每一轮迭代中，基于已生成的弱分类器集合(即当前模型)的预测结果，新的分类器重点关注那些没有被预测正确的样本。
  Gradient Boosting是Boosting中的一大类算法，其基本思想是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后把训练好的分类器以累加的形式加入到现有模型中去。
  Gradient Boosting的流程：在每一轮迭代中，首先计算出当前模型在所有样本上的负梯度，然后以该值为目标训练出一个新的弱分类器进行拟合并计算出该弱分类器的权重。最终实现对模型的更新。
  采用决策树作为弱分类器的Gradient Boosting算法称为GBDT。GBDT中使用的决策树通常为CART。
  由于GBDT是利用残差训练的。预测过程需要把所有树的预测值加起来，得到最后的预测结果。