决策树的划分选择

1）信息增益/互信息：当前特征对不确定性消除的程度

信息增益 = entroy(前) - entroy(后)

缺点：偏向取值较多的特征

2）信息增益率:为解决信息增益的缺点，加入惩罚参数。

信息增益比 = 惩罚参数 * 信息增益

3）Gini指数（Gini不纯度）: 表示在样本集合中一个随机选中的样本被分错的概率。

基尼指数（基尼不纯度）= 样本被选中的概率 * 样本被分错的概率