决策树容易过拟合,需要剪枝。分为预剪枝和后剪枝。
1、预剪枝
预剪枝核心思想在于对树中节点扩展之前,先计算当前划分能否带来模型泛化能力的提升。若不能,则不再继续生长子树。
2、后剪枝
后剪枝核心思想先让算法生成一个完全生长的决策树,然后自底向上计算是否剪枝。剪枝过程将子树切除,用叶节点代替。也可以在验证集上,判断能否提升验证集准确率来决定是否剪枝。
1、预剪枝
预剪枝核心思想在于对树中节点扩展之前,先计算当前划分能否带来模型泛化能力的提升。若不能,则不再继续生长子树。
2、后剪枝
后剪枝核心思想先让算法生成一个完全生长的决策树,然后自底向上计算是否剪枝。剪枝过程将子树切除,用叶节点代替。也可以在验证集上,判断能否提升验证集准确率来决定是否剪枝。
上一题:简单介绍一下CART决策树
下一题:RF与GBDT之间的区别
标签: 剪枝、决策树、生长、核心思想、验证
笔试题
刷题
简历模板
AI算法
大数据
内推
内推: