信息增益与决策树
1. 何为信息增益（Information Gain）？
信息增益是特征选择中的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。
IG 是用来衡量一个属性区分数据样本的能力。IG越大，这个属性作为一棵树的根节点就能使这棵树更简洁。
2. 如何计算信息增益？（利用熵）
熵的概念源于信息论中：
熵（Entropy）是表示随机变量不确定性的度量。
熵越大，随机变量的不确定性就越大。从定义可验证 0 ≤ H(p) ≤ log n
李航-《统计学习方法》决策树-信息增益。P60
posted on 2018-01-14 19:39 CuriousZero 阅读(544) 评论(0) 编辑 收藏 举报
