问特征重要性语境下的决策树解释

EN

不需要一个特性越重要，它在决策树上的节点就越高。

这仅仅是因为在这两种情况下(分裂与重要性)都可以使用不同的标准(例如基尼杂质、熵-信息增益、MSE等)。

例如，在SkLearn，您可以选择根据熵-信息增益准则(参见criterion & 'entropy' at SkLearn)对决策树上的节点进行拆分，而特征的重要性则由Gini重要性(即给定变量在随机林中的所有树中的Gini杂质的平均减少量)来表示(参见feature_importances_ at SkLearn和这里)。

如果我是对的，在SkLearn，即使您选择按照Gini杂质准则对决策树上的节点进行拆分，而特性的重要性是由基尼重要性赋予的，因为基尼杂质和基尼重要性并不相同(参见关于基尼重要性的这和这 )。

在科学知识-学习特征的重要性是减少节点杂质。关键是它只在节点级别度量重要性。然后，根据到达该节点的样本数对所有节点进行加权。

因此，如果只有少数样本在第一次分裂后在左节点结束，这可能并不意味着J是最重要的特性，因为左节点上的增益可能只会影响很少的样本。如果您另外打印出每个节点中的样本数，您可能会更好地了解正在发生的事情。

仅仅因为节点在树上较低并不一定意味着它就不那么重要了。中的特性重要性是通过一个节点如何将类分离出来(基尼指数)来计算的。你会注意到，即使是在你修剪过的树上，A也比J分裂了三倍，熵分数(与吉尼相似)在A节点上略高于J。

然而，如果您只能选择一个节点，您将选择J，因为这将导致最好的预测。但是，如果您可以选择让多个节点做出几个不同的决定，那么A将是最好的选择。