文章/答案/技术大牛

发布

社区首页 >问答首页 >如何从xgboost或随机森林中区分重要特征的方向？

问如何从xgboost或随机森林中区分重要特征的方向？
EN

Stack Overflow用户

提问于 2019-10-10 02:41:50

回答 2查看 1.4K关注 0票数 1

我现在正在研究二进制文本分类问题(比如情感分析)，仅仅通过feature_importances_就能提取出xgboost或随机森林的重要特征是微不足道的

假设我们对这个分类问题有两个标签1和0。那么有没有办法打印出特征的方向(正的或负的)？比方说，单词特征A具有丰富或高tfidf，标签为1。

当然，我可以拉出这个特定单词特征的tfidf列，并与皮尔逊系数的标签相关联，系数的+/-将指示方向，对吗？任何其他更优雅的方式都内置了这样的函数。(我没有找到)

谢谢

nlp

random-forest

xgboost

sentiment-analysis

text-classification

大模型知识引擎特惠

提供大模型在企业中的知识应用搭建，配套工具链完善、高效便捷，新用户2折起！

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-10-10 20:39:36

这并不完全是您所要求的，但我通常使用Lime来做这件事。即使我切换模型，我也喜欢它的工作方式。

票数 1

Stack Overflow用户

发布于 2019-10-11 07:14:40

除了石灰( Sam H建议)之外，SHAP在这里也是一个选择。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58314707

复制

随机森林随机选择特征的方法_随机森林步骤

决策树机器学习神经网络深度学习人工智能

摘要：当你读到这篇博客，如果你是大佬你可以选择跳过去，免得耽误时间，如果你和我一样刚刚入门算法调参不久，那么你肯定知道手动调参是多么的低效。那么现在我来整理一下近几日学习的笔记，和大家一起分享学习这个知识点。对于scikit-learn这个库我们应该都知道，可以从中导出随机森林分类器（RandomForestClassifier），当然也能导出其他分类器模块，在此不多赘述。在我们大致搭建好训练模型之后，我们需要确定RF分类器中的重要参数，从而可以得到具有最佳参数的最终模型。这次调参的内容主要分为三块：1.参数含义；2.网格搜索法内容；3.实战案例。

全栈程序员站长

2022/09/27

1.9K0

基于随机森林识别特征重要性(翻译)

模式识别

博主Slav Ivanov 的文章《Identifying churn drivers with Random Forests 》部分内容翻译。博主有一款自己的产品RetainKit，用AI和机器学习方法，帮助SaaS相关企业解决客户流失问题。如对他们对产品有兴趣，可以访问下面的链接进行更多了解：https://www.producthunt.com/upcoming/retainkit。随机森林随机森林是一个集成算法，通过生成很多棵树，最终以投票或算均值的方式得到结果。这篇文章可视为对随机森林中

三猫

2018/04/10

1.7K0

如何筛选特征？用随机森林（RF）

http html

一般情况下，数据集的特征成百上千，因此有必要从中选取对结果影响较大的特征来进行进一步建模，相关的方法有：主成分分析、lasso等，这里我们介绍的是通过随机森林来进行筛选。

机器学习AI算法工程

2019/10/28

5.3K0

R语言随机森林模型中具有相关特征的变量重要性

编程算法

变量重要性图是查看模型中哪些变量有趣的好工具。由于我们通常在随机森林中使用它，因此它看起来非常适合非常大的数据集。大型数据集的问题在于许多特征是“相关的”，在这种情况下，很难比较可变重要性图的值的解释。例如，考虑一个非常简单的线性模型

拓端

2020/08/06

2.2K0

R语言随机森林模型中具有相关特征的变量重要性

编程算法

变量重要性图是查看模型中哪些变量有趣的好工具。由于我们通常在随机森林中使用它，因此它看起来非常适合非常大的数据集。大型数据集的问题在于许多特征是“相关的”，在这种情况下，很难比较可变重要性图的值的解释。

拓端

2020/09/28

2.1K0

利用随机森林评估特征重要性原理与应用

决策树机器学习神经网络深度学习人工智能

来源：机器学习研习院本文约2000字，建议阅读8分钟本文对随机森林如何用在特征选择上做一个简单的介绍。随机森林是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，更令人惊奇的是它在分类和回归上表现出了十分惊人的性能，因此，随机森林也被誉为“代表集成学习技术水平的方法”。一、随机森林RF简介只要了解决策树的算法，那么随机森林是相当容易理解的。随机森林的算法可以用如下几个步骤概括：用有抽样放回的方法（bootstrap）从样本集中选取n个样本作为一个训练集。用抽样得到的

数据派THU

2022/09/14

2.5K0

RF(随机森林)、GBDT、XGBoost算法简介

编程算法

一、概念 RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。二、关系根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是Bagging和“随机森林”（Random Forest）三、RF 1.1 原理　　提到随机森林，

两只橙

2018/04/28

2.5K0

RF(随机森林)、GBDT、XGBoost面试级整理

机器学习决策树神经网络深度学习人工智能

由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。　　根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是Bagg

机器学习AI算法工程

2018/03/15

6.2K0

GBDT、随机森林、xgboost算法原理解析视频公开

机器学习编程算法

xgboost是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，其中包括两个以上kaggle比赛的夺冠方案。在工业界规模方面，xgboost的分布式版本有广泛的可移植性，支持在YARN, MPI, Sungrid Engine等各个平台上面运行，并且保留了单机并行版本的各种优化，使得它可以很好地解决于工业界规模的问题。 xgboost参数详解 General Parameters（常规参数） 1.booster [default=gbtree]：选择基分类器，gbtree: tree-based models/gblinear: linear models 2.silent [default=0]:设置成1则没有运行信息输出，最好是设置为0. 3.nthread [default to maximum number of threads available if not set]：线程数 Booster Parameters（模型参数） 1.eta [default=0.3]:shrinkage参数，用于更新叶子节点权重时，乘以该系数，避免步长过大。参数值越大，越可能无法收敛。把学习率 eta 设置的小一些，小学习率可以使得后面的学习更加仔细。 2.min_child_weight [default=1]:这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。 3.max_depth [default=6]: 每颗树的最大深度，树高越深，越容易过拟合。 4.max_leaf_nodes:最大叶结点数，与max_depth作用有点重合。 5.gamma [default=0]：后剪枝时，用于控制是否后剪枝的参数。 6.max_delta_step [default=0]：这个参数在更新步骤中起作用，如果取0表示没有约束，如果取正值则使得更新步骤更加保守。可以防止做太大的更新步子，使更新更加平缓。 7.subsample [default=1]：样本随机采样，较低的值使得算法更加保守，防止过拟合，但是太小的值也会造成欠拟合。 8.colsample_bytree [default=1]：列采样，对每棵树的生成用的特征进行列采样.一般设置为：0.5-1 9.lambda [default=1]：控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。 10.alpha [default=0]:控制模型复杂程度的权重值的 L1 正则项参数，参数值越大，模型越不容易过拟合。 11.scale_pos_weight [default=1]：如果取值大于0的话，在类别样本不平衡的情况下有助于快速收敛。 Learning Task Parameters（学习任务参数） 1.objective [default=reg:linear]：定义最小化损失函数类型，常用参数： binary:logistic –logistic regression for binary classification, returns predicted probability (not class) multi:softmax –multiclass classification using the softmax objective, returns predicted class (not probabilities) you also need to set an additional num_class (number of classes) parameter defining the number of unique classes multi:softprob –same as softmax, but returns predicted probability of each data point belonging to each class. 2.eval_metric [ default according to objective ]： The metric to be used for validation data. The default values are rmse for regression and error for classification. Typical values are: rmse – r

机器学习AI算法工程

2019/10/28

8660

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）

其他

面网易数据挖掘工程师岗位，第一次面数据挖掘的岗位，只想着能够去多准备一些，体验面这个岗位的感觉，虽然最好心有不甘告终，不过继续加油。不过总的来看，面试前有准备永远比你没有准备要强好几倍。因为面试过程看重的不仅是你的实习经历多久怎样，更多的是看重你对基础知识的掌握（即学习能力和逻辑），实际项目中解决问题的能力（做了什么贡献）。 ---- 先提一下奥卡姆剃刀：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取。以免模型过于复杂，出现过拟合的问题。如果你想面数据挖掘岗必须先了解下面这部分的基本

机器学习AI算法工程

2018/03/14

3.2K0

贝叶斯优化在XGBoost及随机森林中的使用

决策树编程算法 https 网络安全机器学习

XGBoost和Random-Forest（RF，随机森林）都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性，通过组合各个决策树的输出来进行预测（分类或回归）。而集成学习按照个体学习器的生成方式，可以大致分为两类：一类是个体学习器之间存在强依赖关系，必须串行生成序列的方法；以及个体学习器之间不存在强依赖关系，可同时生成的并行化方法。前者的代表就是XGBoost，后者的代表是Random-Forest。

用户3578099

2019/08/15

3.6K0

决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

决策树深度学习人工智能机器学习神经网络

决策树是一个有监督分类模型，本质是选择一个最大信息增益的特征值进行输的分割，直到达到结束条件或叶子节点纯度达到阈值。下图是决策树的一个示例图：

Python数据科学

2019/10/10

8110

决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

决策树深度学习人工智能机器学习神经网络

1480

2019/10/15

1.4K0

决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

决策树深度学习人工智能机器学习神经网络

统计学家

2019/09/03

1.7K0

XGBoost 2.0:对基于树的方法进行了重大更新

决策树 xgboost 函数模型数据

XGBoost是处理不同类型表格数据的最著名的算法，LightGBM 和Catboost也是为了修改他的缺陷而发布的。9月12日XGBoost发布了新的2.0版，本文除了介绍让XGBoost的完整历史以外，还将介绍新机制和更新。

deephub

2023/10/08

7690

特征工程-使用随机森林填补缺失值

特征工程机器学习神经网络深度学习人工智能

特征工程在传统的机器学习中是非常重要的一个步骤，我们对机器学习算法的优化通常是有限的。如果在完成任务时发现不管怎么优化算法得到的结果都不满意，这个时候就可以考虑回头在做一下特征工程。

ZackSock

2021/12/30

1.8K1

从决策树到XGBOOST

决策树机器学习深度学习人工智能神经网络

XGBoost在机器学习领域可谓风光无限，作为从学术界来的模范生，帮助工业界解决了许多实际问题，真可谓：

西西木木

2020/06/07

1.5K0

【机器学习】随机森林、GBDT、XGBoost、LightGBM等集成学习代码练习

https 网络安全 scikit-learn 机器学习神经网络

对比了六大模型，可以看出，逻辑回归速度最快，但准确率最低。而LightGBM，速度快，而且准确率最高，所以，现在处理结构化数据的时候，大部分都是用LightGBM算法。

黄博的机器学习圈子

2023/01/10

1.1K0

随机森林

决策树机器学习神经网络深度学习人工智能

算法步骤:随机森林由LeoBreiman于2001年提出，它通过自助法（Bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合。然后根据自助样本集生成k个分类树，这k个分类树组成随机森林。新数据的分类结果按各分类树投票多少形成的分数而定。采样与完全分裂两个随机采样的过程，Random Forest对输入的数据要进行、列的采样。对于行采样，采用有放回的方式，采样得到的样本集合中，可能有重复的样本。列采样，在得到的样本中，从M个特征中，选择m个（m << M）。对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。完全随机的取样方式使得每棵树都有过学习的可能，但是因为数量足够多使得最后的模型过学习的可能性大大降低随机森林在最后输出时采取的是Majority-voting。

爱编程的小明

2022/09/06

8460

[机器学习算法]随机森林

机器学习

从统计学的角度来讲，将模型的性能寄希望于单棵决策树是不稳健的，这意味着它在处理未知数据时预测结果的方差是较大的。如同我们做重要决定时会考虑多个专家的意见，元算法meta-algorithm主张综合多个分类器的结果做预测，元算法也被称为集成方法ensemble method，主要思路包括：

TOMOCAT

2020/06/09

1.3K0

相似问题

随机森林“特征重要性”

随机森林特征选择的Pearson相关或特征重要性

随机森林中重要特征的统计意义？

随机森林特征重要性Python

随机森林预测值的特征重要性？

活动推荐

腾讯云BI 特惠专场

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例