如何在训练XGBoost模型时使用图形处理器？

文章/答案/技术大牛

发布

1回答

H2o AutoML能否从Sagemaker平台上的GPU实例中获益？

gpu、h2o、amazon-sagemaker、automl

我正在使用Sagemaker笔记本实例与H2o AutoML一起运行一些项目，我想知道H2o AutoML是否可以从GPU Sagemaker实例中受益，如果可以，我应该如何配置笔记本？

浏览 18提问于2019-09-06得票数 2

回答已采纳

1回答

python、gpu、xgboost

我一直在尝试在Jupyter Notebook中训练一个XGBoost模型。我通过以下命令安装了XGboost(GPU)： git clone — recursive https://github.com/dmlc/xgboostmkdir build-DUSE_CUDA=ON make -j 但是每当我尝试训练模型而不是model.fit时，内核都会在几分钟后重新启动。

浏览 23提问于2020-01-23得票数 3

2回答

既然TensorflowJS可以通过WebGL使用图形处理器，我为什么还需要nVIDIA图形处理器呢？

tensorflow、machine-learning、deep-learning、gpgpu、tensorflow.js

因此，TensorFlowJS可以使用WebGL进行图形处理器计算和训练深度学习模型。为什么这不比在nVIDIA图形处理器上使用CUDA更受欢迎呢？大多数试图建立机器学习模型原型的人都喜欢在他们的个人电脑上这样做，但如果我们没有一台配备nVIDIA图形处理器的电脑，我们中的许多人都会求助于昂贵的云服务，如亚马逊网络服务(尽管最近谷歌Colab提供了帮助)来进行机器学习训练<

浏览 68提问于2021-09-06得票数 1

回答已采纳

1回答

XGBoost培训时间似乎太长

python、machine-learning、xgboost、training-data

我正在尝试使用XGBoost包在Python语言中训练xgboost分类器。我在分类器的所有参数上使用默认值，我的训练集有大约16,000个元素和每个元素的180,000个特征。我没有使用gpu来训练模型，但尽管如此，训练过程已经花费了五个多小时，而且还在继续。我有32 I7的内存和6核的英特尔I7。我想知道现在是不是用我拥有的数据量训练这个分类器的正常时间，因为我听说有人在几分钟内训练</

浏览 69提问于2020-01-06得票数 1

1回答

如何将经过训练的xgboost基模型参数加载到xgboost中？

python、scikit-learn、xgboost

在Python中使用基础API (即xgboost.train(args))训练和保存xgboost模型时，我们可以使用.save_model()保存参数： import xgboost model我的目标是将一个经过训练的xgboost模型(使用Learning API训练)加载到xgboost Scikit-Learn API中作为一个合适

浏览 100提问于2021-07-15得票数 0

1回答

如何在xgboost中找到分类树的残差

classification、xgboost、gbm

所以，在阅读和看了很多陈天琪和童贺的论文和演讲之后，我就明白了这种直觉。但是在现实中，如果您有一个数据集，那么如何根据上一轮树的残差来匹配另一个分类树呢？📷在那之后，我该如何称重他们才能组成一个整体？

浏览 0提问于2018-02-13得票数 0

2回答

可以从本地内核使用TPU吗？

tpu

我正在尝试用TPU训练一个模型，但我必须使用Google Colab或类似的平台吗？

浏览 19提问于2020-12-09得票数 0

2回答

用GPU训练H2O模型和用CPU进行预测是可能的吗？

gpu、cpu、h2o

对于培训速度来说，最好能用GPU训练H2O模型，获取模型文件，然后在没有GPU的机器上进行预测。从理论上看，这似乎是可能的，但在H2O版本3.13.0.341中，除了XGBoost模型之外，这似乎不会发生。当我运行gpustat -cup时，我可以看到GPU在我训练H2O的XGBoost模型时发挥作用。这种情况不会发生在DL，DRF，GLM或GBM中。如果浮点大小的差异(16、32、64)可能导致一些不一致，更不用说

浏览 5提问于2017-07-24得票数 2

回答已采纳

3回答

Python培训和星火部署

python-3.x、scala、apache-spark-mllib、xgboost、apache-spark-ml

是否有可能在python中训练XGboost模型，并使用保存的模型在火花环境中进行预测？也就是说，我想要能够训练的XGboost模型使用学习，保存模型。在火花中加载保存的模型，并在火花中进行预测。当我训练和预测XGBoost的不同绑定时，我会看到以下问题。在训练过程中，我将在python中使用，而在预测mllib中将使用

浏览 2提问于2019-10-21得票数 1

2回答

GPU/TPU上的PyCaret方法

jupyter-notebook、gpu、cpu、kaggle、pycaret

如何在图形处理器上运行setup()或compare_models()？在PyCaret中有内置的方法吗？

浏览 64提问于2021-05-18得票数 1

回答已采纳

1回答

如何在python中获取xgb.train的超参数

python、xgboost、xgbclassifier

xgb.train是用于在Python中训练xgboost模型的低级API。当我使用XGBClassifier (它是一个包装器)并在对模型进行训练时调用xgb.train时，我可以打印XGBClassifier对象并打印超参数。在使用xgb.train时，我不知道如何在训练后检查参数 bst = xgb.train(params, dtrain) bst.params # does

浏览 4提问于2021-11-03得票数 3

回答已采纳

1回答

XGBoost best max_depth=1

xgboost

我使用xgboost来训练分类模型。GridCVSearch提供了最好的max_depth=1，这意味着我的成百上千的树在一个节点上被分割。这是否意味着我处理的问题/数据集可以使用简单的模型来分离，并且我不需要使用复杂的模型，如xgboost？一般来说，如果所有树的深度都为1，那么xgboost是否比SVM/logistic回归等简单模型提供了更好的预测？谢谢

浏览 76提问于2019-02-28得票数 2

1回答

将用python训练的xgboost模型加载到scala

python、scala、scikit-learn、xgboost

我使用sklearn api训练了一个模型，并保存了模型。from xgboost.sklearn import XGBClassifiermodel.fit(X_train, y_train)model.save_model("trained_model.model") 然后，我

浏览 3提问于2017-09-06得票数 4

回答已采纳

1回答

Sagemaker中XGBoost分类数据集的矢量化

python、vectorization、xgboost、amazon-sagemaker

当我们使用AWS内置模型(如(container = sagemaker.image_uris.retrieve("xgboost", region, "1.2-1")) )训练XGB模型时，根据我的理解，培训工作需要训练和验证的数值向量。该模型只处理浮点数，(在Sagemaker之外，我可以使用TFIDF来向量化我的特性并构造一个DMatrix)，但是这种方法似乎不受Sag

浏览 0提问于2021-07-21得票数 0

1回答

停止基于eval_metric的xgboost

r、machine-learning、xgboost、boosting

基于领域知识，我知道当eval_metric (根据训练数据进行评估)超过某个特定值时，xgboost是过拟合的。我只想在特定的轮次上采用拟合的模型，不再继续。这里有一个例子可以更好地用问题来解释。(使用xgboost帮助文档附带的玩具示例并使用默认的eval_metric)data(agaricus.train, package=

浏览 17提问于2017-01-24得票数 0

1回答

经过PyTorch训练的模型可以在GPU和TPU之间传输吗？

pytorch、gpu、tpu

在使用图形处理器训练PyTorch模型后，我可以使用保存的权重在TPU上继续训练模型吗？

浏览 6提问于2021-09-25得票数 0

0回答

如何在iOS中运行Tensorflow对象检测API模型？

ios、tensorflow、neural-network、coreml

我刚刚训练了一个模型，结果令人满意，并且我有了frozen_inference_graph.pb。我该如何在iOS上运行它呢？它在固态硬盘Mobilenet V1上进行了训练，如果有帮助的话。最好是使用图形处理器(我知道tensorflow API不能在iOS上这样做)，但是先把它放在CPU上就太好了。

浏览 1提问于2017-12-07得票数 1

3回答

如何在Google Colab中拍摄和恢复另一个虚拟机上的模型训练快照？

python、tensorflow、deep-learning、pytorch、google-colaboratory

根据谷歌colab的说法，有一个12小时的用于在图形处理器上训练DL模型。其他人在过去也有过类似的，但是当超过12小时的限制时，如何在训练中途保存和加载模型，包括保存已经完成的纪元数/保存其他参数，还没有明确的答案。

浏览 1提问于2018-10-09得票数 1

1回答

在Google Colab中使用多个GPU的Tensorflow中的分布式训练

tensorflow、gpu、distributed-computing、google-colaboratory

我正在使用Google Colab和Python3来实现一个带有定制的、分布式的训练循环的神经网络，如本指南中所述：在“创建分发变量和图形策略”部分的指南中，有一些代码的图片，这些代码基本上设置了一个“MirroredStrategy”，然后打印生成的模型副本的数量，请参见下面的内容。据我所知，输出表明MirroredStrategy只创建了模型的一个副本，因此，只有一个GPU将用于训练模型。我的问题是: Google Colab是否仅限于在单个GP

浏览 8提问于2019-09-19得票数 5

2回答

Keras在前2个时期使用GPU，然后停止使用它

tensorflow、keras、deep-learning、gpu

现在，当我使用训练生成器进行model.fit_generator时，模型使用图形处理器并在前两个时期快速训练(图形处理器内存已满，图形处理器易失性使用率在50%左右波动很好)。然而，在第三个时期之后，GPU易失性使用率为0%，并且时期花费了20倍的时间。这里发生了什么事？

浏览 2提问于2020-04-18得票数 0

点击加载更多

H2o AutoML能否从Sagemaker平台上的GPU实例中获益？