使用随机森林时的时间加权样本

是一种在随机森林算法中用于处理时间序列数据的技术。随机森林是一种集成学习算法，通过组合多个决策树来进行预测和分类。在时间序列数据中，样本的时间顺序对预测结果有重要影响，因此需要考虑时间加权样本来提高模型的准确性。

时间加权样本的基本思想是给予较新的样本更高的权重，较旧的样本则降低权重。这样做的目的是使模型更加关注最近的数据，以反映出时间序列数据的动态变化。时间加权样本可以通过以下步骤实现：

数据准备：将时间序列数据按照时间顺序排序，确保最新的样本在前面。
计算权重：根据样本的时间戳计算权重，可以使用指数衰减函数或其他合适的方法。较新的样本可以赋予较高的权重，较旧的样本则赋予较低的权重。
构建随机森林模型：使用加权样本构建随机森林模型。在每个决策树的训练过程中，根据样本的权重进行采样和划分。
预测和评估：使用训练好的随机森林模型进行预测，并根据实际结果评估模型的性能。

时间加权样本在处理时间序列数据时具有以下优势：

考虑时间顺序：通过赋予较新样本较高的权重，模型能够更好地捕捉时间序列数据的动态变化。
提高预测准确性：由于时间加权样本更关注最近的数据，模型能够更准确地预测未来的趋势和变化。
适应数据变化：随着时间的推移，数据分布和特征可能会发生变化。时间加权样本可以帮助模型及时适应这些变化，提高模型的鲁棒性。

时间加权样本在许多领域都有广泛的应用场景，例如金融预测、股票市场分析、天气预报、交通流量预测等。对于这些需要考虑时间因素的问题，使用时间加权样本可以提高模型的预测能力。

腾讯云提供了一系列与随机森林相关的产品和服务，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）和腾讯云数据智能（https://cloud.tencent.com/product/ti）等。这些产品和服务可以帮助用户构建和部署随机森林模型，并提供丰富的功能和工具来处理时间序列数据。

在随机森林中，所有的决策树是否都被赋予相同的优先级？

machine-learning、classification、random-forest、decision-trees

在随机森林算法中，使用随机选择的特征( $log_2 n$ +1，其中n=数的特征数)生成m(例如)决策树数。从测试数据中选择任何样本的标签是根据这些决策树的投票数来选择的。但这些决策树的准确性不同(相当明显)。我的问题是，为什么我们要对所有的决策树给予同样的优先权？如果一个决策树在预测测试样本的标签时具有较高的准确性，那么我们是否应该给予它比那些预测精度较低的更高的优先级呢？

浏览 0提问于2018-05-30得票数 7

1回答

在随机森林中决策树是如何平均的？

random-forest、ensemble-modeling

我们都知道，随机森林是决策树的集合，其结果是平均的。我发现的每一个来源都简单地谈到了“平均树”，但是这种“平均树”是如何发生的呢？有人能详细地证明这一点吗？

浏览 0提问于2019-05-30得票数 3

1回答

随机森林对LightGBM 有人能解释一下随机森林和LightGBM之间的详细区别吗？算法是如何在引擎盖下工作的呢？根据我从文件中的理解： LightGBM和RF在树的构建方式上有所不同:顺序和结果的组合方式。结果表明，如果对参数进行仔细调整，GBM的性能要优于射频。随机森林: RFs使用随机数据样本对每棵树进行独立的训练。这种随机性有助于使模型比单个决策树更健壮，并且更不适合于训练数据。我的问题是什么时候人们会在梯度增强机器上使用随机森林？与随机森林相比，使用梯度增强法有什么好处/缺点？

浏览 0提问于2019-11-18得票数 9

回答已采纳

2回答

随机森林修剪

python、machine-learning、scikit-learn、random-forest、pruning

我有一个随机森林回归器。它非常重，1.6 GBytes，并且在预测值时需要很长时间。我想修剪它，让它变得更轻。据我所知，剪枝不适用于决策树和森林。我不能自己实现它，因为树代码是用C写的，我不知道它。有人知道解决方案吗？

浏览 2提问于2015-07-24得票数 4

2回答

用于训练基于随机森林的二进制分类器的正负训练示例的正确比率

machine-learning、random-forest

我意识到相关问题建议正面和负面训练示例的比例为1:1，这对罗基奥算法有利。然而，这个问题与相关问题的不同之处在于，它涉及一个随机森林模型，而且还在以下两个方面。 1)我有大量的训练数据要处理，使用更多训练示例的主要瓶颈是训练迭代时间。也就是说，我不喜欢花超过一晚的时间来训练一个排名者，因为我想快速迭代。 2)在实践中，分类器可能会看到每4个负样本对应1个正样本。在这种情况下，我应该使用更多的负面示例而不是正面示例进行训练，还是仍然使用相同数量的正面示例和负面示例？

浏览 1提问于2013-07-28得票数 6

1回答

如何知道何时发生过拟合？

python、scikit-learn、overfitting-underfitting

我有一个包含3961个不同行和32列的训练数据，我希望将其适合随机森林和梯度提升模型。在训练时，我需要微调模型的超参数，以获得尽可能好的AUC。为此，我使用Scipy中描述的盆地跳跃算法最小化数量1-AUC(Y_real，Y_pred)；因此我的训练和内部验证子样本是相同的。当优化完成后，我得到了随机森林的AUC=0.994，而对于梯度提升我得到了AUC=1。我是不是对这些模型过度拟合了？我怎么知道在训练过程中什么时候发生了过拟合？

浏览 10提问于2021-01-20得票数 0

5回答

在二进制分类中，是否应该平衡测试数据集？

machine-learning、classification、class-imbalance

我有一个数据集，有4519个样本标记为"1"，18921个样本标记为"0“，在二进制分类练习中。我很清楚，在分类算法的训练阶段(在这种情况下，是随机森林)，应该平衡0/1样本的数量，以防止算法偏向大多数类。但是，测试数据集是否也应该是平衡的？换句话说，如果用"0“类的1000个随机样本和"1”类的1000个随机样本来训练我的模型，我应该用剩下的3519个"1“类样本来测试这个模型吗？不平衡的测试数据集对精确性、召回性和总体准确性指标有什么影响？谢谢

浏览 0提问于2018-11-29得票数 8

回答已采纳

2回答

我应该重新整理数据集吗？

decision-trees、class-imbalance

我拥有的数据集是由路径名组成的一些文本数据。我正在使用TF-国防军向量器和决策树。数据集中的类严重不平衡。有几个大类的样本数超过500个，而其他一些小类的样本数少于100个。有些甚至更小(不到20)。这是实际收集的数据，因此模型在实际实现中看到次要类的可能性也很小。我现在遇到的问题是，模型大部分时间预测小班为主修班，使我的准确率一直在45%左右。如果我重新整理数据，我认为由于模型学习主修班的能力降低，准确性会更差。因此，我想问一问，我是否应该考虑重新整理我的数据，或有人对如何提高我的模型的准确性有任何建议？任何帮助都是非常感谢的。

浏览 0提问于2021-07-14得票数 0

3回答

测试/培训拆分-是否总是有必要(监督学习)？

machine-learning、dataset、machine-learning-model

我目前正在研究我的第一个机器学习模型( Penguins数据集)。我将训练三种机器学习模型，每个模型使用不同的模型结构(决策树、随机森林和梯度提升)，并相互比较。我知道，在我的特殊情况下，如果我想比较三种不同型号的精度，测试/列车分割将是必要的。但是，是否总是需要将数据集划分为训练集和测试集？让我们以随机森林算法为例--我们可以使用OOB评分来评估我们的模型，并在不执行训练/测试分割的情况下执行实际的测试。由于我们的训练集中已经有一堆样本不会实际用于训练，所以我认为使用它们进行测试是个好主意，而不是通过显式地将训练集分割成训练/测试集来减少训练集。我认为，当我们拥有小型数据集(例如Palme

浏览 0提问于2021-12-15得票数 1

1回答

寻找连续目标变量“最佳”截止点的方法

machine-learning、statistics、data-mining、data-manipulation

我正在研究一个机器学习场景，其中目标变量是停电持续时间。目标变量的分布严重偏右(你可以想象大多数停电发生并很快就结束了，但还有很多很多异常值可以持续更长时间)随着持续时间越来越长，许多停电的数据变得越来越不“可解释”。它们或多或少会变成“独特的停机”，即在现场发生的事件不一定是其他停机的“典型”，也不会记录所有其他“典型”停机已有的事件细节的数据。这会导致在创建模型时出现问题。这些无法解释的数据与可解释的部分混合在一起，并扭曲了模型的预测能力。我分析了一些百分位数，以决定一个我认为包含尽可能多的停机的点，同时我仍然相信持续时间将是最可解释的。这大约是320分钟大关，包含了大约90%的中断

浏览 0提问于2017-01-04得票数 3

1回答

具有大数据的随机森林.树数.观测数

bigdata、random-forest

我经常使用随机森林，正则随机森林，引导随机森林，和类似的树模型。我正在处理的数据的大小已经超出了我使用HPC和并行性所能处理的范围。由于行长(观察)而不是列(特性)，它通常很大。数据也往往不是正态分布的。我必须在以下两者之间做出选择：用完整的数据或相对较大的比较样本运行少量的树(即50棵或更少的树) 运行数倍于树数，但相应地缩小了样本大小。比如，我可以做一些特别的测试，看看我认为哪些测试会更好，但我想知道的是，是否有一个很好的理论(或强有力的实证)推理来指导方法的选择，或者描述所做的权衡？换句话说，我希望更熟悉这种(类型)算法的数学、统计和理论的人能够提供一些可概括的洞察力。

浏览 0提问于2015-11-02得票数 6

回答已采纳

1回答

分类预测产生错误的结果scikit学习

scikit-learn

我已经从数据集中生成了模型，并试图根据cohen_kappa得分和预测精度找到最佳算法。我对各种算法运行它，因为我将获得的数据类型是未知的，所以通过比较它们的kappa和准确性来找到最佳算法。我的数据被交叉验证了10倍。我在随机森林，决策树，SGDClassifier，感知器，被动攻击性，逻辑回归，梯度提升，朴素贝叶斯，KNeighbors之间进行了比较。在我的示例中，我得到了随机森林作为使用Kappa=1和accuracy=0.94进行分类的最佳算法我的分类是两类分类，条件是ResponseTime > 200。现在，当我尝试运行预测时，对于一些因变量的值，我得到了正确的预测，

浏览 2提问于2017-07-18得票数 0

1回答

梯度提升树还是神经网络用模型平均？

machine-learning、classification、neural-network、accuracy、gbm

我正在处理与保险索赔相关的数据集，将新获得的客户分类为索赔或非索赔。培训集的基本问题是索赔和非索赔配置极不平衡，索赔额仅占培训集的0.26%。此外，大多数索赔主要集中在最后几年(数据按日期分类)。应用Logistic回归，甚至随机森林，对70%的数据进行训练，检验结果远低于满意。我一直在看其他的模特，我偶然发现了这篇博客文章。引起我注意的一句话是：在本文中，两类数据集分类器的最佳分类器为avNNet_t，分类准确率为83.0%。尽管没有真正澄清为什么会这样。有人能帮我打开这个“黑匣子”吗？哪种模型真正有效(在上面描述的情况下)，以及为什么？

浏览 0提问于2016-06-10得票数 3

1回答

验证损失增加，验证精度下降

python、deep-learning、classification、keras、overfitting

我对我的模特有意见。我试图使用最基本的Conv1D模型来分析评审数据并输出1-5级的评级，因此损失是categorical_crossentropy。模型结构如下 # define model model = Sequential() model.add(Embedding(vocab_size, 100, input_length=max_length)) model.add(Conv1D(filters=32, kernel_size=8, activation='relu')) model.add(MaxPooling1D(pool_size=2)) model.add(

浏览 0提问于2019-03-21得票数 7

1回答

使用权重处理不平衡数据

numpy、import、machine-learning、scikit-learn、random-forest

我有非常不平衡的数据，目标是分类。首先，我想检查多数类上的欠采样。第一类包含600、class2 90、class3 60和class4 96示例数据！使用权重:在2折交叉验证和随机森林模型中：为什么使用权重，结果不是更好？这是我的代码：cfr = RandomForestClassifier(n_estimators=100,n_jobs=5,class_weight={1:1,2:30,3:30,4:30})我的代码中有什么地方出错了吗？你能给我带路吗？

浏览 0提问于2015-11-08得票数 0

1回答

不平衡试验数据的零精度随机林

classification、random-forest、accuracy、class-imbalance、sampling

如果这是一个基本问题的话，很抱歉。我有一个非常不平衡的数据集，其中记录由两个类中的一个标记: class1 (负类)和class2 (正类)： 1类:150万条记录第2类:10万条记录因此，它们之间的比例基本上是1:15。由于我处理的是随时间变化的观测，所以我将火车/测试数据按以下方式划分：列车数据： class1: 90万 class2：~10万测试数据： class1: 60万 class2: 25 因此，有62%的训练数据和38%的测试数据，测试数据是最近的。我使用随机森林分类器作为模型，并给出了1比class1和9 to class2的类权重，以弥补数据的不平衡。我读

浏览 0提问于2019-07-11得票数 0

2回答

随机森林用于时间序列数据集

time-series、modeling、random-forest

对于时间序列数据集，我想做一些分析并创建预测模型。通常，我们会将数据(通过整组数据的随机抽样)分割成训练集和测试集，并使用带有randomForest函数的训练集。并保留测试部分，以检查模型的行为。然而，有人告诉我，时间序列数据不可能通过随机抽样来分割数据。如果有人能解释如何将数据分割成时间序列数据的培训和测试，我将不胜感激。或者如果有任何替代做时间序列随机森林。问候

浏览 3提问于2015-09-09得票数 3

回答已采纳

2回答

使用不同分类器组合的集合学习是助推的另一个名称吗？

classification、matlab、self-study、boosting

为了实现，我遵循AdaBoost的Matlab程序。根据我的理解，AdaBoost使用了称为基本分类器的弱分类器，并创建了它的几个实例。例如，弱分类器就是决策树。因此，AdaBoost可以创建最大N决策树(其中N =样本数)并组合预测结果。这是一种齐次升压法。但是我已经看到了一些例子，比如Matlab和集成工具箱中的例子，这些都让我感到困惑。请有人解释一下与实现有关的以下概念，以及代码中发生了什么？ 1) AdaBoost的Matlab代码是否结合了不同的分类器？我不清楚合并的方法-whether，他们做的是和票或多数票或者其他什么的。如果它们结合了几个分类器，那么从技术上讲，它是一种异质集

浏览 0提问于2018-06-19得票数 0

回答已采纳

2回答

随机森林能学习时间序列相关性吗？

time-series、random-forest

我们有一个数据集，每一行都有一组N个工程特性。这些特性实际上是一个时间序列。我被要求使用它们来训练一个随机森林类型的分类模型。然而，并没有努力将这些特征作为一个时间序列来处理，例如说明相关性或季节性。该模型公式与线性加性模型y~ b0 + b1 + b2...b120的公式完全一致。铅坚持认为，随机森林，因为它学习复杂的相互作用，将学习适当的相关性为时间序列。是这样的吗？

浏览 0提问于2021-11-12得票数 4

2回答