机器学习中样本与全数据集的正则化
在机器学习中，正则化是一种用于控制模型复杂度的技术，它通过在损失函数中引入一个正则化项来避免过拟合问题。正则化可以通过限制模型参数的大小或者引入稀疏性来实现。
样本与全数据集的正则化是指在正则化过程中，对于样本和全数据集的处理方式不同。
- 样本正则化（Instance Regularization）：样本正则化是指对每个样本进行独立的正则化处理。它通过对每个样本的特征进行调整或者添加额外的特征来减小模型对某些样本的过拟合程度。样本正则化可以通过以下方式实现：
- 特征缩放（Feature Scaling）：将样本的特征值缩放到一个较小的范围内，例如0, 1或者-1, 1，以避免某些特征对模型的影响过大。
- 特征选择（Feature Selection）：选择对模型预测结果有较大影响的特征，剔除对模型预测结果影响较小的特征，以减小模型的复杂度。
- 特征转换（Feature Transformation）：对样本的特征进行转换，例如使用主成分分析（PCA）将高维特征映射到低维空间，以减小模型的复杂度。
- 全数据集正则化（Dataset Regularization）：全数据集正则化是指对整个数据集进行正则化处理。它通过在损失函数中引入一个正则化项来约束模型的复杂度。全数据集正则化可以通过以下方式实现：
- L1正则化（L1 Regularization）：在损失函数中添加L1范数的正则化项，使得模型参数中的一部分变为0，从而实现特征的稀疏性。
- L2正则化（L2 Regularization）：在损失函数中添加L2范数的正则化项，使得模型参数的大小被限制在一个较小的范围内，从而减小模型的复杂度。
样本与全数据集的正则化在机器学习中都有各自的应用场景和优势：
- 样本正则化适用于数据集中存在一些特殊样本，这些样本对模型的预测结果有较大的影响，通过对这些样本进行正则化处理，可以减小模型对这些样本的过拟合程度，提高模型的泛化能力。
- 全数据集正则化适用于数据集中的样本分布比较均匀，没有特殊样本的情况。通过对整个数据集进行正则化处理，可以减小模型的复杂度，提高模型的泛化能力。
腾讯云提供了一系列与机器学习相关的产品和服务，包括：
- 人工智能机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习算法和模型训练、推理的能力，支持图像识别、语音识别、自然语言处理等应用场景。
- 弹性MapReduce（https://cloud.tencent.com/product/emr）：提供了大数据处理和分析的能力，可以用于机器学习中的数据预处理和特征工程。
- 云服务器（https://cloud.tencent.com/product/cvm）：提供了高性能的云服务器实例，可以用于机器学习模型的训练和推理。
- 云数据库MySQL版（https://cloud.tencent.com/product/cdb_mysql）：提供了可靠的云数据库服务，可以存储和管理机器学习中的数据。
以上是腾讯云在机器学习领域的一些相关产品和服务，可以根据具体的需求选择适合的产品进行使用。
相关·内容
假设我有一个用于监督机器学习任务的数据集X和标签Y。
假设X有10个特征和1,000个样本，我认为使用sklearn.preprocessing.scale缩放我的数据是合适的。执行此操作后，我训练我的模型。
我现在希望将其用于新数据的模型，因此我收集了X的10个特征的新样本，并希望使用我训练的模型对此样本进行分类。
在尝试分类之前，有没有一种简单的方法可以将在训练模型之前在X上执行的相同缩放应用到这个新样本？
如果不是，唯一的解决方案是在缩放之前保留X的副本，并将我的新样本添加到此数据中，然后缩放此数据集，并在通过此过程缩放后尝试对新样本进行分类吗？
浏览 4提问于2018-08-12得票数 3
在我的机器学习课上，我们学习了在使用许多机器学习模型来解释偏差时，如何将1添加到每个样本的特征向量中。例如，如果我们正在进行线性回归，并且样本具有f_1，f_2，...，f_d特征，我们需要添加一个“伪”特征值1，以允许回归函数不必通过原点。
当使用sklearn模型时，你需要自己做这件事，还是他们的实现为你做呢？具体来说，我感兴趣的是，在使用他们的任何回归模型或SVM模型时，这是否是必要的。
浏览 0提问于2016-05-10得票数 0
最近，我正在进行一些项目，获得了30阳性样本和30 阴性样本。它们每个都具有128个特性(128个维度)。
我用"LeaveOneOut“和"sklearn.linear_model.LogisticRegression”对这些样本进行了分类，取得了满意的结果(AUC 0.87)。我把结果告诉了我的朋友，他问，我怎样才能用60个样本来计算参数，特征向量的维数比样本数大。
现在我有了同样的问题。我检查了工具箱的源代码，仍然不知道这个问题。有人能帮我解决这个问题吗？谢谢!
浏览 0提问于2017-11-06得票数 1
1回答
我对机器学习非常陌生，我想了解机器学习的一般过程。我已经完成了著名的‘虹膜’教程，并想问一问，该教程中的原则是否适用于未来的机器学习项目，我承担。
我在生物科学领域工作，对机器学习算法应用于生物序列数据感兴趣，比如对类进行分类或进行无监督的聚类。据我所知，每个项目都从以下几个方面开始：
我定义了我想从原始数据中学习的“范围”或目标。
从我自己的代码/算法中生成可能区分这两个类的特性/属性
这基本上是由y_entries生成一个巨大的y_entries矩阵。
将矩阵输入到机器学习算法中(我肯定这已经大大简化了)。
举个例子，假设我有10,000个蛋白质序列，我相信5000是'Class1
浏览 0提问于2018-01-13得票数 2
回答已采纳
1回答
我很抱歉，如果这是有点长的喘息，但这是由另一个用户的建议，我张贴。
我首先要说的是，我对机器学习和深度学习的世界非常陌生。因此，我所追求的最重要的事情就是理解我在做什么。
我正在尝试建立一个用于二进制分类的人工神经网络。
我有一个以and形式的二元特征矩阵，其中N是样本数，D是特征数。在我的dataset N中，最大值为200万--但由于运行所需的时间(甚至在使用我的GPU时)，我在500 K上运行测试。如果测试后得到了一个很有希望的验证曲线，我将在完整的数据集上运行来验证。D在我的数据集中是5。因此，我有一个表格500000 x5的特征矩阵。下面是一个片段：
[[0 1 0 1 1]
[0
浏览 0提问于2021-05-07得票数 1
回答已采纳
我在几个地方读到了关于机器学习方法中的特性的normalization。但是，我按行将培训数据规范化，如下代码所示。我只展示了两个训练数据样本。我的问题是，在对测试数据执行规范化时，应该选择每个测试样本的最小值和最大值来规范每个测试数据，还是应该使用培训数据中的最小值和最大值？作为第一行的解释-3是一个特征，-2是第二，0是第三，3是第五个特性。第二行是包含从-4到2之间的5个特征的第二样本。与所有其他机器学习算法相似，每一行对应一个由5个特征组成的样本。
data = np.array([[-3,-2,0, 2,3],[-4,-1,0,3,2]])
print(data)
print(da
浏览 0提问于2019-06-21得票数 0
我正在尝试一个随机森林回归器来解决机器学习问题(空间点的价格估计)。我有一个城市空间点的样本。这个样本不是随机抽取的，因为市中心很少有观察结果。我想估计这个城市所有地址的价格。
我有一个很好的交叉验证分数(绝对均方误差)，也有一个很好的测试成绩后，分裂的训练集。但是预测是非常糟糕的。
，什么能解释这个结果?
我绘制了学习曲线(上面的链接)：交叉验证分数随着实例数的增加而增加(听起来合乎逻辑)，训练分数仍然很高(应该减少吗?)这些学习曲线显示了什么？一般来说，我们如何“阅读”学习曲线？
此外，我认为样本并不具有代表性。我试着根据培训集在每个区域的观察比例绘制白化替换图，从而使我希望在空
浏览 0提问于2017-06-30得票数 0
3回答
关于特征选择技术的建议？
、、、、
区块报价
我是一名学生，机器学习的初学者。我想做特写
列的选择。我的数据集是50000×370，这是一个二进制分类问题。首先，我用std.deviation = 0删除了列，然后删除了重复列，之后我检查了具有最高ROC曲线区域的前20个特性。PCA的下一步应该是什么？有人能给出一系列的步骤来进行特征选择吗？
浏览 1提问于2016-04-14得票数 0
5回答
我正在处理一个问题，试图用机器学习将数据样本分类为质量好或差。
数据样本存储在关系数据库中。样本包含属性id、名称、向上投票的数量(用于好的/坏的质量指示)、评论的数量等。还有一个表，具有指向数据样本id的外键的项。这些项包含权重和名称。所有指向数据样本的项都表征了数据样本，这通常有助于对数据样本进行分类。问题是，对于不同的样本，指向一个外键的项数是不同的。
我想将指向特定数据样本的项目提供给机器学习输入，例如神经网络。问题是我不知道项目的数量，所以我不知道我想要多少个输入节点。
Q1)当输入维度是动态的时，是否可以使用神经网络？如果是这样的话，是怎么做的？
Q2)当元组列表的长度未知时，是否
浏览 1提问于2012-12-06得票数 7
我是Hadoop的新手，正在尝试学习数据仓库和分析方面的知识。
有人可以建议我如何设置我的练习机器，特别是关于1.开始学习所需的机器/节点数量2.在Windows上设置是否可取?3.需要安装什么软件4.测试/样本数据的可用性
另外，我想得到关于如何使用Hive执行BI操作的最佳方法的建议。
谢谢。
浏览 2提问于2012-09-25得票数 0
我正在尝试使用非结构化数据进行第一次机器学习。预处理后的培训数据存储在CSV文件中，每一列都作为示例存储。跑后
numpy_array.shape
结果是(240000, 400)，即总共有400个样本，每个样本有240000个特征。培训数据集中没有标题(字符串)。我的问题是如何让模型知道，每一列都是一个样本。我应该先转到训练数据集吗？
浏览 3提问于2020-07-02得票数 0
回答已采纳
1回答
这只是我最近想出来的一个奇怪的思维实验。实际上，我对这一领域还不熟悉。总之，我的想法是：
假设我们有数据D和机器学习算法A1。然后，我们使用A1训练D得到假设H。我表示这个过程如下：
A1(D) =H
然后，假设我们有一个机器学习算法训练器A2，我们可以使用它来训练一个更好的机器学习算法A1*，方法是输入所有行数据D、机器学习算法H所训练的假设以及算法本身A1：
A2(D，H，A1) =A1*(实际上应该有很多H和A1)
这个过程可以持续下去。希望你能明白我的想法。因为英语不是我的母语，如果这对你来说没有意义的话，请提前道歉。那么，你们认为有可能训练，比如说，算法A3，它可以用来训练机器学习算
浏览 0提问于2019-01-09得票数 0
我们正在尝试利用机器学习算法建立一个预测模型。
我有一个用例，在这个用例中，输入数据具有非常高的维度。每个样本点有20000个特征。
我们有一套不错的训练样本，约有100万个训练样本，如有需要，我们可以获得更多，例如200万或300万样本。
我们对速度不太敏感，它不像一个需要在一秒钟内作出反应的推荐系统。这个应用程序允许我们花几分钟来做一个预测。尽管如此，我们还是希望该算法能够在未来的并行模式下运行。
给出上面的描述，你会建议什么样的算法？
我们最大的担忧是过分贴合，有这么多的特点，似乎我们注定要过度适应。
我们试图单独做一些最近的邻居线，但有这么多的特点，计算距离听起来像是一个不可能的任务。
浏览 0提问于2015-10-01得票数 4
在创建机器学习模型时，我的同行告诉我，在机器学习模型构建阶段，尤其是在数据规范化或缩放之前，应该尽早实现分离。我对机器学习非常陌生，所以我想找一些关于机器学习的建议。
这就是我在做的
standardized_X = preprocessing.scale(x_data)
X_train_std, X_test_std, y_train_std, y_test_std = train_test_split(standardized_X, df_breast.CLASS.values, test_size=0.3, random_state=0)
而我被告知这个序列应该是
X_train_s
浏览 0提问于2019-03-27得票数 0
回答已采纳
人们在机器学习中使用输入空间、特征空间、样本空间、假设空间、参数空间等术语。
有谁能用一个具体的例子来解释这些术语，比如学习MNIST数据集？，它有1797个样本，10个类，8*8维和17个特征。
请不要泛泛而谈。
例如，在这种情况下，特征空间是否是一组由17个元素{0，1，…，16}组成的集合？
浏览 0提问于2019-09-23得票数 5
4回答
在机器学习中，防止过度拟合的一种方法是增加L2正则化，有人说L1正则化更好，为什么呢？另外，我知道L1被用来保证数据的稀疏性，这一结果的理论支持是什么？
浏览 6提问于2015-04-22得票数 1
回答已采纳
Keras使用class_weight参数来处理不平衡的数据集。
以下是我们在中可以找到的内容
可选的字典映射类索引(整数)到一个权重(浮点)，以适用于模型的损失，从这类样本在培训。这可能有助于告诉模型“更多地注意”来自代表不足的类的样本。
这是否意味着class_weight在训练错误函数中给每个类赋予了不同的权重？它在其他地方有影响力吗？与大多数表示类的“物理”删除实例相比，对于泛化错误，它真的有效吗？
浏览 0提问于2018-08-30得票数 4
回答已采纳
我最近为机器学习中的一个类安装了weka，我正在学习，并被告知某些数据集在名为data的weka文件夹中可用。我安装了在这个上找到的mac版本的weka，但是我似乎没有样本数据集，当我通过聚光灯搜索在mac上搜索时也找不到它们。有人知道mac会把它们放在哪里吗。或者有人可以链接到我可以下载的示例数据文件夹。
浏览 17提问于2022-09-07得票数 0
回答已采纳
2回答
我想训练不同的机器学习算法(支持向量机，随机森林，CNN等)。对于相同的数据集(例如，MNIST)，然后比较它们的准确性。目标是从哪种训练数据大小中找出哪种方法比其他方法更好。为了做到这一点，我不断地减少原始训练数据集( 60000个样本)，并在这些减少的训练数据集上训练模型。
如果我使用原始的MNIST测试数据集(10000个样本)来确定精度，我当然会得到过度拟合，例如，当训练数据集为1000个样本时，我获得了95%的训练精度和75%的测试精度。
训练数据集越小，测试精度越低，训练精度基本相同。
减少测试数据集以恢复原来的1:6比例的测试集:培训集是否也有意义？就我个人而言，我认为这是没有道
浏览 0提问于2019-04-28得票数 0
1回答
我有一个数据集，其中包含处理条件(即42个特征)和一类材料的属性(即1个目标)。为了了解不同机器学习模型的性能，在训练中考虑了不同数量的特征，对五种不同的机器学习模型进行了测试。这些模型分别是线性回归(LR)、贝叶斯岭(BR)、最近邻(NN)、随机森林(RF)和支持向量机(SVM)回归。测试数据集的确定系数(R2)用来表示经过训练的机器学习模型的性能。
📷
我们可以看到最大的。这些模型的精度依次为: RF>BR~LR~SVM>NN。前8位特征要求获得较好的射频精度，之后的精度几乎与顶级功能的数量无关。BR、LR和SVM的性能随着顶级特征数量的增加而不断提高，直到在前26个特征中达到
浏览 0提问于2020-06-16得票数 1
回答已采纳
我是机器学习的新手，正在尝试将决策树归纳放到事情的宏伟计划中。决策树(例如，使用C4.5或ID3构建的决策树)是参数化的还是非参数化的？我猜测它们可能确实是参数的，因为实际值的决策分割点可能是根据特征值的一些分布确定的，例如均值。然而，它们并不共享必须保留所有原始训练数据的非参数特征(就像使用kNN一样)。
浏览 2提问于2012-12-13得票数 9
回答已采纳
为了训练机器学习模型，计算机通常需要更多的处理能力。在这种情况下，需要强大的CPU，因为它是一个大数据集，它需要更多的内存，所以GPU不是CPU，而是解决方案。
在继续之前，我们需要决定使用哪一个处理器吗？例如，30000样本数据集是否需要如此大的处理能力？
提前谢谢。
如果问题的任何部分不清楚，请评论。
浏览 0提问于2019-03-24得票数 1
回答已采纳
偏差-方差权衡就像机器学习中的一条定律。你不能兼得这两个世界的优点。机器学习中的监督学习是如何使两者不能同时满足的呢？
浏览 0提问于2019-08-27得票数 1
回答已采纳
2回答
正则化是为了减少机器学习模型的容量，以避免过度拟合。为什么我们不直接使用一个容量较小的模型(例如减少层数)。这也将有利于计算时间和内存。
我猜想不同的正则化方法对数据集有不同的假设。如果是这样的话，对常见的正则化(L1、L2、退出等等)作了什么假设？
提前感谢！
浏览 0提问于2019-08-08得票数 7
2回答
推文分类
、、
我正在尝试机器学习，所以我想尝试对tweet进行文本分类。我收集了一个小的tweet样本，但为了执行任何有监督的学习，我需要手动标记我收集的一些tweet。当我扩展我的数据时，这是一项艰巨的任务。
有没有办法在不让我手动标记大量tweet的情况下执行分类？或者，无监督学习对这项任务更好吗？
浏览 4提问于2014-05-23得票数 0
2回答
我正在做一个小项目，我的数据集有6k行和大约300个特性，有一个简单的二进制结果。
因为我还在学习ML，所以我想尝试所有我能找到并比较结果的算法。
正如我在教程中所读的，我将我的数据集分成一个训练样本(80%)和一个测试样本(20%)，然后用交叉验证(5倍)训练我的算法。
我的计划是以这种方式训练我的所有模型，然后在测试样本上衡量它们的性能，以选择最佳的算法。
这会导致过度适应吗？如果是这样的话，由于我无法比较model_selection.GridSearchCV内部的几种模型，我如何才能防止它过度适应呢？
浏览 0提问于2019-04-21得票数 3
回答已采纳
2回答
无监督学习和培训数据
、、、
据我所知，我们需要使用训练数据来找出在监督学习中，特征(也称为输入值)和标签(输出值)之间的关系。然后，利用这种关系，我们的学习系统试图在下一个数据集中预测数据样本的标签。
然而，没有必要在无监督学习中找出这种关系，因为数据样本没有标签，它们只包含特征。在这种情况下，我们是否需要一个无监督学习的培训集？
浏览 0提问于2019-02-10得票数 0
1回答
我正在尝试找到运行神经网络Matlab应用程序中的神经网络拟合工具的最佳神经元数量。
我目前使用64个元素的62000个样本作为输入，1个元素的62000个样本作为目标。我试图获得与通过其他方法获得的数据类似的结果，但当尝试运行具有1-12个神经元的工具时，结果甚至不相似。我试着用64个神经元运行它，结果更接近预期。
有没有什么方法可以根据元素/样本的数量知道要使用多少个神经元？
在运行测试时如何选择神经元的数量有什么建议吗？
谢谢。
浏览 9提问于2016-08-21得票数 0
回答已采纳
我有一个100行x 100到300列的数据集。LSTM模型是否适用于我的数据，还是需要更多的数据？
如果我的样本大小是一个问题，是否还有其他RNN体系结构能够使用小数据集大小进行建模？
浏览 0提问于2021-08-09得票数 0
回答已采纳
2回答
不完全数据下的机器学习
、、、
我有上百万的样品，大约有1000个特征。但是，对于每个样本，只测量了一组特征。我想要执行机器学习，根据特性预测结果，但是，我不知道如何处理丢失的数据。由于数据是按随机顺序丢失的，所以我不能根据丢失的特性对数据进行分类，因为类的数量会很大，而且每个类中只有很少的样本。处理这类问题的最佳解决办法是什么？
浏览 2提问于2016-09-08得票数 1
回答已采纳
1回答
我想要在Keras中创建一个模型，它可以学习“逐个样本”；这种类型的机器被称为，一种通过数据接收和拟合数据的模型。我的问题是:我怎样才能在Keras中做到这一点？是否可以通过在合适的情况下设置batch_size=1来做到这一点？
浏览 1提问于2020-01-21得票数 0
回答已采纳
1回答
我目前有一个包含21392个样本的数据集，其中16948属于多数类(A类)，其余4444属于少数类(B类)。目前，我正在使用SMOTE (合成少数群体过采样技术)来生成合成数据，但对于应该生成多大比例的合成样本以确保机器学习/深度学习模型的良好分类性能，我感到困惑。
我有几种选择：- 1.第一种选择是生成21392个新样本，其中16904个A类样本和其余4488个B类少数样本，然后将原始样本和综合生成的新样本合并。然而，我认为，主要的缺点是，在我的总体数据集(original+new)中，少数群体样本的百分比将大致保持不变，我认为这违背了过度抽样少数群体样本的目的。2.第二种选择是产生2139
浏览 0提问于2019-03-13得票数 1
回答已采纳
1回答
我有一个包含330个样本和每个样本的27个特征的数据集，其中具有Logistic回归的二进制类问题。
根据“如果十”的规则，我需要至少10个事件的每个功能被包括在内。然而，我有一个不平衡的数据集，有20%的正类和80%的负类。
这只给了我70个事件，允许在Logistic模型中包含大约7/8的功能。
我想评估所有的功能作为预测，我不想手动选择任何功能。
那么你有什么建议呢？我应该做所有可能的7个功能组合吗？我是否应该使用关联模型单独评估每个功能，然后只为最终模型选择最好的功能？
我对分类和连续特征的处理也很好奇，我可以混合它们吗？如果我有一个分类的0-1和一个连续的0-100，我应该标准化吗？
浏览 0提问于2017-07-28得票数 0
2回答
我已经实现了一个基于深度Q学习的RL模型，用于学习如何玩2D游戏，就像在OpenAI健身房的游戏一样。为了测试该模型，与大多数人不同，我选择在不同的层次上评估它的性能，而不是用于培训的。这样，我就可以评估模型学到的知识是否能很好地推广到以前看不见的水平。
在做了一些测试和绘图后，我注意到了一个问题。虽然该模型具有很好的通用性，但如果培训过程持续太久，它最终会对培训集(用于培训的级别)进行过度拟合。这是合理的，因为早期停止是一种常用的技术，以防止过度安装。问题是训练时间越长，训练的样本越多，这就会提高它的测试性能。然而，正如我所解释的，这并不是由于过度适应而造成的。
我想运行模型，并绘制在测试集
浏览 0提问于2019-09-28得票数 3
回答已采纳
1回答
我有来自三个不同设备的RSSI值的数据样本，并且基于RSSI样本，它应该知道数据样本是从哪个位置到达的。下面是样本数据集，
device_1 device_2 device_3 location
-45 -56 -78 drawing_room
-48 -51 -82 drawing_room
-41 -59 -73 drawing_room
-71 -59 -59 conference
-69 -60 -65
浏览 0提问于2019-08-28得票数 2
1回答
我想计算样本外测试集预测中机器学习回归的RMSE的置信区间。
我的训练集是样本的前80%，“样本外”测试集是样本的最后20%。我将测试集预测的RMSE视为样本外性能，并希望计算此RMSE的CI。
我的一个想法是对前80%的训练集进行重新采样，但每次迭代都使用相同的测试集。这似乎代表了测试集上RMSE在不同可能的训练场景中的CI。然而，它不会考虑到测试集中可能的变化。
这种方法明智吗？有没有更好的方法来解决我的问题？谢谢!
浏览 14提问于2018-02-19得票数 1
我正在训练一个CNN模型(使用Keras制作)。输入图像数据大约有10200个图像。要分类的类别有120个。绘制数据频率图，我可以看到每个类的样本数据在分布方面或多或少是均匀的。
我面临的问题是训练数据的损失图随着时代的推移而下降，但对于验证数据，它首先下降，然后继续增加。准确性图反映了这一点。训练数据的准确性最终在.94得到了解决，但验证数据的准确性在0.08左右。
基本上是过度拟合的情况。
我使用的是0.005的学习率和.25的辍学。
我可以采取什么措施来获得更好的验证准确性？有没有可能每个类的样本量太小，我可能需要数据增强才能有更多的数据点？
浏览 37提问于2019-10-27得票数 0
1回答
分类问题说明：
假设有一个具有X样本和d特性的常规数据集。
这个分类问题有些困难(许多特性，很少样本，总体AUC ~70%低)。
可以说，特征选择/提取、降维、核、分类器已经得到了广泛的应用。所以我不想尝试这些。
我并不期待看到AUC整体上的改善。目标是在大海捞针中找到相关的特征。
对我的做法的说明：
我选择了d特性的所有成对组合，并创建了许多二维子数据集x和n样本。
在每个子数据集x上，我执行10次交叉验证(使用主数据集X的所有样本)。一个很长的过程，假设数周的计算。
我选择顶级k对(例如，根据最高的+ )并将它们标记为+。所有其他对都被标记为-。
对
浏览 2提问于2014-09-01得票数 2
2回答
这是一个一般性的问题，也许有人可以给我指出正确的方向。 我正在使用Python3.6/Tensorflow进行强化学习，并且我已经找到/调整了我自己的模型，以基于特定股票的历史数据进行训练。我的问题是，有没有可能在不止一个股票的数据集上训练这个模型？我读过的每一篇关于时间序列预测和RL的机器学习文章都使用一个数据集进行训练和测试，但我的目标是在一堆不同价格的报价器上训练一个模型，希望该模型可以识别相似的价格模式，而不管价格或报价器，这样我就可以将训练好的模型应用到新的数据集上，它就会工作。 现在，它在一个报价器上训练，它是价格，但当我试图添加一个新的数据集来进行额外的训练时，它的表现很糟糕，
浏览 24提问于2018-12-30得票数 1
1回答
我对我从亚马逊网络服务(SageMaker)线性学习器得到的结果有疑问。
也就是说，我试图复制我从R，SAS或Knime (使用线性回归)获得的结果，但不幸的是，我从线性学习器中获得的结果与前面提到的其他3种计算方法不同。
我尝试了不同的超参数和配置，但即使在合成生成的数据满足关系的非常琐碎的情况下，我也得到了不精确的回归结果
Y=X1+2*X2+3
在这种情况下，精确的回归系数等于1,2和截距3。与前面提到的其他软件不同，SageMaker线性学习器返回的值甚至不接近正确的值，例如，在一个示例运行中，我得到了0.91547656 1.9826275 3.023757，这根本不能令人满意。你可
浏览 1提问于2018-12-09得票数 2
我理解过拟合和欠拟合的直观含义。现在，给定一个基于训练数据训练的特定机器学习模型，您如何判断训练是过拟合还是欠拟合数据？有没有一种量化的方法来衡量这些因素？
我们能不能看看误差，然后说它是过拟合还是欠拟合？
浏览 0提问于2012-09-15得票数 4
回答已采纳
1回答
我有一个由成千上万个个体的y~x关系组成的数据集，它们的关系可以有不同的形状。例如，它们可以遵循指数，渐近，逻辑或驼峰形状(具有不同的偏度)模式.实际上，我不知道这些关系的所有形态，这些只是我假设会出现的几种模式。
我需要一种方法来将这些关系分类成一个非线性模式，而不需要查看每一个单独的关系。我想知道在机器学习中是否有办法做到这一点。我愿意坐下来自己对一些模式进行分类，但希望避免手工对它们进行分类。
最终，我对预测不感兴趣。回归只能用来描述不同的非线性模式，并根据回归的形状将每个个体分类为一个类别。
到目前为止，我所做的是用不同的方程拟合每个关系的非线性回归，并通过评估剩余方差和p值来决定哪一
浏览 0提问于2019-11-01得票数 1
因此，我在理解交叉验证如何在机器学习中进行建模时遇到了一些麻烦。
假设我有一个包含100个样本的数据集，我执行了10次折叠交叉验证。
据我所知，我会将数据集分成10个一组，然后在其中一个集合上进行训练和测试。
最后，我将有10个不同的分类器，以及对整个数据集的预测结果。
那么我如何使用这些结果在新的第101个样本上进行测试呢？
或者是生成的10个分类器以某种方式聚合成一个分类器？
浏览 2提问于2013-11-19得票数 3
5回答
我是机器学习的新手，我正在做一个需要应用机器学习概念的项目。
问题陈述：
我有大量的(比如说3000个)关键字words.These需要被分成七个固定的categories.Each类别是有训练数据(样本关键字)的.I需要有一个算法，当一个新的关键字传递给它时，它应该预测这个关键字属于哪个类别。
我不知道哪种文本分类技术需要应用于this.do，我们有任何可以使用的工具。
请帮帮忙。
提前谢谢。
浏览 1提问于2014-11-19得票数 0
1回答
我对SQL和PHP的理解非常有限。我有几个项目，我想尝试和工作，这将需要做一些网络抓取数据收集，然后存储，排序，分析数据。我也想在我的网站上提供这些数据，以便其他人也能对其进行排序。
我的问题是，我应该往哪个方向学习这方面的必要技能。我愿意投入时间和精力，但我想确保我会以正确的方式去做。我的第一个想法是参加一个在线的Standford数据库课程，然后是一些web抓取教程，然后是一些PHP教程。
然后，我偶然发现了一个名为"Orange“的软件，它是”面向新手和专家的开放源码数据可视化和分析软件。数据挖掘是通过可视化编程或Python脚本编写的。用于机器学习的组件。用于生物信息学和文本挖
浏览 0提问于2013-06-04得票数 -1
回答已采纳
我正在寻找合适的数据集来测试一些新的机器学习想法。有没有办法查看HuggingFace数据集的汇总统计数据(例如样本数；数据类型)？
他们在这里提供了的描述，但是过滤起来有点困难。
浏览 4提问于2020-10-26得票数 0
回答已采纳
我知道我们拥有的数据越多，我们的模型就越可靠。我还了解到，机器学习模型的参数越多，所需的训练数据就越多。例如，深度神经网络需要比线性回归或支持向量机更多的数据。
机器学习在文本和图像中的成功应用需要数百万的数据点。我阅读此尝试(链接)时，使用了5000引号的数据集来生成新的引号。提交人曾多次尝试失败，直到他意识到他的数据集太小，无法完成这项任务。他成功地使用了转移学习，使用了由Salesforce开发的AWD模型，该模型对维基百科的1亿令牌进行了培训。
另一方面，我经常看到一些科学文章，这些文章用几百个数据(甚至更少)来训练机器学习模型，并夸耀它们的“伟大发现”。例如，本文(链接)使用的数据集
浏览 0提问于2019-09-04得票数 4
在我对使用机器学习的理解中，总是有一个名为Target或Label的专栏，这使得我们将方法称为Supervised学习。现在我处理的不是supervised或unsupervised过程。我不知道到底是什么。我有一些数据帧，每个数据帧都有3列。这些列之间有关系，但这并不重要。我正在寻找一种方法来显示样品对彼此的影响。从理论上说，在我的课题中，已经证明了在特定情况下，一些样本比其他样本更重要。现在我需要用机器学习来展示它。我已经生成了发生这种情况所需的数据，但我不知道如何找到样本对彼此的影响。我本可以在样本上显示一些不同之处，但找不到任何有意义的场景用于机器学习。为了澄清，我定义了一个值，它是在
浏览 0提问于2021-02-02得票数 0
我有一个数据集，我想对样本进行分层，创建关于使用caret包的统计模型，然后生成预测。
我发现的问题是，在分层数据集的不同迭代中，我得到了显著不同的结果(部分原因可能是数据样本M=1000相对较小)。
我想要做的是：
生成分层数据样本
创建机器学习模型
重复1000时间&取平均模型输出
我希望，通过重复关于分层数据集变化的步骤，我能够避免由于较小的数据样本而产生的预测中的微妙变化。
例如，在r中，它可能是这样的；
Original.Dataset = data.frame(A)
Stratified.Dataset = stratified(Original.Da
浏览 1提问于2018-02-20得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
