样本加权在不平衡数据训练中没有帮助
是一个错误的说法。在不平衡数据训练中，样本加权是一种常用的技术，用于解决数据集中类别不平衡的问题。
样本加权是通过为不同类别的样本赋予不同的权重来平衡数据集。通常情况下，少数类别的样本会被赋予更高的权重，以便在训练模型时更加关注这些少数类别，从而提高模型对少数类别的识别能力。
样本加权的优势包括：
- 提高模型对少数类别的识别能力：通过赋予少数类别更高的权重，模型更加关注这些类别，从而提高对少数类别的识别能力。
- 平衡数据集：通过样本加权，可以使得不平衡的数据集在训练过程中更加平衡，避免模型过度关注多数类别而忽略少数类别。
- 提高整体模型性能：通过平衡数据集，样本加权可以提高整体模型的性能，使得模型在各个类别上都能取得较好的效果。
在实际应用中，样本加权可以应用于各种机器学习和深度学习算法中，如决策树、支持向量机、神经网络等。在腾讯云的产品中，可以使用腾讯云机器学习平台（https://cloud.tencent.com/product/tcml）来进行不平衡数据训练，并通过设置样本权重来实现样本加权的效果。
相关·内容
1回答
我正在进行卫星数据方面的培训。由于数据中的类分布极不均衡，因此本文采用随机多数欠采样的方法对神经网络进行训练，人为地平衡了每个班的训练样本数。在验证过程中，我不以任何方式对数据进行重采样。
📷
📷
在上面的图表中，橙色是训练的表现，蓝色是验证。验证精度和损失值比训练精度和损失大得多。即使训练正确率在90%左右，验证精度在某一时间点甚至达到0.2%。为什么验证指标波动得很厉害，而训练指标却保持相当恒定？
关于模型/数据的一些补充资料：
我用U网模型将卫星图像分割成三个土地覆盖类别。与原论文相比，U网模型在每一层的滤波器数只有原来的一半，在每次卷积后和激活之前，我都采用批归一化。该模型使用带有初始
浏览 0提问于2020-08-31得票数 1
当我们有一个不平衡的机器学习问题时，让我们假设一个二进制分类问题，其中0类是多数类，1类是少数类。这里第一课对你来说是最重要的课程。现在，您的数据集由100个样本组成:70个来自0类的样本和30个来自第1类的样本。
在这种情况下，通常定义并使用加权二进制交叉熵损失函数来计算损失。
classweights = torch.FloarTensor([1.000, 1.300])
weighted_loss = torch.nn.BCELoss(weight = classweights)
对于像F1评分这样的度量标准，是否需要使用这些权重？
sample_classweights = sklea
浏览 0提问于2020-09-02得票数 0
回答已采纳
2回答
基于以前的帖子，我理解在使用不平衡数据集训练二进制分类模型时，需要确保CV过程中的验证折叠具有与原始数据集相同的不平衡分布。我的问题是关于最好的训练模式。
假设我有一个包含500万个样本的不平衡数据集，其中90%是pos类，10%是neg类，我将使用5倍的CV进行模型调优。另外，让我们假设我将提供一个随机的100 K样本进行测试(90K样本w/ pos类与10K样本w/ neg类)。现在我有两个选择：
选项1)
步骤1:随机抽取200 K不平衡的训练数据(180 K样本pos类与20K样本neg类)
步骤2:在每个CV迭代期间：
训练区将有160 K样本(144 K pos vs 16 K n
浏览 0提问于2020-06-16得票数 1
1回答
加权损失函数与加权抽样？
、、、、
对于图像分类任务，使用加权损失函数与使用加权抽样有实际区别吗？(我希望得到理论上的论证、经验或发表的论文，任何真正的东西。)
一些细节：
所谓“加权抽样”，是指对训练集中的每一个样本赋予不同的抽样概率。
所谓“加权损失函数”，指的是不同的加权误差项，取决于考虑的样本。
浏览 0提问于2020-06-05得票数 4
阳性率为4%。类权重方法不会像我在训练时平衡数据一样工作，通过对阳性类样本进行缩放，实时(或在测试数据中)，预期分布会很低。如何为这类情况选择一个好的决策边界。
浏览 0提问于2016-02-26得票数 4
4回答
也许这太长了。关于滑雪板随机森林的简单问题：
对于一个真实/错误的分类问题，在sklearn的随机森林中是否有一种方法可以指定用于训练每棵树的样本大小，以及真实和错误观测的比率？
详情如下：
在随机森林的R实现(称为randomForest )中，有一个选项sampsize()。这允许您根据结果来平衡用于训练每棵树的样本。
例如，如果您试图预测结果是正确还是错误，并且培训集中90%的结果是假的，则可以设置sampsize(500, 500)。这意味着，每棵树将被训练在一个随机样本(与替换)从训练集与500个真实和500个错误的观察。在这种情况下，我发现当使用50%的截断时，模型的预测效果要好
浏览 2提问于2013-11-27得票数 6
回答已采纳
1回答
我正在尝试在不平衡的数据集上训练CNN模型。我想知道一批数据在训练数据集中的分布有多接近。在keras中的内置函数中是否有任何参数可以指定为批量维护相同的分布？
浏览 2提问于2018-03-09得票数 0
在一种二进监督分类中，1类和0类在训练中有不同的样本数，对于不平衡的数据集，通常会找到关于调整类权值、反复采样和欠采样的教程。在两个类都有足够的样本(例如，不是异常检测)的情况下，如果最终必须调整阈值，为什么要调整类的权重或平衡训练数据？
浏览 0提问于2020-06-21得票数 1
回答已采纳
我正在为libsvm使用Python接口，我注意到的是，在使用网格搜索选择了最佳的C和gamma参数(RBF内核)之后，当我训练模型并交叉验证它(5倍，如果相关)时，我收到的精度与我的训练数据集中的标签比率相同。
我有3,947个样本，其中2,898个样本的标签为1，其余的样本标签为1，占样本总数的73.4229%。
当我训练模型并交叉验证它5倍时，这是我得到的-
optimization finished, #iter = 1529
nu = 0.531517 obj = -209.738688,
rho = 0.997250 nSV = 1847, nBSV = 1534
Total nS
浏览 2提问于2012-08-31得票数 5
回答已采纳
Keras使用class_weight参数来处理不平衡的数据集。
以下是我们在中可以找到的内容
可选的字典映射类索引(整数)到一个权重(浮点)，以适用于模型的损失，从这类样本在培训。这可能有助于告诉模型“更多地注意”来自代表不足的类的样本。
这是否意味着class_weight在训练错误函数中给每个类赋予了不同的权重？它在其他地方有影响力吗？与大多数表示类的“物理”删除实例相比，对于泛化错误，它真的有效吗？
浏览 0提问于2018-08-30得票数 4
回答已采纳
1回答
我正在训练三个班级，其中一个占主导地位的班级约占80%，其他两个班级甚至。我能够使用欠采样/过采样技术来训练模型，以获得67%的验证准确率，这对于我的目的来说已经相当不错了。问题是这种性能只存在于平衡的验证数据上，一旦我用不平衡的数据对样本外进行测试，它似乎就偏向于甚至类预测。我也尝试过使用加权损失函数，但在样本之外也没有什么乐趣。有没有好的方法来确保验证性能的转换？我曾尝试使用auroc成功验证模型，但同样，强大的性能仅存在于平衡验证数据中。
我已经尝试过重采样的方法: SMOTE过采样和随机欠采样。
浏览 6提问于2019-07-10得票数 0
1回答
我正在使用mxnet/resnet50训练一个物体检测器，在最后一次训练运行后，mAP是78%，当我在我的测试集上运行检测器时(独立于训练/val数据)，损失是0.37，我得到了假阳性结果-一些相当高的30-60%的置信度。我认为我需要添加一些训练/val图像，这些图像没有我正在训练检测器的任何对象。
我计划再添加20%的标签为-1的图像--我在某处读到这是如何在mxnet中指定没有标签的图像的。
这看起来合理吗？指定它是正确的方式吗？有什么不好的地方吗？谢谢，约翰
浏览 2提问于2018-11-28得票数 1
1回答
我需要分类一个相对较小的时间序列数据集。
训练集维度是5087行(分类)由3197列(时间样本)组成，这些列(或据我所理解)是模型的特征。我还不知道每个样本是否重要，稍后我会考虑下采样/滤波/傅里叶变换。
不幸的是，dataset是非常不平衡的: 5087行中只有37行(0.7%)是“正”。你会怎么处理这个？我将不得不使用Scikit-学习图书馆。
因为这是我使用Scikit的第一种方法--学习，我想尝试一个非常简单的分类器，只有很少的超参数，并在那里建立起来。
首先，选择分类器: logistic回归，因为这是我能想到的最简单的一个，这只是一个测试。第二，通过调整网格选择正则化参数第三，选择
浏览 0提问于2020-05-11得票数 1
回答已采纳
1回答
我有一个看起来像这样的数据集: Training (Class 0: 471，Class 1: 986)测试(Class 0: 177，Class 1: 246。我将我的数据分为80%用于训练，20%用于验证。我知道这是一个不平衡的数据集，我已经尝试过Class_weight，但问题仍然存在。我已经重新训练了我的基线CNN，我总是有一个结果，如图所示。有人能帮帮我吗？
浏览 12提问于2020-02-13得票数 0
2回答
考虑一个dataset A，它有关于二进制分类问题的训练示例。由于数据集高度不平衡，我使用了支持向量机，并应用了加权方法( MATLAB)。我把权重与每堂课的数据频率成反比。这是在训练中完成的。我使用了10倍交叉验证进行培训。经过培训，我得到了A上的混淆矩阵：
80025 1
0 140
其中，第一行用于多数类，第二行用于少数类。只有一个假阳性(FP)，所有的少数类样本都被正确分类，真阳性(TP) = 140。
问题:我再次使用更多的数据点进行训练。然后，我在一个新的未见测试数据集B上运行经过训练的模型，这是在培训期间从未见过的。这是在B上测试的混淆矩阵。
50075 0
100 0
可以看出
浏览 0提问于2018-12-12得票数 1
根据这个，我了解到class_weight in keras在训练中应用了加权损失，而sample_weight在做一些样本上的事情，如果我对所有的训练样本都没有同样的信心的话。
所以我的问题是，
验证期间的损失是由class_weight加权的，还是仅在培训期间加权？
我的数据集有两个类，实际上我没有严重不平衡的类分布。这一比率大约是。1.7 : 1.是否有必要使用class_weight来平衡损失，甚至使用过度抽样？是否可以将轻微不平衡的数据保留为通常处理的数据集？
我可以简单地把sample_weight作为我给每个列车样本的权重吗？我的训练样本可以用同样的信心来处理，所以我
浏览 3提问于2019-08-22得票数 5
回答已采纳
1回答
我在遵循，但遇到了一个问题，即学习与我训练的网络停滞不前，在一个次优解决方案中，将所有图片放在一个类别中。我的第一个想法是，这是由于训练图片在类别()中的分布不平衡，所以我删除了足够多的训练图片，以便每个类别中保留相同数量的图片。然而，问题并没有改变。接下来，我尝试了不同的损失函数，不同的指标，不同的优化器和我的模型的不同层结构，没有任何改进。我的模型在训练后仍然将所有图片放在一个类别中。任何想法都是非常受欢迎的。
这是我尝试过的一个模型：
model = keras.Sequential([
keras.layers.Flatten(input_sha
浏览 1提问于2020-01-17得票数 0
2回答
我有一个不平衡的数据集，其中200000个描述是0类，大约10000个是1类。然而，在我的训练数据集中，我有相等数量的“正”和“负”样本，每个样本大约8,000个。因此，现在我对如何正确使用分类器的"class_weight“选项感到困惑。似乎只有当训练数据中的“正”和“负”样本的数量与整个数据集中的数量相同时，它才有效。在这种情况下，它将是8,000个“正”和160000个“负”，这是不现实的。减少“阳性”样本的数量似乎也不是一个好主意。还是我错了？
浏览 2提问于2017-12-06得票数 2
1回答
当处理不平衡的阶级，哪个更好，
过抽样/过抽样的类别或
从训练数据集中随机选取相同数目的正样本和负样本，结合训练样本，将不平衡分类问题转化为多个平衡数据分类问题。
他们中的一个比另一个有优势吗？如果是，是哪一个？我要求的是一个广义的观点。如果您有一个不平衡的数据集，您会选择哪个选项，1还是2？
浏览 0提问于2018-07-20得票数 0
回答已采纳
1回答
我使用的是单音过采样，我的训练样本中的事件率是4%。结果在训练样本中得到了很好的验证，但在保持样本中没有很好的验证。对于Perc.Over和Perc.Under，我尝试过不同的组合。
如何选择Perc.Over和Perc的号码。在……下面
如何确保它在保存样本中也能很好地验证。
浏览 2提问于2015-05-13得票数 0
1回答
我正在做一个由数据科学家赞助的个人项目，他给我提供了一些数据集。
我建立了一个基于我自己理论的神经网络系统。
但是当我试着训练它的时候，我总是不能得到一个理想的结果。我认为仔细选择培训数据集样本可能会有所帮助。
因此，我想知道是否有一些原则或理论，可以指导研究人员选择样本。
任何书籍、报纸或博客都会有帮助。
顺便说一句，我正在做一个欺诈检测项目。
更新
好吧，我想问题中有一些误解。
我所要寻找的是一个系统的理论来解释如何组织培训集。
举个简单的例子：
我有来自美国的例子数据集。有大量的数据，所以不可能用所有的例子来训练机器。下面是一个问题，我应该如何小心地从示例数据集中选择培训数据集？怎样做才
浏览 0提问于2016-12-07得票数 0
我有：
大小为150 K的训练数据集。
大小为19k的验证数据集。
在每个时代，我随机抽样，没有替换10k数据点进行训练，因为我摆脱了Mem错误。
我也需要降低我的验证集的样本。下列哪一种方法似乎最合适：
随机抽样验证集，为10k的x%，并在每个时代使用相同的集。
随机抽样验证集，每一时期为10k的x%。
浏览 0提问于2020-11-11得票数 0
1回答
我有一个非常不平衡的数据集。首先，我将该数据集分为训练数据集(80%)和验证数据集(20%)。我使用了StratifiedShuffleSplit，因此这两个数据集都保留了每个类百分比。
为了解决这两个数据集都不平衡的事实，我使用了class_weight。这是我使用的代码：
class_weight = {0: 70.,
1: 110.,
2: 82.,
3: 17.,
4: 9.}
model.fit(train_generator, epochs = 5,
浏览 3提问于2021-03-19得票数 0
回答已采纳
1回答
在模板图像上训练卷积网络
、、、
我正在尝试设计和训练一个卷积神经网络来识别图像中的圆形细胞。我在完整图像的“剪切图”上训练它，它要么在图像中间有一个圆圈(正训练样本)，要么没有(负训练样本)。
中间有一个圆圈的图像示例(热图颜色不稳定，图像都是灰度)：
我希望网络输出是一个二进制位图，如果输入图像中没有圆，它就是一个统一的值(例如-1)，或者在图像中间有一个“斑点”(理想情况下是一个点)来指示圆的中心，而不是仅仅对两种类型的输入图像(圆形或不在中间)进行分类。然后，这将应用于包含许多这样的圆形单元的大图像，并且输出应该是单元所在的带有斑点的位图。
为了训练它，我使用输出图像和2D高斯滤波器()之间的均方误差作为正训练样本，将
浏览 7提问于2016-08-15得票数 1
1回答
如何在LSTM中应用词嵌入层前的平滑算法。
我有一个文本二值分类的问题(好(9500)或坏(500个)，总共有10000个训练样本和它的不平衡训练样本)，意思是当我使用LSTM和预先训练的单词嵌入(每个单词的100个维空间)，所以每个训练输入都有一个id(当文本描述小于50个单词，当描述超过50个字符时，每个训练输入有一个id's (50个id的总数，当文本描述小于50个单词，并且当描述超过50个字符时被修剪到50个)。
下面是我的大致流程，
输入-1000(批)X 50 (序列长度)
单词嵌入-200(唯一词汇表词)X 100 (单词表示)
字嵌入层之后(LSTM的新输入
浏览 0提问于2018-11-19得票数 6
1回答
假设我有我想要用于监督学习的数据，但是目标/类/标签不平衡的情况非常严重。我是否应该：
限制训练集的大小，以确保有一个平坦的目标/类平衡分布(训练集的设计使得每个类的训练样本数目相等，其基础是尽可能高地分割最低出现的类)。例如，如果我的最低级别的课程在我的数据中只出现了50次，而我想要一个80到20次的列车测试分割，那么我决定接受40个样本进行训练，为了达到均衡的目标平衡，在训练中为所有其他样本抽取40个样本，例如，即使最高发的类出现100,000次。
忽略目标平衡，只需专注于列车和测试分割的比例。所以，如果是80-20，从50个样本中拿出40个样本给我出现的最低的班级，以及我最高的班级的10
浏览 0提问于2021-12-05得票数 1
1回答
不平衡数据的过度训练
、、、
我正在尝试对一些不平衡的数据(约20:1比率)执行二进制分类，并获得了几乎完美的交叉验证精度，但在训练/测试中未使用的数据的预测率很糟糕。有几千个反面例子和几百个正面例子。此数据已被归一化，并使用SMOTE来平衡类分布。
使用RandomForests分类器，KFold交叉验证几乎是完美的，但召回率/准确率值在0.1-0.3之间。我尝试了不同的平衡方法，PCA (大约有80个原始特征)，多分类器，CV网格优化，甚至在8倍训练后组合树，但这些方法都没有显著改善结果。
与最新的数据相比，我有点惊讶于训练进行得如此顺利。这有没有可能是因为过度训练？我希望这些树的结合能帮助缓解这种情况，但事实并非如此
浏览 0提问于2017-06-07得票数 0
目前，我正试图在Python中实现一个基本的逻辑回归算法，以区分A和B。
对于我的训练和测试数据，我有大约5万个A样本和1000个B样本。如果我用每一个数据的一半来训练算法，另一半作为测试数据(25000训练A，500训练B等等)，这是一个问题吗？
如果是这样，我怎样才能克服这个问题。我是否应该考虑重新采样，做一些其他的“花哨的事情”。
浏览 3提问于2015-08-28得票数 1
回答已采纳
2回答
我试图在Pascal 2012数据集上对VGG-16进行培训，该数据集有20个标签的图像(给定的图像可以有多个类)。这些例子是高度不平衡的，所以我已经“平衡”了它们，使得每个标签在培训集中的表示大致相等。
但这意味着，对于每个标签，5%的总图像是积极的例子和95%的阴性样本。没有办法实现对所有班级的50/50的分割。
我在最后的VGG层使用二进制交叉熵损失和sigmoid激活，因为这是一个多标签问题。二进制的准确性看起来很高，但是实际上，对于任何给定的类，结果都是相当令人沮丧的(大约15%的回忆)。该分类器不适合于正示例，而且偏向于报告负结果，因为这与数据分布相匹配(非常少的阳性样本)。
在这
浏览 0提问于2020-07-20得票数 1
1回答
将测试数据分割成数据集
、、、
在由1,000个样本组成的数据集中，已表明70-30分裂(即用于培训的样本的70%，用于验证的样本的30% )可以很好地估计经过训练的模型的测试精度。如果数据集的大小增加到10,000个样本，您会建议如何分割？
浏览 0提问于2021-01-09得票数 1
1回答
我正在使用TensorFlow来实现对象识别。我遵循本教程，但使用我自己的数据集。
我用212份阳性样本和120份阴性样本进行训练。该测试集包含100份阳性样本和20份阴性样本。训练精度仅为32.15%，测试精度为83.19%。
我想知道是什么使考试的精度比训练的精度高，我的数据集是不是不够大？数据不显示任何统计意义？或者这是一件普通的事情，因为我看到一些人说训练的精确性没有任何意义。但这是为什么？
浏览 2提问于2016-06-01得票数 0
3回答
我在分类问题上遇到了麻烦。
我在具有两个标签的训练数据中有近400k个向量，我想训练MLP，它将数据分为两类。然而，数据集是如此不平衡。其中95%的标签为1，其他的标签为0。准确率随着训练的进行而增长，并在达到95%后停止。我猜这是因为网络预测所有向量的标签为1。
到目前为止，我尝试了丢弃概率为0.5的层。但是，结果是一样的。有什么方法可以提高准确率吗？
浏览 6提问于2017-10-16得票数 2
3回答
我所面临的情况是，数据集中的正负示例的数量是不平衡的。
我的问题是，有什么经验法则告诉我们什么时候应该分样本大类别，以强制在数据集中某种平衡。
示例：
如果正数为1,000，负数为10,000，我是应该在完整的数据集上训练我的分类器，还是应该对负数进行分样本？
同样的问题也适用于1,000个正面的例子和100,000个否定的例子。
同样的问题涉及10,000人和1,000人。
等等。
浏览 0提问于2016-05-16得票数 16
回答已采纳
3回答
在对数据集进行分类时，我面临一个问题。目标变量是二进制变量(有2个类，0和1)。我在训练数据集中有8161个样本。每堂课我都有：
0类: 6,008份样品，占总数的73.6%。
第1类:2 153个样本，26.4%
我的问题是：
在这种情况下，是否应该考虑用作不平衡数据集的数据集？
如果是的话，我应该在使用RandomForest进行预测之前处理这些数据吗？
如果不是不平衡的数据集，有人能告诉我在什么情况下(比如每个类的比率)，我可以认为数据集不平衡吗？
浏览 0提问于2021-01-14得票数 1
我正在使用来自scikit的RandomForest方法进行3D点识别。我经常遇到的一个问题是，某些类比其他类更经常出现。
这意味着在从训练好的分类器生成预测的过程中，如果分类器不确定点类，它将更有可能假设它属于一个常见的类，而不是不太常见的类。
我看到在scikit文档中，sample_weight方法中有一个fit参数。据我所知，只对某些整体样本进行加权(假设我有50个正在训练的文件，第一个样本的权重是其他所有样本的两倍)，而不是类。
这并不能解决这个问题，因为在我所拥有的所有样本中，最不常见的类也同样稀少。这就是那个特定类的本质。
我找到了一些关于平衡随机森林和加权随机森林的论文。但是我
浏览 2提问于2013-07-17得票数 7
2回答
我拥有的数据集是由路径名组成的一些文本数据。我正在使用TF-国防军向量器和决策树。数据集中的类严重不平衡。有几个大类的样本数超过500个，而其他一些小类的样本数少于100个。有些甚至更小(不到20)。这是实际收集的数据，因此模型在实际实现中看到次要类的可能性也很小。我现在遇到的问题是，模型大部分时间预测小班为主修班，使我的准确率一直在45%左右。如果我重新整理数据，我认为由于模型学习主修班的能力降低，准确性会更差。
因此，我想问一问，我是否应该考虑重新整理我的数据，或有人对如何提高我的模型的准确性有任何建议？任何帮助都是非常感谢的。
浏览 0提问于2021-07-14得票数 0
1回答
考虑一个将被拆分为训练和测试的数据集。该模型将使用火车组学习，并使用未见测试集进行评估。现在，数据集是不平衡的--它包含了更多属于特定类的示例。在这种情况下，平衡它的方法之一(除了这里提到的方法：不平衡数据集分类的训练、测试分割)是根据样本分配权重。分配权重的正确方法是什么？我是否应该在整个数据集上分配权重，然后分割成训练和测试？
浏览 0提问于2019-11-24得票数 1
回答已采纳
我正在处理一个不平衡的数据集，并尝试使用验证度量来处理它。在scikit docu中，我为weighted找到了以下内容
计算每个标签的度量，并根据支持(每个标签的真实实例数)找到它们的平均权重。这改变了“宏”来解释标签的不平衡；它可能导致一个不精确和回忆之间的F分数。
按支持计算加权平均值是否意味着，具有较多样本的类比样本较少的类具有更高的加权，或者更符合逻辑的是，较小的类比较大的类具有更多的。
我在docu中找不到任何东西，我想确定我选择了正确的度量标准。
谢谢!
浏览 1提问于2020-06-07得票数 0
回答已采纳
4回答
情境：
当我的训练数据在两个标签之间的标签分布不平衡时，我想知道如何最佳地使用TensorFlow。例如，假设被简化为只区分1和0，其中我们可以使用的所有图像要么是1，要么是0。当我们有大约50%的每种类型的图像需要训练和测试时，使用提供的TensorFlow教程进行训练是很简单的。但是，如果我们的数据中90%的图像是0，而只有10%是1，那该怎么办呢？我观察到，在这种情况下，TensorFlow例行公事地预测我的整个测试集为0，实现了无意义的90%的准确率。
我曾经使用过的一种策略是随机选择一批具有0和1均匀分布的训练数据进行训练，这种方法可以确保我仍然可以使用所有的训练数据并产生良好的结果
浏览 168提问于2016-01-28得票数 29
回答已采纳
我在Tensorflow中实现了一个CNN，改编自教程：CNN with Estimators。 摘自data_input_fn： dataset = dataset.batch(batch_size)
iterator = dataset.make_one_shot_iterator()
features, labels = iterator.get_next()
return features, labels 摘自model_fn： loss = tf.losses.softmax_cross_entropy(onehot_labels=labels, logits=logits)
浏览 16提问于2019-03-12得票数 0
1回答
我在Matlab上用LibSVM语言解决了一个分类问题，数据集由32个不同的类组成。某些类的实例数量非常少。现在，我想在使用OvR方法训练模型的同时，为每堂课设置权重，有人能帮我吗？
浏览 0提问于2016-03-20得票数 0
回答已采纳
1回答
逻辑回归训练数据集真假比
、、、
我正在做一个分类器，通过逻辑回归，基于Spark ML。我想知道我是否应该训练相同数量的数据来表示真和假。
我的意思是，当我想把人分为男性或女性时，用100个男性数据+ 100个女性数据训练一个模型是可以的吗？
网民可能40%是男性，60%是女性，但这个百分比是基于过去预测的，所以它可以改变(比如30%女性，70%男性)
在这种情况下。我应该训练多少女性/男性百分比的数据？这与过度拟合有关吗？
当我训练一个40%女性+60%男性的模型时，对由70%female+30%male组成的领域数据进行分类是无用的？
火花分类样本数据中有43个为假，57个为真。
logisticregression回归
浏览 2提问于2015-10-31得票数 1
3回答
我有一个非常大的数据集，有6000万行和11个特性。它是高度不平衡的数据集，20:1 (信号:背景)。正如我所看到的，解决这个问题有两种方法：
First:过采样/过采样.
这样我有两个问题。如果我在火车测试分裂之前做过抽样，我就会丢失很多数据.但是更重要的是，如果我在一个平衡的数据集上训练一个模型，我就会失去关于我的信号数据的频率的信息(比如说良性肿瘤的频率)，而且由于模型是经过训练和评估的，所以模型的性能会很好。但是，如果在将来的某个时候，我将尝试我的新数据模型，因为真实的数据是不平衡的，所以它的性能会很差。
如果我在列车测试分裂后进行了欠采样，我的模型就会不适合，因为它将接受平衡数据的训
浏览 3提问于2019-12-19得票数 3
我有一个完全连接的神经网络，它有一个包含2个单元的隐层，其目标是对一个包含324个样本和300个特征的数据集进行分类。50%的数据集用于训练，50%的数据集用于测试。数据集中有两个类，一个有75个样本，另一个有249个样本。当我用不同的种子训练模型时(实际上，当我重新运行训练函数时)，它在测试集上的结果具有很高的方差，测试集的分类精度变化在20%左右。这个模型有什么问题？我怎么才能让它稳定下来？我如何报告结果呢？
浏览 0提问于2020-05-14得票数 1
我希望我的机器学习算法能够了解两个类之间的区别，实际上是picture of X或picture of something else。
我的样本数据是：
500 pictures of X (我知道它很低，不幸的是我不能做太多)
1 000 000 pictures of something else
问:我应该和所有的100万pictures of something else一起进行培训吗？
还是这种不平衡会产生负面影响？例如，它会不会“淹没”其他数据？
备注：
计算能力和时间不是一个问题。
在现实世界中，pictures of X占数据的5%到10%，所以我认为我没有阶级不平衡的问题。
浏览 0提问于2018-09-20得票数 1
4回答
我有一个做二进制分类的模型。
我的数据集是高度不平衡的，所以我认为在训练模型之前，我应该用不适当的抽样来平衡它。因此，平衡数据集，然后随机分割它。这条路对吗？还是应该平衡测试和训练数据集？
我只试着平衡整个数据集，我获得了80%的训练精度，但是在测试集上，我得到了30%的准确率。这看起来不对？
但我也不认为我应该平衡测试集，因为它可以被认为是偏见。
怎样才是正确的方法？
谢谢
更新:我有40万个样本，10%是1s，90%是0。我无法获得更多的数据。我试着保存整个数据集，但我不知道如何将其分割成训练集和测试集。在列车和测试数据集中是否需要相同的分布？
浏览 0提问于2018-06-08得票数 20
回答已采纳
1回答
我到处都找遍了，还是找不出这一条。这个职位指出梯度增强比随机森林对不平衡数据的增强效果更好。为什么会这样呢？随机森林是因为引导而更糟吗(也许这不会在训练中得到分层样本，idk)？
有什么想法吗？
提前感谢
浏览 0提问于2022-10-17得票数 1
1回答
我对图像有多个分类问题。有5个(不平衡)类，我使用不同的类权重。一般来说，每堂课只有几张训练图像：~56-238。
为了对它们进行分类，我使用了一个具有大量数据增强的神经网络。我有一个验证集，它的分布与火车集相同(但它每个类只有大约30%的图像)。
由此产生的丢失/准确性图表看起来有点奇怪(编辑:第二个图表包含术语“测试丢失”，但它是“验证损失”)：
📷
📷
我不知道如何解释这两幅图像:验证精度cleary增加，但验证损失没有太大变化。有人能帮我解释这些图表吗？
非常感谢
浏览 0提问于2018-11-20得票数 1
回答已采纳
1回答
我制作了一个类似热图的大混乱矩阵，并在上面看到了横线和垂直线，所以我试图确定：
他们的意思
他们为什么在那里
我怎样才能改进这个
📷
方法
我对ML比较陌生，并在早期阶段提出了一个多类文本分类问题。我可能有点冗长，这样你就可以确保我走上正轨了，我的问题并不是因为我的方法有缺陷。
我有90,000+样本，我希望能够分类为412个类中的一个。我已经从它的类分布和为每个类选择的单位图和大写图的角度对数据进行了基本的观察。我继续探索，对数据进行了4种分类器的培训，获得了以下精确程度：
LinearSVC 0.547190
LogisticRegression
浏览 0提问于2018-06-19得票数 0
回答已采纳
2回答
我有一个时间序列数据 of 3228患者，我正在用LSTM 进行疾病(脓毒症)预测，我的数据如下所示。访问整个数据和整个代码。
HR O2Sat Temp SBP DBP Resp Age Gender ICULOS SepsisLabel P_ID
80.2 97.4 36.40 127.5 70.4 17.9 46 0 1 0 15888
95.0 97.0 36.85 102.5 63.4 30.0 46 0
浏览 6提问于2022-03-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
