2回答
我在使用PySpark的spark上有一个不平衡的数据帧。我想对其进行重新采样，使其达到平衡。我只在PySpark中找到了示例函数但是我想在Python中用单位体积的权重来采样数据帧，我可以这样做有没有什么方法可以用PySpark做同样的事情呢？
浏览 2提问于2018-02-01得票数 5
2回答
Pyspark中的采样
、、、
Pyspark新手 我正在从HDFS加载一个JSON文件。它从日志中一次读取一个数据。假设从每个日志中提取date、config1d并将其加载到JSON文件中。有没有一种方法可以使用随机抽样只加载5%或10%的数据，而不加载内存中的整个JSON文件。因为加载整个JSON文件对我来说需要一个多小时。 如果有更多的问题，请告诉我
浏览 30提问于2020-01-11得票数 0
1回答
我正在一个PySpark二进制分类管道上工作，我想在其中使用过采样阶段执行CrossValidation (我的数据集不平衡)。问题是过采样阶段也是在测试数据集上执行的。我查看了spark文档和源代码，没有办法跳过PipelineModel中的一个阶段。我的解决方案是覆盖原始类的_transform方法，以便跳过卵子采样阶段。当适合我的源代码中的管道时，这可以很好
浏览 1提问于2019-11-16得票数 1
2回答
我对PySpark非常陌生，我一直在努力寻找我正在寻找的答案。
我有大量的家庭样本，我想进行系统的抽样。就像真正的系统抽样一样，我想从一个随机的起点开始，然后定期选择一个家庭(例如每50个家庭)。我研究了sample()和sampleBy()，但我不认为这些正是我所需要的。有人能给我什么建议吗？非常感谢您的帮助！
浏览 1提问于2022-04-08得票数 0
回答已采纳
1回答
我想知道是否有任何方法可以使用pyspark对数据进行过采样。 我有10个类的目标变量的数据集。transformed_04_more_rows.unionAll(transformed_03_more_rows).unionAll(transformed_02_more_rows) 我正在手动检查采样值对于ex，如果第四个类有2000行，第二个类有10行，则手动检查并相应地提供值16,12，如上面的代码所示 请原谅我提到的代码是不完整的。只是为了给出我所提出的
浏览 121提问于2020-07-03得票数 0
我有一个由list对象组成的RDD对象(示例：[1,2,3,4,5,6] )。我需要对其进行采样，并为此使用sample() pyspark函数，但它看起来检索的是第一个元素，而不是随机采样。我的想法是将元素打乱，然后使用sample()函数，但我无法进行随机化。
浏览 120提问于2021-04-15得票数 0
我在hdfs中有一个文件，它分布在集群中的所有节点上。>>> textFile = sc.textFile("/user/data/myfiles/*")
然后我想简单地取一个样本..。关于Spark最酷的事情是有像takeSample这样的命令，不幸的是我认为我做错了什
浏览 1提问于2014-07-17得票数 16
回答已采纳
我正在研究一个二进制分类机器学习问题，并且我正在尝试平衡训练集，因为我有一个不平衡的目标类变量。我正在使用Py-Spark来构建模型。2926上面的代码执行欠采样但是，我不确定如何执行上采样。我还尝试使用示例函数，如下所示：
train_up = train_initial.sample(True, 10.0, seed = 2018
浏览 0提问于2018-11-13得票数 0
2回答
但由于数据不足以获得较高的准确率。因此，我希望对所有类应用过采样，以使多数类本身获得更高的计数，然后相应地少数类。这在PySpark中是可能的吗？
浏览 1提问于2018-12-27得票数 6
1回答
在以下两个示例中，运行的任务数和相应的运行时间意味着抽样选项没有影响，因为它们与没有任何抽样选项的作业类似：我知道显式模式对性能是最好的
浏览 0提问于2019-06-12得票数 5
回答已采纳
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：spar
浏览 11提问于2021-11-19得票数 0
1回答
我正在尝试使用Pyspark中包含25亿条记录的Hive表。我假设表中有一些格式错误的或其他“坏”数据。我使用的是spark版本1.6.2和python版本2.6.6：from pyspark.sql import但是，如果我使用以下命令对表进行采样：我得到了一个大约有22
浏览 1提问于2017-01-28得票数 1
我想在Scala中对我的数据帧进行分层采样。我的dataframe只有一列，我想为它形成一个分数映射。我可以在pyspark中实现，但在Scala中会出错。以下是我在Scala中尝试的内容：val sampled_df = pqdf.stat.sampleBy("vi
浏览 87提问于2018-06-07得票数 0
4回答
想象一个由变量的值观察组成的星火数据。每个观察都有一个特定的时间戳，不同变量之间的时间戳并不相同。这是因为时间戳是在变量的值更改并被记录时生成的。00:00 0#852-YF-007 2016-05-09 23:58:00 0
浏览 6提问于2016-09-01得票数 14
回答已采纳
是否可以将pyspark数据帧传递给XGBClassifer，如下所示：model1 = XGBClassifier()如果不是，那么将pyspark dataframe应用到xgboost的最佳方式是什么？
浏览 0提问于2019-12-20得票数 0
我是Python和它的库pyspark的新手，我需要做一些POC，我需要读取来自上游的CSV文件，我收到的CSV文件没有任何分隔符，它将是一个基于位置的文件。我们可以在Oracle控制文件中这样做，在那里我们可以定义每一列的位置，并检索与在pyspark中相同的值。
我正在使用Apache Spark来处理我的Pyspark或python代码。来自TXT文件<em
浏览 16提问于2019-11-12得票数 1
2回答
我有大约20 in的时间序列数据存储在大查询中。我目前的管道是：然后我在桶中下载了一个文件的子集：
既然数据已经在桶里了，我想知道
浏览 3提问于2018-04-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
