在pyspark 2.4.0中使用sampleBy的样本大小
在pyspark 2.4.0中，使用sampleBy函数可以根据指定的列和样本比例来获取样本数据。该函数可以用于数据抽样、数据分析和模型训练等场景。
sampleBy函数的语法如下：
sampleBy(col, fractions, seed=None)参数说明：
- col: 指定的列，用于进行样本抽样的依据。
- fractions: 字典类型的参数，指定每个值的样本比例。字典的键为列的值，值为对应的样本比例。
- seed: 随机种子，用于控制随机性，可选参数。
样本大小的计算方式为：样本大小 = 样本比例 * 数据总量。
使用sampleBy函数的步骤如下：
- 导入pyspark模块：
from pyspark.sql import SparkSession- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 加载数据集：
df = spark.read.csv("data.csv", header=True, inferSchema=True)- 使用sampleBy函数进行样本抽样：
fractions = {1: 0.5, 2: 0.3, 3: 0.2} # 指定每个值的样本比例
sampled_df = df.sampleBy("column_name", fractions, seed=42)其中，"column_name"为样本抽样的依据列名。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库（TencentDB for TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云数据湖（TencentDB for Data Lake）：https://cloud.tencent.com/product/datalake
相关·内容
1回答
pyspark对每个目标变量的类进行过采样
python、pyspark、sampling、apache-spark-ml、oversampling
我想知道是否有任何方法可以使用pyspark对数据进行过采样。 我有10个类的目标变量的数据集。more_rows=transformed_03.sample(True,16.3,9)
transformed_02_more_rows=transformed_03.sample(True,12,9) 最后，使用联合对于ex，如果第四个类有2000行，第二个类有10行，则手动检查并相应地提供值16,12，如上面的代码所示 请原谅我提到的代码是不完整的。只是为了给出我所提出
浏览 121提问于2020-07-03得票数 0
1回答
在pyspark 2.4.0中使用sampleBy的样本大小
python、dataframe、apache-spark、pyspark、sample
我在pyspark 2.4.0中有一个dataframe df，我想使用sampleBy获取它的样本。它包含一个列category，我有一个这样的dict作为示例： dict = {"cat_B" : 0.5, } 我希望我的样本有5000行，如果我像这样使用函数sampleBy
浏览 198提问于2021-01-08得票数 1
1回答
使用列条件随机抽样Pyspark dataframe
python、random、pyspark、pyspark-sql、pyspark-dataframes
我正在尝试随机抽样一个Pyspark dataframe，其中列值满足特定条件。我想使用sample方法根据列值随机选择行。| 3.0|+---+----+------+-------------+------+ 我只想对基于result列的每个0, 1, 2, 3中的1个(或任意数量)进行采样，因此我将以以下内容结束： +---+----+------+-------------+------+
| id|code| amt|flag
浏览 106提问于2019-10-18得票数 3
回答已采纳
1回答
Pyspark:采用平衡类的n个样本
pyspark
我有一个相当大的数据集，大约有5bil。记录。我想从其中随机抽取1mio的样本。问题是标签不平衡。| 768866802||C | 584150833|标签B比其他标签有更多的数据我知道有一个向上和向下采样的概念，但是考虑到大量的数据，我可能不需要这样做，因为我可以很容易地从每个标签中找到1mio记录。
我想知道我怎样才能有效地使用~1mio。随机样本<
浏览 2提问于2020-10-04得票数 0
1回答
如何为包含True、False和Null值的布尔字段创建分层示例？
python-3.x、pyspark、sample
我有一个带布尔字段的DataFrame。[False], [True], [None]我想要创建一个具有相同True、False和Null值的分层样本(PySpark)。如何在我的示例中获得空值(不接受None: 0.3)
sampled = df.sampleBy("match", fractions={True: 0.3, False: 0.3})
浏览 1提问于2020-09-10得票数 1
回答已采纳
2回答
PySpark中的系统采样
pyspark、sampling
我对PySpark非常陌生，我一直在努力寻找我正在寻找的答案。
我有大量的家庭样本，我想进行系统的抽样。就像真正的系统抽样一样，我想从一个随机的起点开始，然后定期选择一个家庭(例如每50个家庭)。我研究了sample()和sampleBy()，但我不认为这些正是我所需要的。有人能给我什么建议吗？非常感谢您的帮助！
浏览 1提问于2022-04-08得票数 0
回答已采纳
1回答
PySpark比例分层抽样"sampleBy“
pyspark、sampling
问题:如果您使用PySpark的sampleBy实现比例分层抽样，这不是与随机抽样相同吗？A: 25%，B: 50%，C: 13%，D: 12%
然后，选择大小为100的比例分层样本意味着选择一个样本，该样本由A中的确切25种元素、B中的50种元素、C中的13种元素和
浏览 7提问于2021-10-08得票数 1
回答已采纳
1回答
与键匹配的随机行向左联接
pyspark
我正在寻找一种连接2个数据格式的方法，但随机行与键匹配。这一奇怪的要求是由于一个非常长的计算产生的位置。我想在火花放电中做一种“随机左加入”。我有一个带有areaID (字符串)和count (int)的数据文件。areaID是唯一的(约7k)。| | |我的第一个想法是迭代第一个dataframe的每个areaID，通过areaID过滤第二个数据，并对这个数据的
浏览 0提问于2021-10-01得票数 2
回答已采纳
1回答
如何在Scala中以分数图的形式获取不同的值？
python、scala、apache-spark
我想在Scala中对我的数据帧进行分层采样。我的dataframe只有一列，我想为它形成一个分数映射。我可以在pyspark中实现，但在Scala中会出错。以下是我在Scala中尝试的内容：val sampled_df = pqdf.stat.sampleBy("vi
浏览 87提问于2018-06-07得票数 0
1回答
斯帕克利:如何在不同的群体中获得一个均衡的样本
r、apache-spark、sparklyr
我想从我的星火DataFrame的sparklyr中的每一个类中抽取n行。 collect()
sampled_iris <- bind_
浏览 1提问于2020-01-13得票数 3
回答已采纳
3回答
使用pyspark / spark对大型分布式数据集进行采样
hadoop、apache-spark
我在hdfs中有一个文件，它分布在集群中的所有节点上。>>> textFile = sc.textFile("/user/data/myfiles/*")
然后我想简单地取一个样本..。关于Spark最酷的事情是有像takeSample这样的命令，不幸<
浏览 1提问于2014-07-17得票数 16
回答已采纳
2回答
Scala Spark : df.stat.sampleBy()返回的结果不同
scala、apache-spark
我在stratifiedSampling上看到了很多问题，但都没有回答我的问题，所以以“新帖子”的形式提问，希望能得到一些更新。我注意到spark API:sampleBy()返回的结果有差异，这对于小尺寸的数据帧不是很重要，但对于大尺寸的数据帧(>1000行)更明显。._2.toDouble*sampleSize)/(totalCount*100)})).toMap
val sampleDF = df.stat.sampleBy(co
浏览 0提问于2017-03-24得票数 4
1回答
等效于火花放电的train_test_split()
pyspark
这是用来拆分数据的Sklearn版本函数。test_size=None, train_size=None, random_state=None, shuffle=True, stratify=None)
我需要train_test_split()等价于PySparktrain_test_split()是一个非常方便的函数，最好有它最接近的实现。randomSplit()函数不匹配。
浏览 10提问于2022-01-15得票数 3
2回答
使用多列的PySpark sampleBy
python、python-2.7、apache-spark、pyspark
我想从PySpark上的数据框架中进行分层抽样。有一个sampleBy(col, fractions, seed=None)函数，但它似乎只使用一个列作为一个层。有没有办法使用多列作为一个地层？
浏览 5提问于2017-05-09得票数 5
回答已采纳
1回答
想知道代码中分数部分的工作原理吗?我是beginner.Please，给我一个清楚的解释
pyspark、databricks
分数在这里是如何工作的 我尝试在":“之后更改值：”.still无法获得它的工作方式？“ from pyspark.sql.functions import col
sampled = dataset.sampleBy("key", fractions={0: 0.1, 1: 0.2}, se
浏览 14提问于2019-07-03得票数 0
2回答
从Spark GroupedData对象中选择随机项目
python、python-2.7、apache-spark、apache-spark-sql
我刚开始在Python中使用Spark，并且一直无法解决这个问题:在pyspark.sql.dataframe.DataFrame上运行groupBy之后df.groupBy('teamId')
如何从每个结果组(按teamId分组)中选择N随机样本而不进行替换？我基本上是尝试从每个团队中随机选择N用户，也许一开始使用groupBy是错误的？
浏览 0提问于2015-11-17得票数 21
回答已采纳
1回答
用火花放电抽样均匀分布目标值
pyspark、apache-spark-sql
我的目标列名为"ActionName“。问题是，我有分配给1的数据的22%，而只有22%分配给0。我想要创建一个样本数据集，其中0和1将均匀分布。count|| 1|566435|+----------+------+
train = df.sampleBy
浏览 1提问于2021-02-16得票数 0
回答已采纳
1回答
每次我运行与样本相关的东西时，Spark都会重新采样我的数据
apache-spark、pyspark、sampling
我在一个数据集上运行一个分层样本，其中的样本保存在一个名为df的数据帧上。在df上运行计数时，每次我运行计数(没有重新运行分层采样)时，它会给出不同的计数，就好像每次我对df执行操作时，我的数据都会重新采样一样。我将种子设置为12，并使用spark函数sampleBy。我是Spark的新手，这正常吗？我如何解决这个问题？
浏览 0提问于2019-03-14得票数 0
1回答
无法将SparkR::sampleBy函数应用于sparklyr数据SparkR
apache-spark-sql、databricks、sparkr、sparklyr
我使用df_pqt_tbl <- spark_read_parquet(...)函数读取了一个拼花文件。我的环境是Databricks。我想使用SparkR::sampleBy函数进行分层抽样，但是我得到了一个错误： seed
浏览 0提问于2019-09-03得票数 1
回答已采纳
2回答
使用spark java获取列中每个值的特定百分比数据
apache-spark、apache-spark-sql、apache-spark-dataset
我想从更大的数据集中选择100万条记录。数据集有一个名为"city“的列。这一百万条记录应该包含来自“城市1”的15%的记录，来自“城市2”的30%的记录，来自“城市3”的"55%“记录。我可以使用下面的limit来选择。但它不会是随机选择的。dataset.filter(col("city").equals("city1")).limit(.15* 1 million) 我
浏览 25提问于2020-01-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
