如何在Pyspark中获得RDD的大小？
在Pyspark中，可以通过以下方法获得RDD的大小：
- 使用
count()方法：可以使用RDD的count()方法来获取RDD中元素的数量。该方法返回一个整数，表示RDD中的元素个数。
rdd = sc.parallelize([1, 2, 3, 4, 5])
rdd_size = rdd.count()
print("RDD的大小为：", rdd_size)- 使用
toDebugString()方法：toDebugString()方法返回一个字符串，其中包含RDD的详细信息，包括RDD的分区数和每个分区的大小。可以通过解析该字符串来获取RDD的大小。
rdd = sc.parallelize([1, 2, 3, 4, 5])
rdd_debug_string = rdd.toDebugString()
# 解析字符串获取RDD的大小
rdd_size = int(rdd_debug_string.split(")")[1].split(",")[0].strip())
print("RDD的大小为：", rdd_size)以上两种方法都可以用来获取RDD的大小，具体使用哪种方法取决于你的需求和场景。
相关·内容
我是Apache Spark和Python的新手，想知道如何获得RDD的大小。我有一个RDD，看起来像这样： 'Time: 15:53:43', 'Lab-Tech: Nancy McNabb, ',tBob Jones, Harry Lim, ',
浏览 4提问于2018-02-21得票数 10
回答已采纳
所以我有两个RDD1 (假设是RDD1和RDD2)，每个都有一个数字列表。这两个列表的大小相同。我想创建一个RDD3，其中RDD3中的每个元素都是RDD1和RDD2的相应元素的相加。如何在python中使用pyspark函数完成此操作？
浏览 12提问于2020-07-10得票数 0
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中<
浏览 34提问于2017-03-01得票数 1
回答已采纳
我正在尝试使用pyspark将两个没有共同之处(没有键是公共的)的csv文件组合成一个键值成对的rdd 让我们假设A.csv有 ac 而B.csv有 13 在pyspark中有没有一个选项可以通过连接这两个来获得一个rdd，就像这样 a:1c:3 当然，两个csv文件中的行数应该匹配。这是在pyspark中很容易做的事情，还是应该首先在常规<
浏览 13提问于2019-12-17得票数 0
2回答
火花相交
、
我希望在pyspark中得到两个RDD的交集。它们看起来如下：rdd2 = sc.parallelize([["abc","123"],["df",345],["ghi","678"])
是否可以使用pyspark的
浏览 4提问于2016-12-19得票数 1
回答已采纳
2回答
我们都知道斯派克在内存中做计算。我只是对下面的内容感到好奇。
如果我的数据集(文件)大小超过可用RAM大小，数据将存储在哪里？
浏览 5提问于2016-11-22得票数 21
回答已采纳
scala spark数据帧中有没有df[100, c("column")]的替代品？我想从spark data frame的一列中选择特定的行。例如，上述R等效代码中的100th行
浏览 613提问于2016-02-07得票数 45
回答已采纳
1回答
我使用pyspark处理多个日志文件，其中一条记录被分成多行格式，所以我选择wholeTextFiles来读取数据，然后过滤出我想要的内容。每个文件大小约800M，共有4096个文件。, 2500)out_rdd = file_rdd.flatMap(parseFileContent)\repartition(1000)\
.saveAsTextFile(title_outputDi
浏览 20提问于2019-10-28得票数 0
局部模式运行
from pyspark import SparkConf, SparkContext
rdd = sc.textFile('file:/&#
浏览 2提问于2019-01-31得票数 0
df,spark):return result.rdd.sample(False, 0.1).map(lambda row : (row.temperature))任何帮助都将是
浏览 0提问于2017-06-04得票数 5
回答已采纳
1回答
ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) 17/02/26 23:31:58错误执行器:第23.0阶段任务6.0中的异常/pyspark/worker.py"，第106行中，在process serializer.dump_stream(split_index迭代器)中，在文件"/usr/hdp/2.5.0.0-1245
浏览 2提问于2017-03-02得票数 5
回答已采纳
1回答
我有一个文档的语料库，我正在阅读一个火花数据框架。我已经对文本进行了标记和矢量化，现在我希望将向量化的数据提供给mllib LDA模型。LDA API文档似乎要求数据为：如何从我的数据框架获得一个合
浏览 1提问于2017-05-25得票数 1
回答已采纳
我尝试在pyspark上保存一个键值RDD。RDD的每个单元都有这样的类型，用伪代码编写：我想把它保存在hadoop文件系统上。<init>()无法使用sc.sequenceFile重新加载rdd。
scConf =
浏览 2提问于2015-12-01得票数 2
1回答
我在PySpark中创建了一个大块矩阵，名为mtm，具有85Kx85K维度。我想检查矩阵，以确保它是以我想要的方式创建的。我尝试过不同的路径，它们都失败了，退出代码143或92的内存问题都失败了。我已经尝试过的选项: 1.将矩阵转换为rdd，并查看第一个条目：mtm_rdd = mtm_coor.entries
浏览 2提问于2017-08-22得票数 1
我想要执行"execute“方法，所以为了避免对Spark的惰性计算，我想做一个动作(saveAsTextFile)，如代码所示： line = line1/pyspark/rdd.py", line 1585, in saveAsTextFile
File "/usr/local/spark/python/lib/pyspark.zip/
浏览 1提问于2018-08-09得票数 1
回答已采纳
1回答
带有多个参数的Python
、、、、
问题是要让员工的所有经理都达到一个给定的水平。下面是我尝试编写的PySpark代码，但是由于上述错误而失败了。=header) df1 =
浏览 0提问于2019-01-19得票数 0
回答已采纳
1回答
在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。请帮助解决将数据框显示为输出的问题。代码： from pyspark import SparkConf, SparkContextsc = SparkContext.getOrCreate(conf=conf)
rdd=s
浏览 108提问于2021-10-25得票数 0
回答已采纳
我在使用星火的推荐系统。在训练了一个模型之后，我做了下面的代码来获得推荐model.recommendProductsForUsers(2) Rating(user=20000, product=17333969, rating=0.01505112418739887)))]<
浏览 1提问于2016-03-28得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
