Spark SQL:生成的分区数量似乎很奇怪
Spark SQL是Apache Spark中的一个模块，用于处理结构化数据。它提供了一种编程接口，可以使用SQL查询、DataFrame和Dataset API来操作数据。
对于问题中提到的"生成的分区数量似乎很奇怪"，这可能是由于数据分区策略或数据本身的特点导致的。下面是一些可能的原因和解决方法：
- 数据倾斜：如果数据在某些分区中不均匀分布，可能会导致生成的分区数量看起来不正常。可以尝试使用Spark的数据重分区功能，将数据重新分布到更均匀的分区中。
- 分区列选择不当：Spark SQL允许根据某个列的值进行数据分区。如果选择的列不适合作为分区键，可能会导致生成的分区数量看起来不正常。可以尝试选择更合适的列作为分区键。
- 分区策略设置不当：Spark SQL提供了多种分区策略，如哈希分区、范围分区等。如果选择的分区策略不适合数据的特点，可能会导致生成的分区数量看起来不正常。可以尝试使用不同的分区策略进行实验。
- 数据量过小：如果数据量较小，Spark SQL可能会自动合并分区，从而减少生成的分区数量。这可能导致生成的分区数量看起来不正常。可以尝试增加数据量，或者手动设置分区数。
总之，生成的分区数量看起来奇怪可能是由于数据分布、分区策略、分区列选择等原因导致的。根据具体情况，可以尝试调整相关参数或使用合适的功能来解决该问题。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark SQL：https://cloud.tencent.com/product/sparksql
相关·内容
我有一个非常简单的Hive表，结构如下。STRING)FIELDS TERMINATED BY '\t' LOCATION 's3://path/';df = sparksession.sql("SELECT * from table1")
df.rd
浏览 3提问于2017-07-13得票数 0
2回答
如何在使用orderBy后确定分区的数量？我一直认为生成的数据true具有spark.sql.shuffle.partitions，但这似乎不正确：
df.orderBy($"i").rdd.getNumPartit
浏览 1提问于2018-12-14得票数 5
回答已采纳
RDD进行重新分区，以便输入分区的数量更适合目标数据源的要求。但是在V2应用编程接口中，BatchWrite接口似乎没有为数据源提供任何在写入之前强制对输入数据进行重新分区的方法： https://github.com/apache/spark/blob/1a6708918b32e821bff26a00d2d8b7236b29515f/sql&#x
浏览 41提问于2021-05-08得票数 0
spark.sql.shuffle.partitions和spark.default.parallelism有什么不同
我尝试在SparkSQL中设置这两个任务，但第二阶段的任务号总是200。
浏览 1提问于2017-08-16得票数 95
回答已采纳
2回答
我使用Spark 2。我们将hive表划分为2000个分区，并以拼接格式存储。当在spark中使用这个表时，在executors中恰好有2000个任务被执行。但是我们有一个256MB的块大小，我们期望(总大小/ 256 )分区的数量肯定会比2000小得多。spark是否有任何内部逻辑使用数据的物理结构来创建分区<
浏览 1提问于2018-04-05得票数 2
1回答
我编写了一个小的PySpark代码来测试spark的工作，并且似乎没有按照传递给它的参数合并分区。("spark.sql.adaptive.enabled","true")<em
浏览 18提问于2022-10-20得票数 0
回答已采纳
在我使用spark读取xml文件之后： .format("xml")\ .load("s3a://.../.../")
我用df.rdd.getNumPartitions()检查了分区的数量，得到了20081个。我如何在开始时限制分区的数量，这样我以后
浏览 5提问于2021-05-20得票数 0
当减少分区数量时，可以使用coalesce，这很好，因为它不会导致洗牌，而且看起来会立即工作(不需要额外的作业阶段)。
我有时也想做相反的事情，但是repartition会引发混乱。我想几个月前，我通过使用CoalescedRDD和balanceSlack = 1.0来实现这个功能--所以它会分割一个分区，这样得到的分区就会位于同一个节点上(如此小的net )。这种功能在Hadoop中是自动的，只需调整拆分的大小。除
浏览 6提问于2014-11-20得票数 21
回答已采纳
1回答
我有一张有一百万张记录的数据。128 MB，让我们假设域列有两个唯一值(domain1和domain2)，考虑到这一点，我有两个问题-
如果我执行df.repartition("domain")，如果一个分区不能容纳特定域密钥的所有数据，应用程序会失败还是会根据数据自动创建适合的分区？假设在上面的数据中，基于域键已经进行了重新分区，那么就会有两个分区(惟一的键是domain1和domain2)。现在假设domain1和domai
浏览 1提问于2018-12-12得票数 1
回答已采纳
1回答
我有一个按日期划分的数据。在正常处理中，我一次要处理一周的数据，所以这意味着我有7个分区。我想增加这个分区的数量，但不需要对数据进行洗牌，也不需要在同一个分区中混合日期。我尝试过使用df.repartition(20, my_date_column)，但这只会导致13个空分区，因为散列分区将只得到7个不同的值。我也尝试过使用df.repartition(20, my_date_column, unique_id)，它
浏览 5提问于2022-07-01得票数 1
1回答
使用Spark，我将在一个蜂巢表中保存一个parquet格式的星星之火df。问题是，这个操作总是生成大约200个3 MBs的部分-*文件。如何在处理过程中控制输出文件的数量和分区的数量？据我所知，每个分区生成一个部件-*文件。
我用spark.read.parquet("")从蜂窝亚稳态的
浏览 1提问于2018-03-15得票数 3
1回答
如何-分散作业，以免耗尽内存
、、、、
=20480m，我觉得这个任务不应该真的需要更多的内存来工作，所以我看到的另一个选择是增加分区的数量。我试过：>>> sqlContext.getConf("spark.sql.shuffle.partitions&quo
浏览 9提问于2017-02-06得票数 2
回答已采纳
2回答
我想知道如何选择最佳的设置运行调我火花工作。基本上，我只是将一个大的csv文件读取到一个DataFrame中，并计数一些字符串出现的情况。TotalNumberOfTasks: (18500)，为什么这是固定的？由于我阅读的csv没有什么逻辑，我如何优化火花作业？ --ex
浏览 4提问于2017-12-05得票数 1
3回答
是否有一种方法可以设置Spark用于加载和处理数据的节点数？这是我如何处理数据的一个例子：SqlData = sqlContext.sql("SELECT * FROM table")
Context我认为Spark将数据划分为太多的节点。我希望能够手动设置。我知道在处理RDDs和sc.parallelize时，我可以将分区数作为输入传递。另外，我也见过repart
浏览 0提问于2016-01-04得票数 17
从大csv文件读取数据时，数据的初始partitions发生在什么基础上？有没有人能分享，是怎么做到的？
浏览 8提问于2022-02-14得票数 1
回答已采纳
我试图在两个数据文件上执行下面的crossJoin，每个5行，但是Spark在我的机器上产生了40000个任务，完成任务花费了30秒。知道为什么会这样吗？df = spark.createDataFrame([['1','1'],['2','2'],['3','3'],['4','4'],['5','5']]).toDF('a
浏览 3提问于2020-12-06得票数 0
回答已采纳
有了sql，我们可以缩小分区的数量，我想要在spark DataFrame.coalesce中使用的相同功能，所以我会问如何编写sql， 在spark sql中，我希望select * from a只有10个分区，实际上可能有100个以上的分区
浏览 7提问于2019-03-21得票数 0
我有Spark SQL查询，通过几个小的拼图文件(大约2M)。 我有Spark块大小为256M，所以我想将这些小文件组合成一个(或更多)大小为256M的文件。我正在考虑的是找到数据帧大小并将其除以256M，这样我就知道有多少文件将是他们的，但不幸的是Spark不支持查找数据帧大小，因为它是分布式的。我正在考虑将数据帧转换为数据集，以便列表可以检查它们的大小。
浏览 15提问于2019-06-19得票数 0
回答已采纳
我是新的火花，并试图理解它的内在。因此，我从s3读取一个小的50 to的拼板文件，然后按组执行，然后保存回s3。当我观察Spark时，我可以看到为此创建的3个阶段，第1阶段:分组的洗牌阶段(12项任务)代码示例：
df = spark.read.format所以，默认的并行性是12，我不会在运行时更改任何配置。但我不明白为什么在最后阶段会产生26项任务？据我所知
浏览 2提问于2020-08-06得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
