为什么Spark中的重分区比partitionBy快？
在回答这个问题之前，先解释一下问题中提到的两个概念：Spark的重分区和partitionBy。
Spark是一个开源的大数据处理框架，可以进行高效的数据处理和分析。Spark中的分区是指将数据集分割成一些小的、可并行处理的数据块，这些数据块称为分区。而重分区是指改变数据集的分区方式，即将数据重新划分到新的分区中。
partitionBy是Spark中用于根据某个列或表达式进行数据分区的操作，它会将数据按照指定的列或表达式的值进行分区。比如，可以使用partitionBy对数据集按照日期进行分区，将不同日期的数据存储在不同的分区中。
现在回到问题本身，为什么Spark中的重分区比partitionBy快？
- 数据倾斜问题：在某些情况下，使用partitionBy进行数据分区可能会导致数据倾斜问题，即某些分区的数据量非常大，而其他分区的数据量非常小。这会导致数据在节点间的不平衡，使得任务执行时间长，从而影响整体性能。而重分区可以通过重新划分数据，解决数据倾斜问题，提高任务的并行度，从而加快处理速度。
- 节省存储空间：使用partitionBy进行数据分区时，会在每个分区中存储指定列或表达式的值，这会增加数据集的存储空间。而重分区可以选择更合适的分区方式，只存储必要的信息，从而节省存储空间。
- 数据局部性：Spark中的任务调度器会尽量将任务分配到与数据所在位置相同的节点上执行，以减少数据传输的开销。而重分区可以改变数据的分布，使得任务更容易分配到与数据局部性匹配的节点上执行，从而减少数据传输的开销，提高任务的执行效率。
总结起来，重分区比partitionBy快的原因主要有三点：解决数据倾斜问题，节省存储空间，提高数据局部性。在实际应用中，根据具体的场景和需求，选择合适的数据分区方式可以提高Spark的性能和效率。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
- 腾讯云云原生应用引擎TKE：https://cloud.tencent.com/product/tke
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云人工智能AI Lab：https://cloud.tencent.com/product/ai-lab
- 腾讯云物联网平台IoT Explorer：https://cloud.tencent.com/product/iot-explorer
- 腾讯云移动开发平台移动推送：https://cloud.tencent.com/product/mpns
- 腾讯云云存储COS：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/bcs
- 腾讯云视频处理服务：https://cloud.tencent.com/product/mps
相关·内容
我尝试将Spark用于一个非常简单的用例:给定一个包含数百万设备组的设备时间序列数据的大型文件集(90k)，将给定设备的所有时间序列读取都放入一组文件(分区)中。现在，假设我们的目标是100个分区，给定的设备数据显示在相同的输出文件中并不重要，只是相同的分区。其中任何一个的代码都非常简单： repartition (添加哈希列以
浏览 146提问于2021-11-15得票数 6
回答已采纳
2回答
我很难找到这个问题的答案。假设我向parquet编写了一个数据帧，并结合使用repartition和partitionBy来获得一个分区良好的parquet文件。如下所示：现在，稍后我想要读取拼图文件，所以我这样做：
val df =
浏览 5提问于2018-06-13得票数 15
1回答
我已经在athena中创建了一个表，它将用于查询此数据。df = sparkSess.createDataFrame(deltaRdd, schema)
浏览 5提问于2019-12-16得票数 2
当我使用reduceByKey或aggregateByKey时，我会遇到分区问题。例如，reduceBykey(_+_).map(code)因此，作为解决方案，我使用了repartition方法。这对于分区分发是有好处的，但是repartition也很昂贵。
有没有办法明智地解决分区问题？
浏览 1提问于2017-03-26得票数 5
我在HDP 2.6.5集群和hadoop 2.7.5上使用spark 2.3.0。今天晚上我遇到了一个问题。我在我的一个验证脚本中使用了下面的动态分区覆盖。DF.coalesce(1).write.partitionBy("run_date","dataset_name").mode("overwrite").csv("/target/path") 但是它只用我在spark会话中设置了以下
浏览 19提问于2020-09-10得票数 0
1回答
我必须按四键对地理数据进行重新分区。首先，所有数据都是相当平衡的，但很少有分区比其他分区大500倍。因此，它导致了非常不平衡的分区阶段，比如3500个任务中有20-30个任务比其他任务慢98%。在这种情况下有什么好的策略吗？我需要做的下一步是：
stage.repartition(partitionColumns.map(new org.apache.spark.sql.Column(_)):_*)
浏览 0提问于2018-06-29得票数 0
1回答
我正在处理一个运行在EMR上的作业，它在s3上节省了数千个分区。分区是年/月/日。
我有过去50年的数据。现在，当spark写入10000个分区时，使用s3a连接大约需要1小时。它非常慢。df.repartition($"year", $"month", $"day").write.mode("append").partitionBy("year",
浏览 1提问于2021-11-16得票数 2
在我的工作中，最后一步是将执行的数据存储在Hive表中，并在"date“列上进行分区。有时，由于作业失败，我需要单独为特定分区重新运行作业。正如所观察到的，当我使用下面的代码时，spark在使用覆盖模式时覆盖了所有分区。，我按照以下步骤仅覆盖了特定的分区。根据这篇博客，，"insertinto“应该只覆盖特定的分区
如果我先创建表，然后使用&q
浏览 1提问于2020-03-18得票数 1
1回答
当我执行以下命令时：rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[10] at partitionBy at <console= org.apache.spark.HashPartitioner@a
它说有10个分区，
浏览 1提问于2015-12-28得票数 20
回答已采纳
我正在尝试将spark中的数据帧写入到HDFS位置，并且我希望如果添加partitionBy符号，Spark将创建以下形式的分区文件夹(类似于以Parquet格式编写)(df.write .mode('overwrite')
.format("com
浏览 2提问于2016-05-29得票数 11
回答已采纳
1回答
文件写入的火花分区非常慢。
、、、、
当使用Spark向HDFS写入文件时，当不使用分区时，这是相当快的。相反，当我使用分区写入文件时，写入延迟增加了24因子。你们中的一些人是否有过编写分区文件需要很长时间的相同经验？造成这种情况<e
浏览 4提问于2016-04-01得票数 3
我正在尝试使用Spark 2.1创建一个包含多个分区的orc文件。我的代码看起来像这样：df.write.option("compression", "zlib").partitionBy("a, b").orc("s3a://bucket/")
其中a和b是我想要分区的两列我被org.apache.spark.sql.AnalysisExce
浏览 21提问于2017-06-20得票数 2
回答已采纳
我使用spark dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive表，格式为parquet。因此，我的配置单元元存储在HDP集群中，我正在从HDP集群运行spark作业。此spark作业将数据以parquet格式写入IBM COS。，当我对数据进行分区并存储(通过partitionBy)时，我无法直接从spark sql访问数据
spark.sql(
浏览 40提问于2018-12-18得票数 0
在Spark中，我希望覆盖特定的分区，而不是所有的分区。我正在尝试以下命令：df.write \ .format("csv") \
.partitionBy("partit
浏览 15提问于2022-11-29得票数 0
1回答
我正在使用partitionBy()在Spark中进行散列分区。但是该应用程序接口在RDD class.But中不可用，它显示无法解析在单机上运行的partitionBy() .I am，并且Spark核心版本为1.2。import org.apache.spark.SparkContext(sparkConf);
val testrdd = sparkContext.parallelize[Int](List(1,2,3,4,6,8,4,5,6));
浏览 0提问于2016-04-05得票数 0
如何向hive表中添加新的分区？有什么api的蜂巢亚稳态，我可以使用火花？
有没有办法获得映射dataframe row => partition_path的内部单元函数？spark正在将所有文件放在$HIVE/my_table下而不是$HIVE/my_table/month/...下，这意味着他没有对数据进行分区。当我编写df.write.partitionBy(...).mode(Overwrite).
浏览 2提问于2016-10-26得票数 6
回答已采纳
我正在将一个PySpark数据文件合并到一个Delta表中。输出增量按日期进行分区。下面的查询需要运行30： "actual"，当使用而不是PATH_TO_THE_TABLE时，上面的查询变得比PATH_TO_THE_TABLE快60倍(即在同一个集群上使用0.5s )。下面是复制增量的命令：
(spark.
浏览 1提问于2021-12-13得票数 3
df.write.partitionBy("par").format("orc").saveAsTable("mytable")
大家好，当我将spark数据帧保存为分区的hive表时，过程非常非常慢，有人知道为什么吗？是否有需要调整的参数？
浏览 0提问于2017-09-15得票数 2
我正在寻找一种方法来写入和恢复分区数据集。对于这个问题，我可以接受两个分区的RDD和Dataset[Row] / Dataframe这样做的目的是为了在恢复数据时避免混洗例如：
spark.range(n).withCo
浏览 0提问于2016-10-06得票数 2
2回答
spark HWC无法写入现有表
、、、、
在HDP 3.1.0中，HWC hive-warehouse-connector-assembly-1.0.0.3.1.0.0-78.jar，i不能根据数据库追加(或覆盖)到现有的表。我在一个名为DSN的数据库上测试，它工作，但在另一个名为CLEAN_CRYPT的数据库上它失败了。两个数据库都是加密的+ kerberosimport com.hortonworks.
浏览 2提问于2020-01-28得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
