升级spark时拼花地板压缩性能下降
可能由于以下几个因素造成：
- 版本兼容性问题：升级spark版本时，新版本可能引入了一些与原有代码不兼容的修改，导致原有的拼花地板压缩性能下降。解决方法是检查新版本的变更文档和升级指南，了解新版本的兼容性情况，并相应地修改代码。
- 硬件配置问题：升级spark版本后，新版本可能对硬件配置要求更高，而原有的硬件配置无法满足新版本的要求，从而导致压缩性能下降。解决方法是根据新版本的硬件要求，对现有硬件进行升级或调整，以满足新版本的需求。
- 算法优化问题：新版本的spark可能对拼花地板压缩算法进行了优化或修改，但这些优化并不适用于当前的数据集或使用场景，导致性能下降。解决方法是对新版本的拼花地板压缩算法进行评估和调整，或者选择恰当的压缩算法。
- 配置参数调整问题：新版本的spark可能引入了一些新的配置参数，而原有的配置参数设置不合理或不适用于新版本，导致性能下降。解决方法是根据新版本的配置参数说明文档，对相关配置参数进行评估和调整，以优化性能。
推荐腾讯云相关产品和产品介绍链接地址：
相关·内容
1回答
我有一个spark作业，可以将数据快速压缩到拼图文件中。拼花中的一根柱子是重复的INT64。当我从镶嵌1.8.2的spark 2.2升级到1.10.1的spark 3.1.1时，我发现压缩比严重下降。163655597/1.26 VC:87158527 ENC:RLE,PLAIN_DICTIONARY ST:[min: 4, max: 1967324, num_nulls: 39883] 请注意，压缩比从2
浏览 17提问于2021-05-06得票数 5
回答已采纳
1回答
我的拼花文件是从CSV派生出来的，在CSV中，有些单元格被转义了。这是一种价值我想把这封信读成我试图在阅读时从拼花文件中转义引号。如果我读的是CSV，我可以按以下方式来做然而，我们没有一个类似的东西对地
浏览 0提问于2018-09-24得票数 0
回答已采纳
但是，我不清楚这种行为，即拼花文件的初始大小是2.3MB，但后来它被缩减为1.5MB。有谁能帮我理解一下。
浏览 2提问于2019-05-30得票数 1
回答已采纳
要求import pysparkdatabase_name = sys.argv[1]
tableList = [x["tableName"] for
浏览 1提问于2021-06-10得票数 0
我了解到，当涉及到大小和查询速度时，拼板文件格式存储了一堆元数据，并使用各种压缩来高效地存储数据。
而且它可能会生成多个文件，比方说:一个输入，比如来自熊猫数据的输入。
浏览 23提问于2022-11-29得票数 0
回答已采纳
我有一个用火花阅读的拼花文件： .appName("test") .read().parquet(resourcePath)gzip fileName.
浏览 3提问于2020-07-08得票数 3
回答已采纳
1回答
在执行联接的情况下，Parquet是否比HBase (例如，通过像菲尼克斯这样的SQL皮肤访问)性能更好？
浏览 1提问于2018-09-09得票数 20
回答已采纳
2回答
val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.master", "local").getOrCreate()
case class Something(id: Int, batchId: Option[String], div:overwrite").option("pa
浏览 2提问于2022-04-14得票数 0
回答已采纳
2回答
这些表是使用在原始文本中使用压缩从Teradata数据库导入的(不幸的是，无法与Teradata连接器一起工作)。完成Spark进程所需的时间约为1小时15分钟。为了提高性能，我想在执行进程之前，以一种更有效的格式(如SparkSQL )来转换表。根据文档和在线讨论，这将大大促进使用原始文本(即使使用snappy压缩，这在原始文本上是不可分离的)。整个过程以1小时20分钟结束。这对我来说太令人惊讶了。我并没有像我在一些讨论中看到的那样期待30倍的提升，但我当然期待着进步。在Spa
浏览 1提问于2018-07-28得票数 1
1回答
我正在读取一个csv文件，并将其写入一个由col分区的拼花文件中。:00:00|this is test3|当我使用这个dataframe写入一个分区的parquet文件时，它得到了成功的写入，但是当我从那里读取并显示时间戳col作为空值时，尽管数据类型仍然是时间戳。> df.write.partitionBy("col1").mode("append").parquet("<some
浏览 4提问于2022-10-17得票数 0
我有20亿条记录的拼图文件，用GZIP压缩，用SNAPPY压缩同样的数据。此外，我还对相同的20亿条记录进行了分隔。我们在AWS prod中有72个Vertica节点，当使用复制命令而不是分隔文件将数据从s3移动到Vertica时，我们看到拼图文件的性能出现了巨大的峰值。总文件大小为镶木地板- 9.2 GB下面是用于拼接和分隔的复制命令。当我们删除复制查询中的"No commit“时，我们确实看到了一些2分钟的改
浏览 0提问于2019-10-31得票数 0
.* @param anneeCOG Année du Code Officiel Géographique de référence.当这个字符串字段没有对数据集进行分区时，codeDepartement:一切正常
控制台上显示的内容如下当使用codeDepartement对数据集进行分区时:在加载拼花文件时会丢失前导零：
如果我在我的CogDatase
浏览 4提问于2022-01-18得票数 0
回答已采纳
7回答
加分，如果我可以使用Snappy或类似的压缩机制，连同它。
到目前为止，我发现的唯一方法是使用带有pyspark.sql.DataFrame Parquet支持的星火。
浏览 7提问于2015-10-05得票数 39
回答已采纳
1回答
我正在插入从Spark2.1(使用df.write.insertInto(...) )的外部蜂巢-地板表。通过设置，例如。spark.sql("SET spark.sql.parquet.compression.codec=GZIP")
现在，如何在分区的情况下更改(或至少验证)拼花文件的压缩编解码器？
浏览 0提问于2019-01-03得票数 7
我意识到，在运行spark时，最好有至少与内核一样多的地板文件(分区)，以便尽可能充分地利用spark。但是，制作一个大的拼花文件和几个较小的拼花文件来存储数据有什么好处/缺点？作为一个测试，我使用这个数据集：
import pyspark .master("local[*]&quo
浏览 7提问于2022-06-03得票数 0
回答已采纳
我们在Scala中有一个Spark2.2作业写程序，它在一个纱线集群中运行，执行以下操作：
-conf <e
浏览 1提问于2018-06-20得票数 0
1回答
我试着用火花在S3文件中生成拼花文件，目的是以后可以用预置文件从拼花中查询。基本上，是这样的，
如果是这样的话，有
浏览 0提问于2017-05-01得票数 6
回答已采纳
1回答
我的输入拼花文件有一个定义为optional binary title (UTF8);的列，该列可能包含特殊字符，如德语umlat (即Schr dinger)。当使用Spark将拼花的内容加载到DataFrame时，行的内容将加载值Schr dinger作为Schr dinger。我相信，为什么会发生这种情况，最好的解释是回答，虽然我的印象是火花将读取作为UTF-8默认情况下的地板文件。
我试图使用描述的选项参数强制UTF-8编码，但仍然没有成功。有什么建议吗？
浏览 3提问于2021-02-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
