开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark bucketing读取性能

Spark bucketing是一种数据分桶技术，用于提高数据读取性能和查询效率。它将数据按照某个列的值进行分桶存储，使得具有相同分桶值的数据可以被存储在同一个物理分区中，从而减少了数据的扫描范围，提高了查询的速度。

Spark bucketing的优势包括：

提高查询性能：通过将数据分桶存储，可以减少查询时需要扫描的数据量，从而提高查询的速度。
优化数据倾斜：对于存在数据倾斜的情况，可以使用bucketing将数据均匀分布在不同的桶中，避免某些桶的数据过大而导致性能问题。
支持数据聚合：通过将相同分桶值的数据存储在一起，可以更方便地进行数据聚合操作，提高聚合查询的效率。

Spark bucketing的应用场景包括：

大规模数据分析：对于大规模数据集的分析任务，使用bucketing可以提高查询性能，加快分析速度。
数据仓库：在构建数据仓库时，可以使用bucketing来优化数据存储和查询效率。
实时数据处理：对于实时数据处理任务，使用bucketing可以提高数据读取性能，加快处理速度。

腾讯云提供了适用于Spark的云原生计算服务Tencent Cloud TKE，可以用于部署和管理Spark集群。同时，腾讯云还提供了弹性MapReduce（EMR）服务，支持Spark框架，可以用于大规模数据处理和分析任务。

更多关于Tencent Cloud TKE的信息，请访问：Tencent Cloud TKE

更多关于腾讯云弹性MapReduce（EMR）的信息，请访问：腾讯云弹性MapReduce（EMR）

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

探索 eBay 用于交互式分析的全新优化 Spark SQL 引擎

作者 | Gang Ma 等译者 | Sambodhi 策划 | 闫园园看一下 eBay 如何创建优化的 SQL 解决方案，它可以为新的基于开源的分析平台提供更高的速度、稳定性和可扩展性。最近，eBay 完成了把超过 20PB 的数据从一个提供商的分析平台迁移到内部构建的基于开源的 Hadoop 系统。这次迁移使得 eBay 以技术为主导的重新构想与第三方服务提供商脱钩。与此同时，它也给 eBay 提供了一个机会，建立一套相互补充的开源系统来支持对用户体验的分析。这个迁移过程中面临的

03

优化 Apache Spark 性能：消除 shuffle 以实现高效数据处理

Apache Spark 以其分布式计算能力彻底改变了大数据处理。然而，Spark 的性能可能会受到称为“shuffle”的常见挑战的影响。在本文中，我们将探讨 shuffle 是什么、它的原因、与之相关的问题以及优化 Apache Spark 性能的有效解决方案。

03

spark2 sql读取数据源编程学习样例1

问题导读 1.dataframe如何保存格式为parquet的文件？ 2.在读取csv文件中，如何设置第一行为字段名？ 3.dataframe保存为表如何指定buckete数目？作为一个开发人员

06

浪尖，请问如何确定hive分桶数？

顺便打个广告，更多优质文章和问题答疑及视频教程请点击原文链接，加入浪尖知识星球-Spark技术学院获取。

05

Hive面试题持续更新【2023-07-07】

Hive是一个在Hadoop上构建的数据仓库基础架构，它提供了一种类似于SQL的查询语言，称为HiveQL，用于处理和分析大规模的结构化数据。Hive的体系架构主要包括以下几个组件：

01

【Parquet】Spark读取Parquet问题详解……

一个 Parquet 文件是由一个 header 以及一个或多个 block 块组成，以一个 footer 结尾。

01

HIVE中数据更新(update)操作的实现

数据更新是一种常见的操作，然后数据仓库的概念一般要求的是数据是集成、稳定的。HIVE作为一种分布式环境下以HDFS为支撑的数据仓库，它同样更多的要求数据是不可变的。然而现实很多任务中，往往需要对数据进行更新操作，经查，Hive自0.11版本之后就提供了更新操作。于是想着试验一下，看看HIVE更新的操作和性能。

01

表的高级操作：倾斜表&事务表

对于一列或多列中出现倾斜值的表，可以创建倾斜表（Skewed Tables）来提升性能。比如，表中的key字段所包含的数据中，有50%为字符串”1“，那么这种就属于明显的倾斜现象；于是在对key字段进行处理时，倾斜数据会消耗较多的时间。

02

Kylin使用心得：从入门到进阶的探索之旅

Apache Kylin，作为一款开源的大数据分析平台，以其独特的预计算技术，为用户提供亚秒级的OLAP查询体验。无论是数据分析师还是大数据工程师，掌握Kylin的使用技巧，都将极大地提升数据洞察力和决策效率。本文将从Kylin的基本概念出发，深入解析其工作原理，分享我在使用过程中的常见问题及解决方案，同时附上实战代码示例，帮助你更有效地驾驭这一强大的分析工具。

01

知行教育项目_Hive参数优化

我们知道传统的OLTP数据库一般都具有索引和表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，我们还可以通过建立索引进一步提升查询效率。在Hive数仓中也有索引和分区的概念。

02

Hive的基本知识(一)

Hive 组件用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行； Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Driver驱动程序，包括语法解析器、计划编译器、优化器、执行器 : 完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。执行引擎：Hive本身并不直接处理数据文件。而是通过执行引擎处理。当下Hive支持MapReduce、 Tez、Spark3种执行引擎。 Hive基本使用链接方式： 1.使用hive本地连接 2.开启hiveserver2远程服务，使用beeline连接 3.使用hive参数执行任务 hive -e ‘执行语句’ hive -f ‘执行脚本文件’

01

Hive的基本知识(一)

💃 Hive架构 📷 💃Hive 组件用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行； Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Dri

01

Spark笔记

基础版：https://tech.meituan.com/2016/04/29/spark-tuning-basic.html

01

Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN

本文介绍了基于Spark的SQL编程的常用概念和技术。首先介绍了Spark的基本概念和架构，然后详细讲解了Spark的数据类型和SQL函数，最后列举了一些Spark在实际应用中的例子。

08

Hive 3的ACID表

您可以创建ACID（原子性，一致性，隔离性和持久性）表用于不受限制的事务或仅插入的事务。这些表是Hive托管表。数据与Schema一起位于Hive metastore中。或者，您可以创建一个外部表用于非事务性使用。数据位于Hive Metastore外部。模式元数据位于Hive Metastore内部。因为外部表受Hive的控制很弱，所以该表不符合ACID。

01

大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试

一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table？4、什么时候使用 Managed Table 跟 External Table？5、hive 有哪些复合数据类型？6、hive 分区有什么好处？7、hive 分区跟分桶的区别8、hive 如何动态分区9、map join 优化手段10、如何创建 bucket 表？11、hive 有哪些 file formats12、hive 最优的 file formats 是什么？13、hive 传参14、order by 和 sort by 的区别15、hive 跟 hbase 的区别二、Hive 数据分析面试1、分组 TopN，选出今年每个学校、每个年级、分数前三的科目2、今年，北航，每个班级，每科的分数，及分数上下浮动 2 分的总和3、where 与 having：今年，清华 1 年级，总成绩大于 200 分的学生以及学生数三、Flume + Kafka 面试1、flume 如何保证数据的可靠性？2、kafka 数据丢失问题，及如何保证？3、kafka 工作流程原理4、kafka 保证消息顺序5、zero copy 原理及如何使用？6、spark Join 常见分类以及基本实现机制

03

Hive Tunning（二）优化存储

接着上一章我们讲的hive的连接策略，现在我们讲一下hive的数据存储。下面是hive支持的数据存储格式，有我们常见的文本，JSON，XML，这里我们主要讲一下ORCFile。 Built-in Formats: – ORCFile – RCFile – Avro – Delimited Text – Regular Expression – S3 Logfile – Typed Bytes • 3

04

pyspark 特征工程

曾经在15、16年那会儿使用Spark做机器学习，那时候pyspark并不成熟，做特征工程主要还是写scala。后来进入阿里工作，特征处理基本上使用PAI 可视化特征工程组件+ODPS SQL，复杂的话才会自己写python处理。最近重新学习了下pyspark，笔记下如何使用pyspark做特征工程。

01

Spark调优 | Spark SQL参数调优

Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spark-sql版本支持的参数。

06

一文读懂Hive底层数据存储格式（好文收藏）

本文讲解 Hive 的数据存储，是 Hive 操作数据的基础。选择一个合适的底层数据存储文件格式，即使在不改变当前 Hive SQL 的情况下，性能也能得到数量级的提升。这种优化方式对学过 MySQL 等关系型数据库的小伙伴并不陌生，选择不同的数据存储引擎，代表着不同的数据组织方式，对于数据库的表现会有不同的影响。

05

Flink Exactly-Once 投递实现浅析

随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计算/消息队列）都宣称支持 exactly-once，exactly-once 投递似乎是一个已被解决的问题，但是其实它们更多是针对内部模块之间的信息投递，比如 Kafka 生产（producer 到 Kafka broker）和消费（broker 到 consumer）的 exactly-once。而 Flink 作为实时计算引擎，在实际场景业务会涉及到很多不同组件，由于组件特性和定位的不同，Flink 并不是对所有组件都支持 exactly-once（见[1]），而且不同组件实现 exactly-once 的方法也有所差异，有些实现或许会带来副作用或者用法上的局限性，因此深入了解 Flink exactly-once 的实现机制对于设计稳定可靠的架构有十分重要的意义。

02

Apache Flink 零基础入门（一）：基础概念解析

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。

02

hive分区和分桶你熟悉吗？

两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。

00

Spark2.4.0源码分析之WorldCount FinalRDD构建(一)

Spark2.4.0源码分析之WorldCount FinalRDD构建(一) 更多资源 github: https://github.com/opensourceteams/spark-scala-maven-2.4.0 主要内容描述 Spark dataSet执行计算转成FinalRDD FinalRdd从第一个RDD到最到一个RDD的转化过程 RDD之间的依赖引用关系 ShuffleRowRDD默认分区器为HashPartitioning,实际new Partitioner,分区个数为200 Fina

01

基于Alluxio系统的Spark DataFrame高效存储管理技术

介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。在未使用Alluxio之前，他们发现生产环境中的一些Spark作业会变慢甚至无法完成。而在采用Alluxio后这些作业可以很快地完成。在这篇文章中，我们将介绍如何使用Alluxio帮助Spark变得更高效，具体地，我们将展示如何使用Alluxio高效存储Spark

基于Alluxio系统的Spark DataFrame高效存储管理技术

越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。在未使用Alluxio之前，他们发现生产环境中的一些Spark作业会变慢甚至无法完成。而在采用Alluxio后这些作业可以很快地完成。在这篇文章中，我们将介绍如何使用Alluxio帮助Spark变得更高效，具体地，我们将展示如何使用Alluxio高效存储Spark DataFrame。

05

Hive分桶一文读懂

但和分区不同的是，分区是将表拆分到不同的子目录中进行存储，而分桶是将表拆分到不同文件中进行存储。

02

Firestorm 0.2.0发布：首个支持混合存储的开源Remote Shuffle Service

01 背景 Firestorm自2021年11月上线开源 0.1.0 版本后，该项目受到了业界的广泛关注。 Firestorm是为了加速分布式计算引擎能上云的重要组件，同时也能解决在大Shuffle场景下，计算任务由于Shuffle过程异常而导致的任务失败。（更详细的背景可以参考此文[Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践]）目前Firestorm迎来了0.2.0 版本的正式发布，而Firestorm也成为了第一个支持混合存储的开源Re

02

Hive 各版本关键新特性（Key New Feature）介绍

开源世界里的代码受社区推动和极客文化的影响，变化一直都很快。这点在 hadoop 生态圈里表现尤为突出，不过这也与 hadoop 得到业界的广泛应用以及各种需求推动密不可分（近几年大数据、云计算被炒烂

08

五分钟零基础介绍 Spark

相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。 Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的：从 HDFS 读取输入数据；在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘；在 Reduce 阶段，

04

Spark2.4.0源码分析之WorldCount ShuffleMapTask处理(八)

视频 ShuffleMapTask原理分析视频内容 Spark2.4.0 ShuffleMapTask源码分析(八) 视频内容更多资源 github: https://github.com/opensourceteams/spark-scala-maven-2.4.0 时序图 https://github.com/opensourceteams/spark-scala-maven-2.4.0/blob/master/md/image/example/spark-sql-dataset/worldCo

00

Adaptive Execution 让 Spark SQL 更高效更智能

前面《Spark SQL / Catalyst 内部原理与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化，从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。但是

01

干货丨Tachyon：Spark生态系统中的分布式内存文件系统

Tachyon是Spark生态系统内快速崛起的一个新项目。本质上，Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来，使Spark可以更专注计算的本身，以求通过更细的分工达到更高的执行效率。本文将先向读者介绍Tachyon在Spark生态系统中的使用，也将分享百度在大数据平台上利用Tachyon取得的性能改善的用例，以及在实际使用Tachyon过程中遇到的一些问题和解决方案。最后我们将介

05

Apache Hudi 0.14.0版本重磅发布！

Apache Hudi 0.14.0 标志着一个重要的里程碑，具有一系列新功能和增强功能。其中包括引入Record Level Index、自动生成记录键、用于增量读取的 hudi_table_changes函数等等。值得注意的是，此版本还包含对 Spark 3.4 的支持。在 Flink 方面，0.14.0 版本带来了一些令人兴奋的功能，例如一致哈希索引支持、支持Flink 1.17 以及支持更新和删除语句。此外此版本还升级了Hudi表版本，提示用户查阅下面提供的迁移指南。我们鼓励用户在采用 0.14.0 版本之前查看重大特性、重大变化和行为变更。

03

技术干货 | Hive模式设计

过多使用分区可能导致非必须的Hadoop文件和文件夹，最终会超出NameNode对系统云数据信息的处理能力。默认，每个task都是一个新的JVM实例，都需要开启和销毁的开销。对于小文件（小于一个块的大小），每个文件都会对应一个task。会导致JVM开启和销毁的时间中可能会比实际处理数据的时间消耗要长。理想的分区方案部应该导致产生太多的分区和文件夹目录，并且每个目录下的文件应该足够大，应该是文件系统中块大小的若干倍。不能够找到好的、大小相对合适的分区方式的话，可以考虑使用分桶表数据存储。 Hive没有主

05

Spark Adaptive Execution调研

本文阅读价值不错建议大家仔细阅读，感谢作者疯狂哈秋，转自：https://blog.csdn.net/u013332124/article/details/90677676

01

ApacheHudi使用问题汇总（二）

Hudi Cleaner（清理程序）通常在 commit和 deltacommit之后立即运行，删除不再需要的旧文件。如果在使用增量拉取功能，请确保配置了清理项来保留足够数量的commit(提交)，以便可以回退，另一个考虑因素是为长时间运行的作业提供足够的时间来完成运行。否则，Cleaner可能会删除该作业正在读取或可能被其读取的文件，并使该作业失败。通常，默认配置为10会允许每30分钟运行一次提取，以保留长达5（10 * 0.5）个小时的数据。如果以繁进行摄取，或者为查询提供更多运行时间，可增加 hoodie.cleaner.commits.retained配置项的值。

04

Apache Spark 1.6发布

今天我们非常高兴能够发布Apache Spark 1.6，通过该版本，Spark在社区开发中达到一个重要的里程碑：Spark源码贡献者的数据已经超过1000人，而在2014年年末时人数只有500。那

08

Spark Persist,Cache以及Checkpoint

下面我们将了解每一个的用法。重用意味着将计算和数据存储在内存中，并在不同的算子中多次重复使用。通常，在处理数据时，我们需要多次使用相同的数据集。例如，许多机器学习算法（如K-Means）在生成模型之前会对数据进行多次迭代。如果处理过程中的中间结果没有持久存储在内存中，这意味着你需要将中间结果存储在磁盘上，这会降低整体性能，因为与RAM相比，从磁盘访问数据就像是从隔壁或从其他国家获取内容。下面我们看一下在不同存储设备上的访问时间：

02

Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践

图片来源：pexels 背景 Firestorm Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态：基于文件的pull based shuffle，如MapReduce、Spark。这种shuffle方式多用于类MR的框架，比如MapReduce、Spark，它的特点是具有较高的容错性，适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案，因此失败

03

Spark SQL在100TB上的自适应执行实践

Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易用性和可扩展性的挑战。为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在Spark 社区版本的基础上，改进并实现了自适应执行引擎。本文首先讨论Spark SQL在大规模数据集上遇到的挑战，然后介绍自适应执行的背景和基本架构，以及自适应执行如何应对Spark SQL这些问题，最后我们将比

06

【原】Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL

周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章：【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 #####我是

Hudi、Iceberg 和 Delta Lake：数据湖表格式比较

在构建数据湖时，可能没有比存储数据格式更重要的决定了。结果将直接影响其性能、可用性和兼容性。

02

在scala中使用spark sql解决特定需求

Spark sql on hive的一个强大之处就是能够嵌在编程语言内执行，比如在Java或者Scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。比如我们想做一个简单的交互式查询，我们可以直接在Linux终端直接执行spark sql查询Hive来分析，也可以开发一个jar来完成特定的任务。有些时候单纯的使用sql开发可能功能有限，比如我有下面的一个功能：一张大的hive表里面有许多带有日期的数据，现在一个需求是能够把不同天的数据分离导入到不同天的es索引里面，方

05

PyTorch 1.7发布，支持CUDA 11、Windows分布式训练

昨日，PyTorch 团队发布 PyTorch 1.7 版本。该版本增添了很多新特性，如支持 CUDA 11、Windows 分布式训练、增加了支持快速傅里叶变换（FFT）的新型 API 等。

01

PyTorch 1.7发布，支持CUDA 11、Windows分布式训练

PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及对基于分布式数据并行（DDP）和基于远程过程调用（RPC）的分布式训练的重要更新。

03

0767-Hive ACID vs. Delta Lake

Qubole现在支持对存储在Cloud数据湖中的数据进行高效的Update和Delete。用户可以对开启了事务的Hive表进行insert，update和delete，并通过Apache Spark或Presto进行查询。使用Apache Spark或Presto操作Hive的事务表功能，我们已将其开源，我们对于更多引擎支持update和delete的工作也在进行中，这块同样也会开源。

02

AI时代，你需要了解的AI 数据库架构设计和内存优化思路

作者 | 陈迪豪编辑 | 邓艳琴随着人工智能技术的发展和普及，越来越多的企业和组织需要处理和分析大量的数据，其中就包括了 AI 数据。AI 数据库为处理这些数据提供了更高效，更智能的方式，能够更好地支撑人工智能应用的发展。因此，目前 AI 数据库已经成为人工智能领域的热门技术之一。OpenMLDB 则是这里面的知名开源项目。本文整理自 OpenMLDB PMC 陈迪豪在 QCon 全球软件开发大会（北京站）AI 基础架构分论坛上的发表的演讲实录。希望大家通过本文能够了解三个方面的内容：前沿的

01

原 Spark简介及完全分布式安装

Spark简介及完全分布式安装一、Spark介绍官方介绍： Apache Spark™ is a fast and general engine for large-scale data processing. Spark Introduce Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. Apache Spark has an advanced

06

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

在过去数年中，网易在大数据云原生领域进行了长足的探索。本文围绕如何基于 Apache Kyuubi & Celeborn 等开源技术，构建企业级 Spark on Kubernetes 云原生离线计算平台展开，包含技术选型、架构设计、经验教训、缺陷改进、降本增效等内容，深入剖析网易在该领域的探索成果。

04

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭