通过bucketBy实现Spark DataFrame / Dataset groupBy优化

文章/答案/技术大牛

发布

1回答

apache-spark、group-by、query-optimization、parquet、bucket

我读过一些关于groupBy优化的文章，但是没有找到太多关于它的信息(除了RDD级别的reduceByKey)。我所考虑的是，如果数据集是由键写成桶的，那么它也将在groupBy中使用。从理论上讲，groupBy是可以优化的，因为包含该键的所有行都将位于同一位置(如果它也按相同的键排序存储，甚至可以是连续的)。我脑海中的一个想法是通过mapPartitions然后groupBy来应用转换，然而，这将需要将我的函数一分为二，这并不是真正可取的。我相信对于某些类型的函数(比

浏览 61提问于2019-05-18得票数 3

1回答

如何可靠地写入和恢复分区数据

apache-spark

对于这个问题，我可以接受两个分区的RDD和Dataset[Row] / Dataframe这样做的目的是为了在恢复数据时避免混洗例如： .repartition(m,

浏览 0提问于2016-10-06得票数 2

3回答

Apache星火窗口函数，FIRST_VALUE不工作。

apache-spark、apache-spark-sql、aggregation、window-functions

;import org.apache.spark.sql.expressions.Window;import org.apache.spark.sql.types.DataTypes;importorg.apache.spark</em

浏览 1提问于2018-05-15得票数 0

回答已采纳

1回答

如何保存存储桶的DataFrame？

apache-spark、apache-spark-sql

我正在尝试使用bucketBy保存dataFrame但这会产生错误：有没有其他方法可以保存bucketBy<

浏览 106提问于2017-02-03得票数 5

1回答

使用Apache Spark重新分区

java、scala、hadoop、apache-spark

例如，如果我为每一行打印该列的每个值的模数，则在给定分区中得到相同的模块(我通过手动读取saveAsHadoopFile保存的内容来读取分区)。它不像预期的那样使用最新的API。但是现在我正在尝试使用2.0.1API(在Scala中)和数据集，这些数据集有一个重新分区方法，它接受了许多分区和一个列，并将这个DataSet保存为一个parquet文件。

浏览 2提问于2016-11-14得票数 3

回答已采纳

1回答

ReduceByKey CountByKey在Spark中不工作

python-3.x、apache-spark

我是spark的新手，我有一个任务，我试图提供一个输出，其中包含前两个部门名称和来自csv的大多数员工ID。lambda x, y : x + y).take(10) 然而，当我执行时，我得到了一个错误(当我执行AggretageByKey时，我也得到了类似的错误，所以我有点迷路了)： org.apache.spark.SparkExceptionmost recent failure: org.apache.sp

浏览 18提问于2019-10-14得票数 0

2回答

火花数据集到数组的转换

arrays、apache-spark、apache-spark-sql、transformation、large-data

我有如下所示的数据集: col1值多次重复，col2值唯一。这个原始数据集可以有将近十亿行，所以我不想使用收集或collect_list，因为它不会为我的用例扩展。+---------------------|+---------------------|| BB| 21 || AA| 13 || CC| 33

浏览 1提问于2020-06-24得票数 0

回答已采纳

2回答

DataSet javaRDD()性能

java、performance、apache-spark、cassandra、apache-spark-sql

我正在使用Spark SQL从Spark应用程序的Cassandra中检索数据。数据以DataSet的形式检索。但是，我需要使用javaRDD()函数将此dataset转换为JavaRDD。

浏览 1提问于2017-08-19得票数 0

3回答

Dataframe API与Spark.sql [重复]

dataframe、apache-spark、catalyst-optimizer

这个问题在这里已经有答案了：在Spark SQL中编写SQL与使用Dataframe API(4个答案) 4天前就关门了。用Dataframe API格式而不是Spark.sql查询编写代码有什么显著的优势吗？我想知道催化剂优化器是否也会对spark.sql查询起作用。

浏览 103提问于2021-02-25得票数 0

回答已采纳

1回答

如何对count的多个列使用group by？

scala、apache-spark-sql

我有一个名为tags(UserId,MovieId,Tag)的文件作为算法的输入，并通过registerTempTable将其转换为表格。/dataset/algorithm3/output")eachTagCount.rdd.map(_.toSeq.map(_+"").reduce(_+","+_)) .saveAsText

浏览 22提问于2019-06-10得票数 1

回答已采纳

3回答

使用Java在Spark2.0中使用数据集的GroupByKey

java、apache-spark、group-by、dataset、apache-spark-2.0

有人能帮助我找到一个使用groupByKey的解决方案，或者使用任何其他转换和操作的组合来通过使用数据集而不是RDD来获得这个输出吗？

浏览 3提问于2016-09-08得票数 7

回答已采纳

1回答

如何加载一个存储桶的DataFrame，以保留存储桶？

apache-spark、apache-spark-sql

我已经存储了一个数据帧，即bucketBy和saveAsTable。== Physical Plan/tab1], PartitionFilters: [], Push

浏览 1提问于2017-10-18得票数 4

1回答

DataFrame / Dataset groupBy行为/优化

performance、apache-spark、dataframe、apache-spark-sql、apache-spark-dataset

假设我们有由以下列组成的DataFrame df： val df2 = df.groupBy("surname").agg( sum("width")

浏览 3提问于2015-10-02得票数 37

回答已采纳

2回答

星星之交不洗牌*

scala、apache-spark

我正在努力优化我的火花申请工作。有可能吗？如果不存在类似的功能，我希望实现类似的内容。

浏览 1提问于2018-12-08得票数 4

回答已采纳

2回答

星火知道DataFrame的分区键吗？

apache-spark、partitioning、window-functions

上下文：import org.apache.spark.sql.functions._ sum(col("dollars").over(w)) 在read之后，我可以看到repartition按预期工作，<e

浏览 0提问于2018-01-26得票数 21

回答已采纳

2回答

对Spark数据帧/数据集进行有效连接的分区数据

apache-spark、apache-spark-sql、spark-dataframe、partitioning、apache-spark-dataset

同样的事情也可以在Spark DataFrames或DataSets上完成吗？

浏览 0提问于2018-01-09得票数 13

回答已采纳

1回答

按星火数据帧所有列分组并计数

scala、apache-spark、group-by、apache-spark-sql

我希望使用Spark对数据帧的每一列执行Group。Dataframe将有大约。1000列。val df = sqlContext .format("org.apache.spark.sql.cassandra")", "keyspace" -> "testdata")) val

浏览 0提问于2019-08-12得票数 1

回答已采纳

1回答

将GroupBy+aggregate转换为groupByKey

apache-spark、pyspark、spark-dataframe

|A |B ||2 |"bar/foo" |df.groupby("A").collect() 但是，由于我从事的是一个大型的DF，所以groupby+agg没有那么好，而且做了很多

浏览 0提问于2017-08-07得票数 1

回答已采纳

1回答

如何计算数据文件中的记录数？

python、apache-spark、pyspark

我知道df.count()将触发火花操作并返回数据格式中的记录数，但我想知道这个过程在内部是如何工作的-- spark是通过整个dataframe来计算记录数量的，还是还有其他优化的技术，比如在dataframe

浏览 6提问于2022-05-17得票数 1

回答已采纳

2回答

为什么在显示操作员之后不能加入？

scala、apache-spark、join、apache-spark-sql

val tempTableB = tableB.groupBy("idB")错误说： (right: org.apache.spark.sql.Dataset

浏览 0提问于2017-07-26得票数 2

回答已采纳

点击加载更多