1回答
然后我广播加入小DF和一个大得多的DF。largeDf.as("a").join(broadcast(smallDf.as("b")), $"a.key" === $"b.key", "inner") 触发诸如smallDf.count之类的操作以使<
浏览 37提问于2019-10-24得票数 0
我对Spark2.1中的join有一个问题。Spark (错误的？)选择广播散列join，尽管该表非常大(1400万行)。然后作业崩溃，因为没有足够的内存，Spark以某种方式尝试将广播片段持久存储到磁盘，这将导致超时。所以，我知道有一个查询提示可以强制广播连接(org.apache.spark.sql.functions.broadcast)，但是有没有办法强制另一个连接算法呢？我通过设置spark.sql.autoBroadcas
浏览 32提问于2018-01-08得票数 7
1回答
Spark SQL超时
、、、、
我正在尝试在Spark独立集群上运行一个相对简单的Spark SQL命令from score s at org.apache.spark.repl.SparkILoop.loop)
at or
浏览 0提问于2014-12-05得票数 1
foo') == col('baz_'), 'right').drop('baz_')
然而，这是相当冗长的，在读了一段时间后很难解释，并且当在WHERE中处理大量条件时，会导致相当多的抓头，所以我想避免这种情况
浏览 2提问于2020-05-18得票数 2
重新划分玩家需要近2.5分钟，因为大斜度，而加入则需要近3秒。因此，2.6mins的总体时间接近
Approach 2--团队和球员的表都是均匀分布的，我不需要在相同的键上重新分区就可以进行连接。
浏览 5提问于2022-07-20得票数 0
在运行我的spark- my代码时，我在执行时得到了这个错误。我只是好奇地想知道这个TreeNodeException错误是什么。Exception in thread “main” org.apache.spark.sql.catalyst.errors.package
浏览 2提问于2017-10-25得票数 8
3回答
当我们有一个足够小的数据存储到内存中时，我们在Spark中使用广播散列连接。当小数据文件的大小低于spark.sql.autoBroadcastJoinThreshold时，我对此几乎没有疑问。我们暗示为广播的小数据的生命周期是什么？它将在记忆中停留多长时间？我们怎样才能控制它？
例如，如果我已经使用广播散列连接两次使用小dataframe加入了一个大dataframe。当第一个join执行时，它将向工作节点广播小数据，并执行连接，同时避免大数据数据的
浏览 0提问于2018-12-14得票数 11
回答已采纳
我需要对它们执行左连接，如下所示：println("autoBroadcastJoinThreshold= " + spark.conf.get("spark.sql.autoBroadcastJoinThreshold")) // displays -1
val result = streamingData.join$$an
浏览 641提问于2019-07-31得票数 1
millionvar joinRDD = rddA.join(rddB);
当spark在这种情况下，rddA太“大”，不能用作广播变量，但似乎BroadcastHashJoin会更有效。是否有使用BroadcastHashJoin的提示？(Apache通过连接提示支持这一点)。当spark (databricks)写入拼花文件时，它会在每个分区中写入一个文件，并且同样地，它会读取每个文
浏览 4提问于2015-07-13得票数 11
回答已采纳
我正尝试在两个表上进行广播连接。较小的表的大小将根据参数的不同而不同，但较大的表的大小接近2TB。我注意到的是，如果我不将spark.sql.autoBroadcastJoinThreshold设置为10G，其中一些操作将执行SortMergeJoin而不是广播加入。我在较小的表上做了一些操作，因此混洗大小显示在Spark History Server上，内存中的大小似乎是150MB，远远不到10G。此外，如果我在较小的表上强制广播联接，则广播需要很长时间，这会使我认为
浏览 3提问于2018-10-16得票数 0
你能推荐使用Scala的广播加入吗?在LargeDF左加入小DF的地方？
谢谢!
浏览 0提问于2017-03-22得票数 0
请注意，我在linkPersonItemLessThan500DF上使用的是linkPersonItemLessThan500DF，因为我打算稍后加入这两者。$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:670) at org.apache.spark.repl.SparkI
浏览 5提问于2016-12-13得票数 71
回答已采纳
2回答
Dataset<Row> attReader = spark .format("org.apache.spark.sql.cassandra") .load();
.read()
.format("org.apache.spark.sql.cassa
浏览 0提问于2018-10-08得票数 0
回答已采纳
根据这个的说法，我试图将一个大数据加入到一个更小的数据中，并且我看到了广播连接是一种有效的方法。那么，我想知道您是否可以使用SparkR进行广播连接？
浏览 2提问于2017-06-30得票数 2
回答已采纳
我有两个DataFrame数据帧(A和B)，它们都有一个公共的列/字段(在Spark A中是主键，但在B中不是)。
对于dataframe A中的每一条记录/行，dataframe B中有多条记录。
浏览 0提问于2018-07-25得票数 0
1回答
原因：java.lang.OutOfMemoryError:超过GC开销限制
spark.driver.cores 3spark.executor.cores 3spark.executor.memory 6g
spark.yarn.executor.memoryOverhead我必须做很多加入</e
浏览 1提问于2017-09-11得票数 3
回答已采纳
我正在使用spark执行连接倍数表。其中一个表非常大，其他表很小(10-20个记录)。实际上，我想使用包含一对键值的其他表来替换最大表中的值。我的问题是；，这是加入表的最佳方式。(假设有100个或更多的小表) 1)收集小数据，把它转换成地图，广播地图，一步一步地转换大数据。bigdf.transform(ds.map(row => (small1.get(row.col1),.....) select *
浏览 1提问于2018-02-13得票数 3
“是一个“广播连接”，并将结果注册为" TempTable“(TempTable为30KB)，我的问题是当我执行"c left join TempTable on...”时，我希望自动广播TempTable来进行广播连接，但它进行了排序合并连接。我也尝试缓存TempTable和广播DataFrame的TempTable，但它不起作用...如何广播TempTable以与sparkSQL进行广播加入？我正在使用spark-1.6.1，谢
浏览 0提问于2018-11-04得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号