选择广播散列join，尽管该表非常大(1400万行)。然后作业崩溃，因为没有足够的内存，Spark以某种方式尝试将广播片段持久存储到磁盘，这将导致超时。所以，我知道有一个查询提示可以强制广播连接(org.apache.spark.sql.functions.broadcast)，但是有没有办法强制另一个连接算法呢？我通过设置spark.sql.autoBroadcastJoinThreshold=0解决了我的问题，但我更喜欢另一种更细粒度的解决方案，即不全局禁用广播加入
浏览 32提问于2018-01-08得票数 7
在Oracle中，我可以使用提示USE_HASH或USE_MERGE来指示优化器执行散列联接或排序合并联接。这些类型的连接有什么不同，什么时候/为什么我应该使用其中之一？
浏览 2提问于2010-11-10得票数 4
2回答
我读到Oracle支持合并连接和不等连接谓词。在实现这种连接时有没有关于算法的在线参考？如果有人知道如何做到这一点，你能回答吗？
浏览 0提问于2012-02-24得票数 6
1回答
哈希连接清晰度
、、、
定义说明
当联接表的投影尚未在联接列上排序时，将使用散列连接。在本例中，优化器在内部表的联接列上构建内存中的哈希表。然后，优化器扫描外表以查找与哈希表的匹配，并相应地连接两个表中的数据。所以表A是散列的，而表B不是。那么，我们如何比较散列值和非哈希值呢？
浏览 3提问于2021-08-27得票数 0
回答已采纳
c INNER JOIN city ci ON ci.ci_id = a.ci_id
列customer.a_id我想使用合并连接，而不是哈希连接，因为我看到哈希连接并不真正使用索引，所以我使用Set enable_hashjoin=off来转换散列联接。我的查询现在是根据使用合并联接的查询计划进行的，但是它总是在合并连接之前执行快速
浏览 1提问于2022-11-01得票数 0
7回答
我的问题不是如何在sql中使用inner join。我知道表a和表b之间是如何匹配的。
我想问一下内部工作的内部工作是怎样的。它涉及到什么算法？当连接多个表时，内部会发生什么？
浏览 0提问于2009-05-08得票数 9
Time": 0.114, "Execution Time": 0.033]1，"man“就像拥有1，"man“
在这个超级简单的sql上，使用这种排序并不是什么问题，但首先我想
浏览 20提问于2021-06-08得票数 0
我有一个大型查询，其中有许多连接，我正在尝试调优，一个警告信号是，在整个过程中都在使用许多散列连接。我转到查询树的底部，转到那里的第一个连接，这是一个内部连接。表A正在使用聚集索引扫描来检索其数据，这些数据是按联接列排序的。表B正在使用非聚集索引扫描，该扫描也是按联接列排序的。
当我隔离地连接这两个表，并选择相同的列集时，优化器使用合并连接。如何解释优化器在这种情况下选择散
浏览 1提问于2015-03-06得票数 5
为什么Spark2.3中的星火规划师更喜欢一种类型的合并连接而不是混搭的散列连接？换句话说，为什么spark.sql.join.preferSortMergeJoin配置属性是？杂乱的散列连接有什么问题？这是特定于星火，它是以分布式的方式进行计算，还是其他一些在联接算法中固有的东西？
浏览 0提问于2018-04-25得票数 18
回答已采纳
1回答
是否有一种方法，在同一个星火应用程序甚至同一个作业中，为每次洗牌指定不同数量的洗牌分区，而不是为所有的洗牌分区指定一个全局数目的洗牌分区？spark.sql.shuffle.partitions这适用于这样一种情况:作业是一个大型DAG，而一些洗牌输出可能很小，而另一些则非常大。
浏览 1提问于2021-03-04得票数 1
我正在查看我在Redshift中所做的一些查询的性能，并注意到一些我在文档中找不到的东西。对于子表B，我创建了一个外键字段parent_id，它引用了A.id。我在表B上为(parent_id，id)创建了一个交错排序键。
当我试图解释连接这两个表时，我总是会得到一个Hash连接。如果我用一个普通的复合排序键重新创建表B，我将始终得到一个合并连接。我的
浏览 0提问于2017-02-15得票数 0
1回答
多个后续联接的火花性能问题
、、、、
我们加入的主要数据不是超级大的:在44列上有819.000条记录。总之，我们将把27条其他的dataframe加入到这个主dataframe中，每一条只在主dataframe中添加1到3个额外的列。所有数据文件都连接在同一列(客户唯一标识符)上，该列在主数据帧中是唯一的，不应以任何方式倾斜。当我们在databricks集群上运行完整的代码，并在运行了所有连接之后，尝试执行()或display() 之类的任何操作，就会出现问题。一旦它必须执行所有后续的联接，简单计数主dataframe的运
浏览 1提问于2021-09-08得票数 1
回答已采纳
2回答
今天我学习了SQL Server中一个叫做的东西。另外，在标准INNER JOIN上使用INNER LOOP JOIN的一些常见场景是什么
浏览 12提问于2011-06-30得票数 34
回答已采纳
afp.period_end , afp.period_end无论何时添加查询级提示或连接级提示由于在此查询中定义的提示，Msg 8622、级别16、状态1、第50行查询处理器无法生成查询计划。重新提交查询，不指定任何提示，也不使用SET FORCEPLAN。我在网上读过一些帖子，暗示这可能是因为表上的索引，所以我删除了我在该表上创建的非聚集索引，并尝试重新运行查询
浏览 0提问于2017-03-22得票数 2
回答已采纳
1回答
当我从两个连接的表中选择列时，将获得一个巨大的内存授权(529808)。如果我分别查询每个表列，则其合并内存授权仅为8008。📷📷📷
浏览 0提问于2021-11-17得票数 5
回答已采纳
1"))ori.join(date,joinExpression).show()
第一个联接可以工作
浏览 0提问于2018-09-28得票数 0
回答已采纳
1回答
[fkItemId] OPTION (FORCE ORDER);第三种方法：，我不清楚，查询是如何工作的，包括OPTION和loop join!!？注意:这些是，而不是嵌套或哈希循环！
浏览 7提问于2015-04-22得票数 12
回答已采纳
1回答
我对这个屏幕截图中的前两个排序很感兴趣。列uniqid#2509在这两种排序中。是否进行排序从第二种排序中获益或者对列uniqid#2509排序</em
浏览 1提问于2019-08-22得票数 0
假设表A、B、C分布在文本列A.C1、A.C2、B.C3、B.C4、C.C5和C.C6上，我们有以下联接。
浏览 4提问于2015-02-10得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
