根据蜂巢模板：但我不明白hive.groupb
浏览 0提问于2018-02-12得票数 2
回答已采纳
3回答
我正在hive中做join操作。但是当减速机达到99%时，减速机就卡住了。
然后我发现表中有不对称的数据。例如。在表A中有100万个数据，表B有10k个only.In，表A连接的列有80%的值是相同的，其余的值是其他的。所以减蜂器固定在那个值上。如何对这类数据进行连接操作？
浏览 2提问于2016-03-22得票数 1
1回答
我使用oozie协调器运行了10个hive脚本，它在reduce阶段的一个脚本中以相同的百分比被卡住，没有任何错误，这些脚本是简单的insert语句，我在命令行上测试了它们，它们工作正常，我如何调试它？
浏览 0提问于2013-09-22得票数 0
我们有一个要求，从一个非分区的work_db.customer_tbl外部蜂窝表通过PySpark从一个分区的外部的蜂巢表通过PySpark摄取数据，以前是通过hive查询完成的。因此，我们有一个简单的PySpark脚本，它使用一个插入查询(与前面使用的单元查询相同)来使用spark.sql()命令摄取数据。但是，我们有一些严重的性能问题，因为我们在摄入后试图摄入的表大约有3000分区，和每个分区大约有4MB的数据，除了最后一个分区大约4GB。总表大小接近15 is。
浏览 2提问于2021-03-25得票数 0
1回答
我正在尝试创建一个倾斜的表，但它显然不起作用。2019, month = 10, day=05, hour=18)select查询返回国家名称和一些相关的字符串数据因此，根据我在“country”列上指定的倾斜方式，我期望insert语句会导致为美国和巴西创建单独的目录( select查询会以USA和巴西的形式返回足够多的国家行)，但这显然没有发生。我看到hive创建了一个名为'HIVE_DEFAULT_LI
浏览 1提问于2019-10-06得票数 0
1回答
INFO : 2015-09-10 09:51:43,209 Stage-1 map = 100%, reduce = 99%, Cumulative CPU 437512.26 sec output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutp
浏览 0提问于2015-09-10得票数 2
1回答
蜂箱倾斜连接问题
、、
1.何时使用公共联接来处理数据，因为只有在设置blow属性之后才能看到map联接。hive.optimize.skewjoin=true;set hive.mapjoin.smalltable.filesize=2; 集
2.为什么不倾斜连接与左连接？
浏览 2提问于2019-11-15得票数 0
1回答
我是spark的新手，正在尝试理解如何在spark中处理倾斜的数据。我已经创建了两个表employee和department。员工对其中一个部门的数据进行了倾斜。SparkSession.builder.appName("skewTestSpark").config("spark.sql.warehouse.dir",
'/user/hive
浏览 24提问于2020-09-06得票数 1
1回答
我正在Hortonworks 2.6.5上处理一个大小约为3TB的大型数据集，该数据集的布局非常简单。数据的层次结构如下： -Warehouse -Product Type我们在上面的层次结构中有30个国家的交易数据，每个国家都有超过200个仓库，单个国家美国贡献了整个数据集的75%左右。问题：
1)对于每个仓库的上述数据集，我们有事务日期列(tra
浏览 18提问于2019-08-01得票数 2
2回答
蜂巢左外连接长时间运行
、、、、
Hortonworks HDP 2.3.0 -蜂巢0.14T1 left outer join on t2 ( t1.col3 = t2.col3FYI -如果T2的数据大小为9k或1GB，则查询完成。
浏览 1提问于2016-05-23得票数 2
2回答
我有一个性能问题，在分析了Spark之后，我发现了数据的倾斜性：
一开始我认为分区分布不均匀，所以我分析了每个分区的行数，但这似乎很正常(没有异常值)：hive_query = """SELECT ...FROM <multiple joined hive tables>"""
df = sqlContext.sql(hive_query).c
浏览 1提问于2021-04-16得票数 3
回答已采纳
一些背景信息：[09:05:53] [INFO] [dku.utils] - INFO : set hive.exec.reducers.bytes.per
浏览 0提问于2018-06-27得票数 7
回答已采纳
1回答
向左连接的蜂箱倾斜缓解
、、、、
我有一个典型的影响左外连接性能的倾斜问题(左表“大”，右表“小”)。倾斜的键主要是空的(很长的路)，其次是"keyX“。我尝试过几种不同的方法：
在我发现的几篇文章中引用的“关键盐析”技术非常有用(3x-4倍的速度)！我刚刚注意到一个非常有希望的特性，您可以在其中使用并使用它来生成一个倾斜的优化执行计划。在回到选项
浏览 2提问于2021-02-18得票数 1
有三个问题针对关于Hive斜连接优化的一些细节：在中，我们了解了关于蜂巢倾斜连接优化的基本思想。但是有一些细节困扰着我：在A.id = B.id上从A连接B中选择B.id默认设置为: hive.skewjoin.key= 100000，它通常太小，不适合实际查询。是否可以根据JVM堆大小和斜交表的总行数动态确定斜连接的触发条件？
浏览 4提问于2014-07-18得票数 1
2回答
斜窗口函数&蜂巢源分区？
、、、、
我正在通过星火读取的数据是高度倾斜的蜂巢表与以下统计数字。spark.conf.set("spark.sql.files.maxPartitionBytes")，处理这个扭曲的蜂巢源的最佳方法是什么？我想避免.repartition()在阅读，因为它增加了另
浏览 1提问于2019-06-24得票数 3
总计1TB HDD空间3数据节点Hadoop版本2.7现在，我启动了一个查询，它连接所有15个表，并在最后一个平面表中选择我需要的列。预计记录将超过15亿。
我已经优化蜂巢，纱，MapReduce引擎，即。从20小时开始，这个查询就在集群/ Hive / Tez上运行&在最后一个还原器运行的地方，它达到了90%。90%的比
浏览 1提问于2016-04-16得票数 1
回答已采纳
1回答
我正在使用PySpark和Hive开发一个星火集群。对临时表进行tablecheckpoint 保存，然后将数据存储在右上。bananaDF = spark.sql("select * from banana")
// hundr
浏览 0提问于2020-08-25得票数 0
3回答
顺便说一句，Hive 0.12+引入了一种名为timestamp的新数据类型。mismatched input 'CHANGE' expecting KW_EXCHANGE near 'mytest' in alter exchange partition
我确信这是因为我的字段名与数据类型名称相同
浏览 1提问于2014-05-01得票数 4
我遇到了倾斜数据问题，所以我尝试设置hive.groupby.shewindata参数来优化它，如下所示
我这里的小纸片..。Hive版本: V2.0.0当我尝试时，我得到了以下错误：
SLF4J:类路径包含多个SLF4J绑定。org.slf4j.impl.Log4jLoggerFactory 2016-12-28 21:07:10,902警告主conf.HiveConf (HiveConf.java:
浏览 2提问于2016-12-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
