我们在一个大小约为5 TB的表/视图上运行一个简单的查询。我们正在执行ETL，最后通过添加分区将数据添加到核心表中。但是，由于我们正在处理的数据量很大，查询会产生4000+映射器和1000+缩减程序。对于40+ mins，也会运行查询。 如何提高/reduce资源利用率？查询： insert
浏览 9提问于2019-01-09得票数 1
回答已采纳
我已经问了一些关于提高配置单元查询性能的问题。其中一些答案与映射器和缩减程序的数量有关。我尝试使用多个映射器和减法器，但在执行过程中看不到任何差异。不知道为什么，可能是我没有按正确的方式做，或者我错过了其他的东西。它需要太多的
浏览 0提问于2012-05-11得票数 6
回答已采纳
我有一个包含255列的hive外部表，它的输入数据大小约为25 GB。这是使用Hadoop-1.2.1和hive-0.11.0设置的单节点集群。单节点机器的内存为1TB。我们将非常感谢您在这里提供的</
浏览 0提问于2016-12-15得票数 0
我正在寻找一些文档来理解hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode之间的区别。我们什么时候需要设置这些参数，这些参数的用途是什么？hive.exec.max.dynamic.partitions=500
hive.exec.max.dynamic.partitions.pernode=500
浏览 56提问于2020-04-14得票数 3
回答已采纳
3回答
我从Hive创建了一个HBase表，并试图对其进行简单的聚合。这是我的蜂巢查询：select col1, count(1) 地图减少作业只产生两个映射器，我想增加这一点。使用简单的地图减少作业，我将配置纱线和映射器内存，以增加映射器的数
浏览 0提问于2015-05-13得票数 9
我才知道，如果你只专注于不同的行为映射器和缩减器，性能就会得到改善/改变。但我还没玩过它直到。直到不，我只是在玩Hive，并使用默认的映射器和缩减程序执行查询？根据我对mapper和reducer的了解，我担心如何设置mapper和reducer的值，以使性能有所不同。我也在想，是只需要设置为主节点，
浏览 0提问于2012-05-08得票数 0
回答已采纳
1回答
我正在使用配置单元在一个表上运行查询。我的表由8个整型字段和大约1000行组成。表单的查询reducers=1的数量、mappers=1的数量最奇怪的是，当我使用mapred.job.tr
浏览 0提问于2013-05-29得票数 1
2回答
配置单元数组类型的求和值
、、、、
Hive有一个非常好的数组类型，在理论上非常有用，但在实践中，我发现关于如何使用它进行任何类型的操作的信息很少。我们将一系列数字存储在数组类型列中，并需要在查询中对它们求和，最好是从第n个元素到第m个元素。是否可以使用标准HiveQL，或者是否需要自定义框架或客户映射器/缩减程序？注意:我们在EMR环境中使用的是Hive 0.8.1。
浏览 0提问于2012-09-12得票数 7
回答已采纳
1回答
猪窝Hbase的不同之处
、、、
我是hadoop技术的新手。我正在尝试弄清楚这些Pig Hive和Hbase用于哪种类型的数据(结构化、非结构化、半结构化)？
在哪种情况下使用哪种工具更有效？
浏览 3提问于2015-01-05得票数 0
我正在分析Hadoop MapReduce作业中的大量文件，输入文件为.txt格式。我的映射器和缩减程序都是用Python编写的。但是，我的映射器模块需要访问外部csv-file的内容，该文件基本上只是一个很大的表，用于查找映射器正在执行的转换的引用值。到目前为止，我只是让映射器将文件从本地目
浏览 0提问于2011-07-22得票数 0
2回答
我想将一个大表(超过1500万条记录和700个列)从一个Hive数据库传输到另一个Hive数据库，其中包括几个转换，比如在date列上使用一个强制转换()，在string列上使用substr，以及使用一个简单的所以，就像这样：SET hive.exec.dynamic.partition=true;SET hi
浏览 6提问于2017-12-18得票数 3
2回答
我在hive中有一个单独但很大的表，它几乎总是使用主键列(比如employee_id)进行查询。这个表真的很大，每天插入数百万行，我想使用这个字段上的分区来快速查询。和我都知道分区只适用于基数较低的字段，那么如何使用employee_id列实现快速查询的目标呢？
我知道具有非常高基数的id列应该用作分组表，但它不能帮助我在单个表上的查询<
浏览 1提问于2018-01-17得票数 3
1回答
阅读此页面后：
我想知道-这是否意味着在EMR4.x版本中从配置单元写入S3将比5.x版本更快？有人能解决这个问题吗？
浏览 0提问于2017-03-21得票数 2
1回答
根据Hive的文档，如果表T1和T2按相同的列进行存储和排序，那么当我们这样做时不应该创建任何缩减程序，而应该只创建映射器但是，我的情况略有不同。我在T1中有列C1和C2，在T2中有C1和C3。，因此我将代码更改为
insert overwrite tabl
浏览 4提问于2017-07-29得票数 1
1回答
我有一个用例，其中我有3072个gz文件，在这些文件上我正在构建一个配置单元表。现在，每当我对这个表运行查询时，查询就会产生3072个映射器，大约需要44分钟才能完成。早些时候，在384个文件中存在相同的数据(即相等的数据大小)。同样的查询只花了大约9分钟。
我在网上搜索，我发现映射器的数量是由i/p数据的“分割”数量决定的</
浏览 1提问于2016-04-02得票数 2
有几个地方说Hadoop作业中的reducers的默认数量是1。您可以使用mapred.reduce.tasks符号手动设置reducers的数量。当我运行一个Hive作业(在Amazon EMR，AMI 2.3.3上)时，它有一些大于1的reducers。看看作业设置，我猜是mapred.reduce.tasks设置了一些东西。它是如何选择这个数字的？...
Number of reduc
浏览 4提问于2013-04-25得票数 17
回答已采纳
2回答
所有人:我正在寻找有更多知识的人来检查我对蜂巢和火花的理解 我一直在研究不同的大型数据库解决方案，我试图了解Hive和Spark在执行方面的差异。当我在Spark中运行查询，在它们通过优化器之后，似乎最大的好处是在最早的时候只从源中选择相关的表数据。因此，如果我在最终答案中只需要Table1.column(A，B，C)，但告诉系统在(Table1.A=Table2
浏览 44提问于2021-04-09得票数 0
回答已采纳
1回答
我能够将hdfs中的文本文件读取到apache crunch管道中。但现在我需要读取蜂窝分区。问题是，根据我们的设计，我不应该直接访问该文件。因此，现在我需要一些方法，通过它我可以使用HCatalog之类的东西访问分区。
浏览 4提问于2014-10-20得票数 1
我从中了解到，hadoop中的减少任务包含三个步骤:洗牌、排序和减少排序(在此之后，约简)只能在所有映射器完成后才能启动。是否有方法开始排序并减少每次映射器完成时的次数。例如，我们只能使用映射器、mapperA和mapperB以及两个减速器来完成一项任务。我想做的是：
洗牌复制映射器的适当分区，如输出所示，可以
浏览 5提问于2013-05-22得票数 4
回答已采纳
我是hadoop yarn的新手，希望reducers在完成所有地图之前开始实际的缩减过程。我试图找出调用缩减程序的类，但找不到。在这方面，有没有人可以帮我？
浏览 1提问于2015-07-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
