1回答
我有一个包含呼叫数据记录(CDR)的配置单元表。我在电话号码上对表进行了分区，在call_date上对表进行了存储桶操作。现在，当我在hive中插入数据时，过时的call_date会在我的存储桶中创建小文件，这会导致名称节点元数据增加和性能降低。有没有办法把这些小文件合并成一个。
浏览 26提问于2019-09-16得票数 1
回答已采纳
1回答
我有丰富的经验处理Hive分区表。我使用Hive2.x，我面试了一个大数据解决方案架构师的角色，我被问到了以下问题。
问题：，您将如何在按日期分区的Hive表中摄取流数据？流数据首先存储在S3桶中，然后加载到Hive中。虽然S3桶名有一个日期标识符(如S3_ingest_YYYYMMDD )，但内容可能有超过一个日期的<
浏览 1提问于2019-12-21得票数 1
回答已采纳
1回答
蜂箱汤匙和水桶
、、
我现在正在学习桶，我的任务是创建一个由2个桶组成的Hive表，然后将至少5条记录放入该表中。我不知道的是以下内容--我必须运行这个查询：当我运行它时，它返回0行，我不知道为什么我试着在网上查一下，但没有找到确切的答案。如果我用表中的其他字段替换id，它将返回桶中
浏览 4提问于2020-04-13得票数 1
回答已采纳
3回答
我正在连接Hive中的两个大表(一个超过10亿行，一个大约1亿行)，如下所示：我已经以相同的方式对这两个表进行了存储桶操作，根据id将每个表聚集为100个存储桶，但是查询仍然需要很长时间。
浏览 4提问于2013-11-26得票数 15
回答已采纳
像下面的代码一样，将一个dataframe插入一个hive表中。配置单元的输出hdfs文件包含太多小文件。如何在保存到配置单元时合并它们？myDf.write.format("orc").partitionBy("datestr").insertInto("myHiveTable")
当有100个任务时，它将产生100个小文件。在数据帧上使
浏览 11提问于2016-08-29得票数 1
3回答
我试图将数据插入创建大量小文件的动态分区表中，我在下面设置了单元格属性，但我仍然可以看到分区文件夹中的小文件，每个任务的大小或avgfile大小似乎都适合我，因为分区文件夹中的文件高于我给出的每个任务的大小任何帮助都将非常感谢hive.merge.mapfiles=true; hive合并mapredfiles = true <
浏览 3提问于2016-04-05得票数 3
回答已采纳
1回答
我想使用以下选项执行排序-合并连接，如配置单元手册()中所述set hive.optimize.bucketmapjoin = true;两个表都必须在join列上进行存储和排序。我的问题是-
浏览 2提问于2013-07-11得票数 1
回答已采纳
1回答
我使用下面的查询创建了一个单元表，并使用下面提到的第二个查询，每天将数据插入到这个表中。TP_Active' THEN 1 ELSE 0 END ) ,fromgroup by ;
问题是，当我的insert查询每天执行时，它基本上会在hadoop中创建一个新文件。hive.enforce.sortmergebucketmapjoin=
浏览 0提问于2018-03-19得票数 0
回答已采纳
属性设置为true；设置hive.enforce.bucketing=true；将数据本地inpath '/home/mainnode/u.user‘加载到表userinfobucketed中；
Que
浏览 0提问于2014-12-11得票数 1
1回答
在Bucketing中，存储桶文件是在配置单元的哪个阶段创建的？( country)row format delimitedstored as textfile ;
如果我有20个存储桶，只有4行，将创建多少个文件？
浏览 0提问于2017-02-28得票数 0
当我执行以下查询时，我只得到一个文件作为输出，尽管我有8个映射器和0个减法器。
create table table_2 as select * from table_1.在table_2的位置上只有一个文件，不应该有8个文件，因为我们有8个映射器和0个减速器。
浏览 2提问于2017-11-13得票数 0
回答已采纳
2回答
我对蜂巢中的扣环有一个疑问。我已经创建了一个临时表，该表在列关键字上存储桶。当我检查这个表的基目录时，它显示了前缀为part_*的文件名。但是，当我通过另一个表手动将数据插入到这个表中时，我
浏览 1提问于2018-08-02得票数 5
3回答
以下是已经实现的
到目前为止一切都很顺利。我面临的问题只有一个，当我的应用程序将数据插入到Hive表中时，它创建了包含每个文件行数据的小文件。Kafka使用者循环通过处理每一行中<e
浏览 5提问于2015-08-19得票数 3
2回答
蜂箱和分区
、、
我们应该根据什么来缩小范围，无论是使用分区还是在蜂巢中的一组列上使用桶？假设我们有一个庞大的数据集，其中有两个列是最常被查询的--所以我很明显的选择是基于这两列创建分区，但如果这会导致在大量目录中创建大量的小文件，那么基于这些列对数据进行分区是一个错误的决定，并且可能是一个更好的选择我们是否可以定义一种方法，我们可以用它来决定我们应该采用的是<e
浏览 3提问于2015-12-04得票数 0
回答已采纳
3回答
我将有多个大小约为10 or的小文本文件，弄不清楚这些文件在HBase或HDFS中的存储位置。什么是优化的存储？因为要存储在HBase中，我需要先解析它，然后根据某个行键保存它。在HDFS中，我可以直接创建一个路径并将该文件保存在该位置。但是直到现在，不管我读到了什么，它都说你不应该有多个小文件，而应该创建更少的大文件。但是我不能合并这些文件，所以我不能用小文件创建</em
浏览 6提问于2016-06-23得票数 0
回答已采纳
1回答
在确保利用Hive表中的排序数据时，我遇到了一些困难。(使用ORC文件格式)CLUSTERED BY (trade_id) SORTED BY (trade_id, time) INTO 8 BUCKETS这意味着每次我对这个表进行查询时，数据都会通过trade_id在不
浏览 1提问于2018-08-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
