1回答
我的要求是将现有的每小时分区合并到所有日期的每日分区。我的分区列如下： 2019_06_22_00, 2019_06_22_01, 2019_06_22_02, 2019_06_22_03..., 2019_06_22_23 => 2019_06_22
2019
浏览 50提问于2019-06-25得票数 1
回答已采纳
试图找出一种方法来回填ds分区Hive表的分区。我想做的是提供一个不同DS的.txt文件，并为每个DS运行一个新的作业。$HIVE_HOME/bin/hive -e &
浏览 1提问于2016-06-27得票数 0
回答已采纳
1回答
一个典型的问题是一个配置单元分区是否可以由多个文件组成。我的问题是相反的。多个配置单元分区可以指向同一个文件吗？我将从我的意思开始，然后是用例。Hive中。/file/location/20120402/file1.tsv但是我们希望所有现有的<e
浏览 0提问于2014-05-28得票数 1
1回答
我在Hive中加载一个按日期分区的表。它目前包含了大约3年的记录，因此大约有900个分区(即365*3)。这一切都很好，但是我注意到实际编写分区</em
浏览 0提问于2015-03-06得票数 0
我们有大量相对较小的传入文件用于分析，所有这些文件在可用列上都有细微的变化。我们正在将它们转换为avro格式，并跨所有数据文件维护一个主联合模式文件。然后，我们创建一个HIVE表，并将其公开以供查询。
我不禁觉得这张照片有些地方不对劲。查询如何能够识别要访问哪些单个文件或哪些文件来获取任何小数据子集？它不是要求每个查询都读取每个文件并搜索查询的数据吗？这似乎非常低效。一种选择是开始合并这些文件，但即使文件大小与Hadoop块大小完全相同，我们也会有大量文件。现在，我有了关于每个文件内容的完整信息。它们是通
浏览 0提问于2016-04-09得票数 0
1回答
我正在尝试用HiveQL翻译不同的PL/SQL脚本。但是，其中一个脚本给我带来了一些问题。下面是我的PL/SQL脚本： MERGE INTO KPI.THM_CA_R
浏览 0提问于2013-06-25得票数 1
如何将记录追加到已有的分区Hive表中？例如，我有一个名为"ip_country“的现有外部表，而dataset是testdata1。如果数据集增长，比如我第二天的数据集是testdata1和testdata2，那么如何将新数据，即"testdata2“附加到"ip_country”配置单元表中。
浏览 0提问于2015-05-13得票数 5
回答已采纳
我已经在S3中以正确的分区格式存在已存在的Parquet文件。use hive.default;
select * from "mytable$partitions"
浏览 1提问于2018-11-13得票数 1
回答已采纳
2回答
如何将分区添加到现有的未分区的Iceberg表中？表已经装载了数据。创建了以下表：import org.apache.iceberg.catalog._
import org.apache.iceberg.spark.SparkSchemaUtil
浏览 6提问于2020-03-11得票数 3
2回答
自动更新蜂巢视图日
、、、
我需要对从DB到Hive的数据进行sqoop。因为这个数据每天都更新，所以我每天都在进行数据处理。
这些数据将用于查找火花使用者的数据，以便进行充实。我们希望保存我们收到的所有数据的历史记录，但是我们不需要所有的数据来查找最新的数据(同一天)。我想从历史表创建一个蜂巢视图，只显示当天插入的记录。是否有一种方法可以使视图每天自动化，以便视图查询始终拥有最新的数据？
浏览 0提问于2019-08-05得票数 2
回答已采纳
2回答
下面是表的create语句： `id` int(11) NOT NULL AUTO_INCREMENT, PARTITION pUnknown VALUES LESS THAN MAXVALUE ENGINE = InnoDB) */;
对此表运行的最常见查询为AND Time BETWEEN 'xxxx-xx-xx xx:xx:xx' AND 'xxxx-xx
浏览 3提问于2018-01-17得票数 0
1回答
EMR作业，它将S3中的原始JSON转换为ORC，并为雅典娜的摄入编写路径分区约定(上面)。在EMR作业完成后，我运行msck repair table，这样雅典娜就可以获得新的分区。我有三个相关的问题：
msck repair table可以超时。是否可以在数据管道中迈出一步，继续运行此命令，直到它成功完成为
浏览 4提问于2017-03-16得票数 5
1回答
我有一个Kinesis Firehose摄取数据的设置，AWS Lambda执行数据转换并将传入数据放入S3存储桶中。S3结构是按年/月/日/小时/Messages.json组织的，所以我查询的所有实际json文件都是‘小时’级别的，所有年、月、日目录都只包含子目录。我的问题是，我需要运行一个查询来获取给定日期的所有数据。有没有一种简单的方法可以在'day‘目录级别查询并返回子目录中的
浏览 23提问于2020-06-25得票数 0
我选择了“引导分区”，并为Ext4日志文件系统创建了一个30 on的主分区，为格式分区设置了"yes，格式化它“，并将可引导标志设置为on。我打算使用这个30g分区来保存ubuntu服务器，并允许我从它启动。
现在我有了另外两个分区。可引导标志仅在主分区上有用”)。更令人担忧的是，它说“在这个分区中没有检测到任何现有的文件系统”。实际上，我认为这是应该保持我目前的
浏览 0提问于2012-10-18得票数 0
1回答
如何从单元中现有分区合并小文件？
、、、、
如何将现有的分区小文件合并为分区中的一个大文件。它会给出如下的结果BB BBB 20170201
基于上面的表，我希望将所
浏览 5提问于2017-02-07得票数 1
因为我想在不松开Windows 7配置的情况下尝试Ubuntu，所以我在Windows 7中安装了Ubuntu的Wubi版本。由于Ubuntu和我的硬盘空间非常有限，所以我想让Ubuntu成为这台机器上唯一的操作系统。所以我的问题是：
是否可能在我的实际配置之外安装Ubuntu11.04(武比和Windows 7)？如果Ubuntu的本机安装结果也很好，那么以后从我的系统中删除Wubi和Windows 7呢？为什么我
浏览 0提问于2011-06-04得票数 2
回答已采纳
2回答
我正在编写一个ETL进程，我需要每小时读取一次日志文件，对数据进行分区，然后保存它。我正在使用Spark (在Databricks中)。日志文件是CSV，所以我读取它们并应用模式，然后执行转换。我的问题是，如何将每个小时的数据保存为拼图格式，并附加到现有的数据集？保存时，我需要按数据帧中存在的4列进行分区。如果目标不存在，那么我不会附加我的文件。
我尝试过使用.mode("append&q
浏览 0提问于2016-01-22得票数 18
1回答
我们使用Hive分析日志数据，并将聚合结果存储在S3上的每日分区文本字段中(让我们称它们为“粗”聚合)。这些聚合结果相当小(每天不超过几MB )，我们有一个Javascript仪表板来加载和可视化这些数据的某些方面(让我们称之为“细粒度”聚合)。A)我们可以在蜂巢中生成所有的“细粒度”聚合。然而，在蜂巢中对这些小数据集进行操作需要很长时间。
B)我们可以在S3和Javascript之间引入一个“快速访问层”，可以运行S3查询。您推荐什么样的</
浏览 1提问于2015-05-04得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
