如果INSERT覆盖的SELECT查询不返回任何结果，是否有一种方法可以防止Hive表被覆盖
如果INSERT覆盖的SELECT查询不返回任何结果，是否有一种方法可以防止Hive表被覆盖
提问于 2017-11-23 00:58:20
我正在开发一个批处理作业，将数据从HDFS文件加载到Hive表中。数据流如下
- 使用外部Hive表读取HDFS中接收的文件
- 使用某些转换从外部hive表中插入覆盖最终的单元表
- 将接收到的文件移到存档
如果在第1步中输入目录中有一个文件供外部表读取，则此流程工作良好。如果没有文件，则外部表将为空，因此执行步骤2将清空最终表。如果外部表为空，则希望将现有数据保留在最后一个表中(上次执行过程中加载的数据)。
是否有一个我可以设置的hive属性，只有当我们用一些数据覆盖它时，才能覆盖最后一个表？
我知道我可以使用HDFS命令检查输入文件是否存在，并有条件地启动Hive请求。但是我想知道我是否能在蜂巢中直接实现同样的行为，这将帮助我避免这种额外的验证。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-11-26 23:34:38
尝试向表中添加虚拟分区，例如LOAD_TAG并使用动态分区加载：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE your_table PARTITION(LOAD_TAG)
select
col1,
...
colN,
'dummy_value' as LOAD_TAG
from source_table;在您的情况下，分区值应该始终是相同的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/47451261
复制相关文章
点击加载更多
相似问题
HIVE: Insert into似乎正在覆盖现有表
插入覆盖表的HIve查询
是否有一种方法可以覆盖`{ }‘对象？
有什么方法可以覆盖select事件吗？
是否有一种方法可以检测到文本而不覆盖它？
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
社区富文本编辑器全新改版！诚邀体验～
全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验
腾讯云开发者
