Hive仅在FROM子句中支持子查询（从Hive 0.12版本开始）。必须为子查询指定名称，因为FROM子句中的每个表都必须具有名称。子查询 SELECT 列表中的列必须具有独一无二的名称。子查询 SELECT 列表中的列可以在外部查询中使用，就像使用表中的列一样。子查询也可以是带 UNION 的查询表达式。Hive支持任意级别的子查询。
使用Apache Hive，您可以查询包括Hadoop数据在内的分布式数据存储。
Hive是一种基于Hadoop的数据仓库软件，可以将结构化数据文件映射为一张数据库表，并提供了类SQL查询接口，使得用户可以使用SQL类语言来查询数据。Hive可以处理包括文本、CSV、JSON、ORC和Parquet等格式的数据文件，支持数据的导入、导出、转换等操作。Hive可以在Hadoop集群上运行，利用Hadoop的分布式计算能力，可以处理大规模的数据集。
作者｜梁堰波 感谢“明略数据”的投稿，只要是“干货”大数据文摘就愿意发表，也欢迎各位读者参与评论，点击文末右下角“写评论”即可。 在批处理时代，Hive一枝独秀；在实时交互式查询时代，呈现出的是百花齐放的局面。Hive onTez, Hive on Spark, Spark SQL, Impala等等，目前看也没有谁干掉谁的趋势。引用今年图灵奖得主Michael Stonebraker的话说，现在的数据库领域已经不是”one size fit all”的时代了。那么面对这么多系统，我们改如何选择呢？这里谈谈
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。
面对这些问题，我们能有哪些有效的优化手段呢？下面列出一些在工作有效可行的优化手段：
1.概述 在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。
Hive性能优化 1.概述 继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,
但在Hive中使用全局排序时，需要注意，Hive会将所有数据交给一个Reduce任务计算，实现查询结果的全局排序。所以如果数据量很大，只有一个Reduce会耗费大量时间。
该文介绍了如何去除重复数据的方法，分为完全重复和部分重复。对于完全重复，使用distinct关键字去重；对于部分重复，使用子查询和row_number()分析函数。这些方法适用于不同的数据库系统，如Oracle、MySQL和Hive。
1.in 不支持子查询 eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src where key in(1,2,3,4,5); in 40000个 耗时25.766秒 in 80000个 耗时78.827秒 2.union all/union 不支持顶层的union all eg. select key from src UNION ALL select key from test; 支持select * from (select key from src union all select key from test)aa; 不支持 union 支持select distinct key from (select key from src union all select key from test)aa; 3.intersect 不支持
由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异，因此，传统数据库领域的一些技能放到 Hive 中可能已不再适用。关于 hive 的优化与原理、应用的文章，前面也陆陆续续的介绍了一些，但大多都偏向理论层面，本文就介绍一个实例，从实例中一步步加深对 hive 调优的认识与意识。 1、需求 需求我做了简化，很简单，两张表做个 join，求指定城市，每天的 pv，用传统的 RDBMS SQL 写出来就这样的： SELECT t.statdate, c.cnam
离线数据分析平台实战——130Hive Shell命令介绍 02（熟悉Hive略过） 导入数据 Hive的导入数据基本上可以分为三类， 第一种是从linux系统上导入数据到hive表中， 第二种是从hdfs上导入数据到hive表中， 第三种是从已有的hive表中导入数据到新的hive表中。 其中第一种和第二种语法基本类似； 在前面介绍的使用create table ... as... 命令创建表并导入数据，也属于第三种导入数据方法。 使用前两种方式导入数据，只是复制或者移动数据文件，并不会对数据的
Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。
hive sql系列主打sql，通过案例，从实现到分析，帮助大家找到写sql的快乐
作者：dcguo 使用 sql 做数仓开发有一段时间了，现做一下梳理复盘，主要内容包括 sql 语法、特性、函数、优化、特殊业务表实现等。 mysql 数据结构 常用 innodb 存储为 B+ 树 特点 多路平衡树，m 个子树中间节点就包含 m 个元素，一个中间节点是一个 page(磁盘页) 默认 16 kb； 子节点保存了全部得元素，父节点得元素是子节点的最大或者最小元素，而且依然是有序得； 节点元素有序，叶子节点双向有序，便于排序和范围查询。 优势 平衡查找树，logn 级别 crud； 单一节点比二
大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典SQL题，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。
如今的企业内部一般都有多个系统用于数据存储和数据处理。这些不同的系统各自服务于不同的应用场景或案例。除了传统的RDBMS如Oracle DB，Teradata或PostgreSQL之外，团队可能还使用了Apache Kafka用作流式处理，使用Apache Druid来保存时序数据，使用Apache Phoenix进行快速索引查找。此外，他们可能还使用了云存储服务或HDFS来批量存储数据。
有以下数据集C，表查询结果如下图所示，设置该表为表：test_month_amount。
如上图的数据集c和e，某医院系统卖给患者阿莫西林X数量后去下购进记录的库存，购进记录可能是零散的。
感谢阅读「美图数据技术团队」的第 16 篇原创文章，关注我们持续获取美图最新数据技术动态。
作为结构化查询语言 SQL 的语法相对于其他编程语言非常简单，常用的关键字也就几个，完成同样的统计功能，SQL 代码量较少，我们很容易将 SQL 代码映射到二维表中的数据，SQL 不同操作的代码其实就是对应着二维表的不断变换。由于SQL语句学习简单，表达能力强，上手容易的有点，所以在数据处理中SQL语句就成为了最通用的和最优先考虑处理方式。在大数据中 SQL 应用主要分两种：一种是周期性的统计任务，另一种是分析任务。
本次测试主要是MatrixDB和Hive进行使用国际标准TPCH工具测试，并分别查看22条SQL的耗时。对比MatrixDB与Hive在1204GB数据量下查询性能差异。
hive强大之处不要求数据转换成特定的格式，而是利用hadoop本身InputFormat API来从不同的数据源读取数据，同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源，或者写出不同的格式就需要不同的对应的InputFormat和OutputFormat类的实现。以stored as textFile为例，其在底层java API中表现是输入InputFormat格式：TextInputFormat以及输出OutputFormat格式：HiveIgnoreKeyTextOutputFormat。这里InputFormat中定义了如何对数据源文本进行读取划分，以及如何将切片分割成记录存入表中。而OutputFormat定义了如何将这些切片写回到文件里或者直接在控制台输出。
Hive.png Hive 运行方式 命令行 脚本 jdbc webui 搭建模式 local 单用户模式 远程模式/多用户模式 一般模式 Beeline · 服务器hiveserver2启动 · 客户端beeline连接 HQL 建表（create） 内部表 · hive管理，删除表时源数据消失 外部表 · 非hive管理，删除表时源数据不消失 查看表描述（desc） DML 和sql基本类似，用到查询即可 分区 静态分区 动态分区 分桶 适用场景 抽样 map-join 索引 提高检索性能 SerDe
大家好，我是一哥，今天分享一下Hive如何提升查询效率。Hive作为最常用的数仓计算引擎，是我们必备的技能，但是很多人只是会写Hql，并不会优化，也不知道如何提升查询效率，今天分享8条军规：
当一个大表和一个或多个小表做JOIN时，最好使用MAPJOIN，性能比普通的JOIN要快很多。另外，MAPJOIN 还能解决数据倾斜的问题。MAPJOIN的基本原理是：在小数据量情况下，SQL会将用户指定的小表全部加载到执行JOIN操作的程序的内存中，从而加快JOIN的执行速度。
Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。
Hive 的底层执行引擎有 ：MapReduce，Tez，Spark - Hive on MapReduce - Hive on Tez - Hive on spark
MapJoin 使用限制，必须是join中从表（子查询）数据比较小。所谓从表，及左外连接的右表，或者右外连接的左表。
有以下数据集I，表查询结果如下图所示，设置该表为表：test_user_scan。
hive的建表是有分隔符这一说的，但是如果你的文件比较特殊，可能攘括了各式各样的符号，选择一个或者多分隔符就可能会有问题了。这时候，为了保证数据不被修改，可以考虑ORC file这一个数据格式。具体的介绍如下：https://orc.apache.org/ 如果在应用中大量使用了transform这种数据交互方式，建议使用set timeout=0这种形式，防止应用程序尚未处理完数据，但是map等待的时间到了，误以为这个map失败了重启，kill掉重启。 Hive在服务器性能不够好时，可能需要经常修改参数调
由于最近项目需要和大数据对接，需要了解一下数仓的基本知识，所以记录一下hive的基础原理和使用
Hive是较早的SQL on Hadoop系统，对大数据SQL执行有广泛和深远的影响。它最初由Facebook开发，后来成为Apache软件基金会的一个开源项目。用户可以通过SQL来读取、写入和管理存储在分布式存储系统中的大规模数据集。
Hive可以管理HDFS中的数据，可以通过SQL语句可以实现与MapReduce类似的同能，因为Hive底层的实现就是通过调度MapReduce来实现的，只是进行了包装，对用户不可见。 Hive对HDFS的支持只是在HDFS中创建了几层目录，正真的数据存在在MySql中，MYSQL中保存了Hive的表定义，用户不必关系MySQL中的定义，该层对用户不可见。Hive中的库在HDFS中对应一层目录，表在HDFS中亦对应一层目录，如果在对应的表目录下放置与表定义相匹配的数据，即可通过Hive实现对数据的可视化及查询等功能 综上所述，Hive实现了对HDFS的管理，通过MySQL实现了对HDFS数据的维度管理 Hive基本功能及概念 database table 外部表，内部表，分区表 Hive安装 1. MySql的安装（密码修改，远程用户登陆权限修改） 2. Hive安装获取，修改配置文件(HADOOP_HOME的修改，MySQL的修改) 3. 启动HDFS和YARN(MapReduce)，启动Hive Hive基本语法： 1. 创建库：create database dbname 2. 创建表：create table tbname Hive操作： 1. Hive 命令行交互式 2. 运行HiveServer2服务，客户端 beeline 访问交互式运行 3. Beeline 脚本化运行 3.1 直接在 命令行模式下 输入脚本命令执行(比较繁琐，容易出错，不好归档) 3.2 单独保存SQL 命令到 文件，如etl.sql ，然后通过Beeline命令执行脚本 数据导入： 1. 本地数据导入到 Hive表 load data local inpath "" into table .. 2. HDFS导入数据到 Hive表 load data inpath "" into table .. 3. 直接在Hive表目录创建数据 Hive表类型： 1. 内部表: create table 表数据在表目录下，对表的删除会导致表目录下的数据丢失，需要定义表数据的分隔符。 2. 外部表: create external table 表目录下挂载表数据，表数据存储在其他HDFS目录上，需要定义表数据的分隔符。 3. 分区表：与创建内部表相同，需要定义分区字段及表数据的分隔符。在导入数据时需要分区字段，然后会在表目录下会按照分区字段自动生成分区表，同样也是按照目录来管理，每个分区都是单独目录，目录下挂载数据文件。 4. CTAS建表 HQL 1. 单行操作：array，contain等 2. 聚合操作：(max,count,sum)等 3. 内连接，外连接（左外，右外，全外） 4. 分组聚合 groupby 5. 查询 : 基本查询，条件查询，关联查询 6. 子查询： 当前数据源来源于 另个数据执行的结果，即当前 table 为临时数据结果 7. 内置函数: 转换, 字符串, 函数 转换：字符与整形，字符与时间， 字符串：切割，合并， 函数：contain，max/min，sum， 8. 复合类型 map（key，value）指定字符分隔符与KV分隔符 array（value）指定字符分隔符 struct(name,value) 指定字符分割与nv分隔符 9. 窗口分析函数 10. Hive对Json的支持
Impala各个组件、Sql语句分析步骤，优点缺点
Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。本期内容，我会从一个初学者的角度，带着大家从 0 到 1 学习 Presto，希望大家能够有所收获！
近年来，大数据技术发展迅速，从过去的 Hive、Spark，到现在的 Flink、ClickHouse、Iceberg 等，各种大数据技术推陈出新，不断演进大数据存储和引擎系统的架构，来适应大数据时代的海量数据处理需求。
1Q: 是否有像类似于phpmyadmin一样的hive查询客户端，能以界面的方式查询hive语句和导出数据 A: 有的，客户端的话可以使用squirrel来连接hive，squirrel是一个通用的数据库查询客户端，还有有一个开源项目phphiveadmin也不错， web方式访问hive，这里也有一个hive web client(https://github.com/lalaguozhe/hiveweb-1) 2Q: 执行语句时候，能否控制reducer的个数 A: 可以在执行hiv
通过上述逻辑计划和物理计划可以看出，Spark SQL在对not in subquery处理，从逻辑计划转换为物理计划时，会最终选择BroadcastNestedLoopJoin（对应到Spark源码中BroadcastNestedLoopJoinExec.scala）策略。
GROUP BY 语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。
Hive支持连接表的以下语法： 本文主要讲hive的join 编写连接查询时要考虑的一些要点如下，不同版本支持的情况可能会有些许不同： 1，可以编写复杂的链接表达式，如下 SELECT a.* FR
HiveSQL很常用的一个操作就是关联(Join)。Hive为用户提供了多种JOIN类型，可以满足不同的使用场景。但是，对于不同JOIN类型的语义，或许有些人对此不太清晰。简单的问题，往往是细节问题，而这些问题恰恰也是重要的问题。本文将围绕不同的JOIN类型，介绍JOIN的语义，并对每种JOIN类型需要注意的问题进行剖析，希望本文对你有所帮助。
元数据是关于数据的数据，是对数据的描述，元数据又分为三类：管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据，关于业务元数据和管理元数据等元数据相关知识笔者给出前期文章分享链接，笔者这里不再赘述。
企业级的大数据平台，Hadoop至今仍然占据重要的地位，而基于Hadoop去进行数据平台的架构设计，是非常关键且重要的一步，在实际工作当中，往往需要有经验的开发工程师或者架构师去完成。今天的大数据开发分享，我们就来讲讲，基于Hadoop的数仓设计。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
