执行&查询引擎

执行&查询引擎

Hive On Spark

基本概述

Hive支持使用Spark作为底层执行引擎，以获得比MapReduce更快的处理性能。

set hive.execution.engine=spark;

但要注意的是，Hive与Spark整合时，只有特定的Spark版本做过兼容度测试。

所以，搭建此模式时，对于Spark集群版本有一定的要求。而且默认虚拟机内存为1G，运行核数为1Core，需要关闭虚拟机，并将内存提升为2G，运行核数升为2Core，环境才能搭建成功。