Presto集群部署

前言：

　　随着大数据的普及，大部分企业的大数据查询与统计渐渐出现瓶颈。虽说存储方面有分布式的HDFS,HBSE,MongoDB等可以应对，但是面对千万级别（1x10^7）界别的数据量查询时，以上组件也不免显得力不从心。正因此，分布式查询引擎应运而生。而基于内存查询的分布式查询引擎--Presto正是其中之一。很多人都说现代计算机技术的发展都是拼开源，拼社区。而Presto的社区也不小，国际化的Facebook，也有国内电商大头京东。正因此，在经过实际尝试与测验之后决定简要地介绍一下presto的部署方式，希望能给有需要的朋友提供一些参考。

1. Presto集群部署架构图

2.安装步骤

step1:系统环境准备：

1）JDK8

2）Hadoop2.x

step2:软件准备

presto-server-0.191.tar.gz

下载地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.191/presto-server-0.191.tar.gz

$ wget http:xxxx/a-b-xxx.gz

$ tar -zxvf http:xxxx/a-b-xxx.gz

$ ln -s a-b-xxx presto-server

step3:新建文件目录

$PRESTO_INSTALL_HOME=/opt/prestodb

$PRESTO_INSTALL_HOME下面新建2个目录：

presto_data

presto_server

step4:在presto_server添加配置文件

$mkdir etc

$find

./jvm.config

./catalog

./catalog/hive.properties

./catalog/jmx.properties

./node.properties

./config.properties

./log.properties

①　catalog/jmx.properties配置内容：

②　catalog/hive.properties配置内容：

注意：

connector.name配置的是当前集群的hadoop版本，默认”hive-hadoop2”即可

hive.metastore.uri=hive元数据服务地址

hive.config.resources=core-site.xml和hdfs-site.xml的配置文件路径

③　jvm.config

④　node.properties

注意：

node.id全局唯一，建议用本机的ip最后2位结尾

node.data-dir配置的数据目录需提前创建

⑤　log.properties

⑥　config.properties

主节点：

从节点：

step5:启动测试

进入目录

$ cd presto-server

启动方式1:阻塞式启动

$ bin/launcher run

启动方式2:非阻塞式（后台）启动

$ bin/launcher start

step6：web界面访问

附录

1.官网的安装说明 https://prestodb.io/docs/current/installation/deployment.html

2.客户端连接测试

step1:下载jar包并创建快捷方式

$ wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.191/presto-cli-0.191-executable.jar

step2:连接服务

$ ln -s presto-cli-xxx.jar presto

$ ./presto --server server-ip:port --catalog hive --schema default