Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。
Zookeeper编译
1. 安装ant,Zookeeper依赖于ANT编译,所以需要安装ant
yum install ant
2. 编译
在这里我们指定的是HDP栈版本,3.4.6.3.0.0.0-1634,编译完的所有文件都在build目录下。
ant clean compile -Dversion=3.4.6.3.0.0.0-1634 -f build.xml
3. 打包
ant package tar -Dversion=3.4.6.3.0.0.0-1634 -f build.xml
我们在编译的时候出现如下错误,解决方法:
sed -i -e 's@AM_PATH_CPPUNIT(1.10.2)@PKG_CHECK_MODULES([CPPUNIT], [cppunit])@' src/c/configure.ac
重新打包
4. 安装到maven仓库中,供其他组件调用
5. 将测试jar包安装到maven仓库中
Kafka编译
1. 安装gradle
kafka编译需要gradle,需要下载并配置环境变量。
2. 切换到kafak源代码目录下并执行 gradle wrapper,第一次执行比较慢,需要下载文件
3. 执行编译
./gradlew -PscalaVersion=2.11 clean install releaseTarGz -x signArchives -Drepo.maven.org=file:///home/zhangxiong/local/repo/ -DskipTests -DrecompileMode=all
Hadoop编译
1. maven 安装
我们使用的是3.3.9 版本,下载地址
https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/
下载完后,解压并设置环境变量。配置完后,可以通过 maven -version验证。
替换为国内源,速度比较快,编辑maven安装路径下的 conf/setting.xml,添加如下内容
2. 安装环境依赖包
yum install gcc gcc-c++ fuse-devel fuse openssl-devel ncurses-devel cmake autoconf automake libtool
3. 编译
mvn -Dsnappy.prefix=x -Dbundle.snappy=true -Dsnappy.lib=/usr/lib -Pdist -Pnative -Psrc -Dtar-Dzookeeper.version=3.4.6.3.0.0.0-1634 -DskipTests -DskipTest -DskipITs -Dtomcat.version=6.0.48 -Dtomcat.download.url="http://192.168.70.52/dependency-packages/apache-tomcat-6.0.48.tar.gz" install
以上就是基于HDP3.0.0站版本的Zookeeper,Kafka,Hadoop的编译,下一篇我们将介绍如何编译Kafka。
领取专属 10元无门槛券
私享最新 技术干货