首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

012-Ambari二次开发之组件Zookeeper,Kafka,Hadoop编译

Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。

Zookeeper编译

1. 安装ant,Zookeeper依赖于ANT编译,所以需要安装ant

yum install ant

2. 编译

在这里我们指定的是HDP栈版本,3.4.6.3.0.0.0-1634,编译完的所有文件都在build目录下。

ant clean compile -Dversion=3.4.6.3.0.0.0-1634 -f build.xml

3. 打包

ant package tar -Dversion=3.4.6.3.0.0.0-1634 -f build.xml

我们在编译的时候出现如下错误,解决方法:

sed -i -e 's@AM_PATH_CPPUNIT(1.10.2)@PKG_CHECK_MODULES([CPPUNIT], [cppunit])@' src/c/configure.ac

重新打包

4. 安装到maven仓库中,供其他组件调用

5. 将测试jar包安装到maven仓库中

Kafka编译

1. 安装gradle

kafka编译需要gradle,需要下载并配置环境变量。

2. 切换到kafak源代码目录下并执行 gradle wrapper,第一次执行比较慢,需要下载文件

3. 执行编译

./gradlew -PscalaVersion=2.11 clean install releaseTarGz -x signArchives -Drepo.maven.org=file:///home/zhangxiong/local/repo/ -DskipTests -DrecompileMode=all

Hadoop编译

1. maven 安装

我们使用的是3.3.9 版本,下载地址

https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/

下载完后,解压并设置环境变量。配置完后,可以通过 maven -version验证。

替换为国内源,速度比较快,编辑maven安装路径下的 conf/setting.xml,添加如下内容

2. 安装环境依赖包

yum install gcc gcc-c++ fuse-devel fuse openssl-devel ncurses-devel cmake autoconf automake libtool

3. 编译

mvn -Dsnappy.prefix=x -Dbundle.snappy=true -Dsnappy.lib=/usr/lib -Pdist -Pnative -Psrc -Dtar-Dzookeeper.version=3.4.6.3.0.0.0-1634 -DskipTests -DskipTest -DskipITs -Dtomcat.version=6.0.48 -Dtomcat.download.url="http://192.168.70.52/dependency-packages/apache-tomcat-6.0.48.tar.gz" install

以上就是基于HDP3.0.0站版本的Zookeeper,Kafka,Hadoop的编译,下一篇我们将介绍如何编译Kafka。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180905G18RPY00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券