spark2.4.4-CDH6.3.0编译

在之前的文章中描述了Spark+CDH的编译步骤，

spark-2.1.0-bin-2.6.0-cdh5.x源码编译

但是，Spark2.4.4的编译命令和前版本略有区别：

需要去掉hadoop-3.0.0-cdh6.3.0 的 hadoop-前缀，这一步很关键，否则会报找不到

hadoop-client jar包的错误。

./build/mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-cdh6.3.0 -Phive -Phive-thriftserver -DskipTests clean package

image.png

exec: curl --progress-bar -L https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

脚本先下载zinic和scala到build目录下，如果网速感人的话，自己可以把这两个依赖手动下到build目录下

编译成可执行的tgz包：

./dev/make-distribution.sh --name 3.0.0-cdh6.3.0 --tgz -Pyarn -Phadoop-3.0 -Phive -Phive-thriftserver -Dhadoop.version=hadoop-3.0.0-cdh6.3.0

./dev/make-distribution.sh  \
--name 3.0.0-cdh6.3.0 \
--tgz \
-Pyarn \
-Phadoop-3.0 \
-Phive \
-Phive-thriftserver  \
-Dhadoop.version=3.0.0-cdh6.3.0