首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    如何在CDH中安装Kudu&Spark2&Kafka

    1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务。...本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2Kafka的过程。...内容概括 Kudu安装 Spark2安装 Kafka安装 服务验证 测试环境 操作系统版本:CentOS6.5 CM和CDH版本5.12.1 使用CM管理员admin用户 操作系统采用root用户操作...回到CM主页,添加Spark2 [4rgmps8v90.jpeg] 4.选择Spark2,点击“继续” [1ol1emp1vo.jpeg] 5.为新的Spark2选择一组依赖,点击“继续” [w5bg2xazwc.jpeg...8.Spark2安装完成 [k40r2xdl2l.jpeg] 4.Kafka安装 4.1Kafka版本选择 Kafka版本 版本特性 最低支持CM版本 支持CDH版本 是否集成到CDH 2.2.x

    5.8K91

    如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业

    --- 前面Fayson介绍了多种方式在CDH集群外的节点向集群提交Spark作业,文章中均采用Spark1来做为示例,本篇文章主要介绍如何是用Oozie API向Kerberos环境的CDH集群提交Spark2...学习本篇知识前必读内容: 《集群安CDH5.12.1装Kudu、Spark2Kafka》 《如何使用Hue创建Spark1和Spark2的工作流》 内容概述: 环境准备 示例代码编写及测试 总结 测试环境.../lib/spark2/examples/jars/spark-examples_2.11-2.1.0.cloudera2.jar /fayson/jars/ hadoop fs -ls /fayson.../jars (可左右滑动) [ruypp0uh3r.jpeg] 这里Fayson使用的Spark2自带的示例来测试。...作业的提交,因此需要先在Oozie的共享库中安装Spark2的支持 在定义Spark2的workflow.xml时,需要增加配oozie.action.sharelib.for.spark的配置为spark2

    3.3K40
    领券