MapReduce的jobHistory介绍

大数据梦想家

发布于 2021-01-22 16:06:17

1.1K0

我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。JobHistoryServer会记录已运行完的MapReduce信息到指定的HDFS目录下,默认是不开启的!

接下来小菌将分享如何在CDH集群环境下开启jobHistory服务。(不清楚集群环境搭建的小伙伴们可以参考小菌之前的博客哦(Hadoop(CDH)分布式环境搭建)

第一步：node01修改mapred-site.xml

node01服务器修改mapred-site.xml，添加以下配置 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim mapred-site.xml

<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

第二步：node01修改yarn-site.xml

node01服务器修改yarn-site.xml，添加以下配置 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim yarn-site.xml

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
<!--指定文件压缩类型用于压缩汇总日志-->
<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/export/servers/hadoop-2.6.0/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>

第三步：修改后的文件分发到其他机器上面去

将node01修改后的mapred-site.xml和yarn-site.xml分发到其他机器上面去 node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp mapred-site.xml ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191103222447892.gif) yarn-site.xml node02:$PWD
scp mapred-site.xml  yarn-site.xml node03:$PWD

第四步：重启yarn集群以及启动jobHistoryServer进程

node01执行以下命令重启yarn集群

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/stop-yarn.sh
sbin/start-yarn.sh

启动jobhistoryserver

sbin/mr-jobhistory-daemon.sh start historyserver

第五步：页面访问jobhistoryserver

访问路径: http://192.168.100.100:19888/jobhistory (蓝色部分换成Namenode所在节点的ip) 看到如下效果图则说明jobHistory进程成功开启!

当然,在Namenode所在节点上可以用jps查看当前的所有进程情况

本次的分享就到这里了,喜欢的小伙伴们可以点个赞,加个关注再走吖ヾ(@^▽^@)ノ

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019/11/03 ，如有侵权请联系 cloudcommunity@tencent.com 删除

xml

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度

MapReduce的jobHistory介绍

MapReduce的jobHistory介绍

第一步：node01修改mapred-site.xml

第二步：node01修改yarn-site.xml

第三步：修改后的文件分发到其他机器上面去

第四步：重启yarn集群以及启动jobHistoryServer进程

第五步：页面访问jobhistoryserver

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐