首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我对Hadoop2.7感到困惑。运行start-all.sh后,在jps列表中找不到jobtracker和tasktracker,为什么?

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。Hadoop2.7是Hadoop的一个版本,它引入了YARN(Yet Another Resource Negotiator)作为资源管理器,取代了旧版本中的JobTracker和TaskTracker。

在Hadoop2.7中,JobTracker和TaskTracker被YARN中的ResourceManager和NodeManager所取代。YARN的设计目标是提供更好的资源管理和作业调度能力,以支持更多类型的计算框架,而不仅仅是MapReduce。因此,当你运行start-all.sh启动Hadoop集群时,在jps列表中找不到jobtracker和tasktracker是正常的。

在Hadoop2.7中,你可以通过以下命令来查看正在运行的YARN组件:

代码语言:txt
复制
yarn node -list

这将列出所有的NodeManager,表示集群中的各个节点。你还可以使用以下命令来查看正在运行的ResourceManager:

代码语言:txt
复制
yarn rmadmin -getServiceState rm1

其中,rm1是ResourceManager的标识符,你可以根据实际情况进行替换。

总结起来,Hadoop2.7中没有jobtracker和tasktracker,而是使用YARN中的ResourceManager和NodeManager来进行资源管理和作业调度。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 配置Hadoop1.2.1

    1.从Apache官网上下载1.2.1,地址:http://apache.dataguru.cn/Hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz  2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)  3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export Java_HOME=/usr/lib/j2sdk1.5-sun,解注并改成JAVA正确的路径  4.修改core-site.xml。默认只有<configuration></configuration>,需要修改成为:  <configuration>  <property>  <name>fs.default.name</name>  <value>hdfs://master:9000</value>  </property>  <property>  <name>hadoop.tmp.dir</name>  <value>/home/master/hadoop-1.2.1/tmp</value>  </property>  </configuration>  注:要在hadoop下新建tmp文件夹,用于存放临时文件,如果不设置,hadoop默认成/tmp文件夹,这样重启后hadoop就会报错  5.修改hdfs-site.xml.默认只有<configuration></configuration>,需要修改成为:  <configuration>  <property>  <name>dfs.replication</name>  <value>2</value>  </property>  </configuration> 6.修改mapred-site.xml.默认只有<configuration></configuration>,需要修改成为:  <configuration>  <property>  <name>mapred.job.tracker</name>  <value>master:9001</value>  </property>  </configuration> 7.修改masters,改成master(主机名) 8.修改slaves,改成slave1(主机名) 9.切换到root用户下,修改/etc/hosts文件,增加master和slave1的IP  192.168.37.1    master  192.168.37.2    slave1 10.配置完成之后,ping master和ping slave1 11.把master节点下配置好的hadoop复制到slave1节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1 12.修改slave1节点下的/etc/hosts文件和master节点一致  192.168.37.1    master  192.168.37.2    slave1 13.格式化名称节点,即master节点,切换到hadoop目录,执行命令:bin/hadoop namenode -format 14.在正式启动hadoop之前,要把自己的公匙放到authorized_keys,这样自动连自己才会不用输入密码。方法是:  cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。 15.改完之后,ssh master,看看是否还需要密码 16.如果之前已经运行过启动hadoop,但因为14没有做,需要把hadoop的进程杀掉,方法:进行JAVA主目录,  运行./bin/jps命令,看有哪些hadoop的进程在运行,然后用kill -9 11133把屏幕显示的进程杀掉,这样才能顺利的启动。 17.最后启动:bin/start-all.sh 18.检查hadoop是否安装成功:在JDK目录下运行-bin/jps,出现  11002 SecondaryNameNode  10832 NameNode  11076 JobTracker  11237 Jps  说明安装成功

    01
    领券