首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我对Hadoop2.7感到困惑。运行start-all.sh后,在jps列表中找不到jobtracker和tasktracker,为什么?

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。Hadoop2.7是Hadoop的一个版本,它引入了YARN(Yet Another Resource Negotiator)作为资源管理器,取代了旧版本中的JobTracker和TaskTracker。

在Hadoop2.7中,JobTracker和TaskTracker被YARN中的ResourceManager和NodeManager所取代。YARN的设计目标是提供更好的资源管理和作业调度能力,以支持更多类型的计算框架,而不仅仅是MapReduce。因此,当你运行start-all.sh启动Hadoop集群时,在jps列表中找不到jobtracker和tasktracker是正常的。

在Hadoop2.7中,你可以通过以下命令来查看正在运行的YARN组件:

代码语言:txt
复制
yarn node -list

这将列出所有的NodeManager,表示集群中的各个节点。你还可以使用以下命令来查看正在运行的ResourceManager:

代码语言:txt
复制
yarn rmadmin -getServiceState rm1

其中,rm1是ResourceManager的标识符,你可以根据实际情况进行替换。

总结起来,Hadoop2.7中没有jobtracker和tasktracker,而是使用YARN中的ResourceManager和NodeManager来进行资源管理和作业调度。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Hadoop环境的搭建过程的问题(伪分布)

2、执行启动命令bin/start-all.sh出现:JAVA_HOMEis not set 但是执行java -version可以看到java版本信息,证明系统的jdk没有配置错误。...3、执行jps发现没有启动NameNode以及JobTracker www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps 5457SecondaryNameNode...7491Jps 5672TaskTracker 5323DataNode 根据网友提示,可能是由于运行hadoop的用户/data/hadoop/name1这个目录没有访问权限。...因此,进入root执行上述命令运行hadoop,结果显示完全正确,只是每次启动一个java程序都要输入密码很麻烦。...PS:(与云计算无关)之前jdk8出来了,就配置自己的ubuntu上了。但是安装eclipseAndroid studio的时候发现各种问题。于是又配置了系统自带的OpenJDK。

36020

Hadoop使用(二)

既然 Hadoop 守护进程已经在运行了,现在看看每个守护进程 Hadoop 框架的作用。namenode 是 Hadoop 的主服务器,它管理文件系统名称空间集群存储的文件的访问。...每个 Hadoop 集群可以找到一个 namenode 一个 secondary namenode。 datanode 管理连接到节点的存储(一个集群可以有多个节点)。...jobtracker tasktracker 采用主-从形式,jobtracker 跨 datanode 分发工作,而 tasktracker 执行任务。...使用jps查看进程 要想检查守护进程是否正在运行,可以使用 jps 命令(这是用于 JVM 进程的 ps 实用程序)。这个命令列出 5 个守护进程及其进程标识符。...节点上修改$HADOOP_HOME/conf/slaves文件,加入新加节点主机名,再建立到新加节点无密码的SSH连接 运行启动命令: start-all.sh 然后可以通过http://(Master

717100
  • Hadoop连载系列之一:Hadoop集群搭建

    4.MapReduce框架是由一个单独运行在主节点上的JobTracker运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布不同的从节点上。...Master机器配置文件:masters文件中指定的是要运行的secondarynamenode,slaves文件指定的是要运行的datanodetasktracker Master机器主要配置NameNode...JobTracker的角色,负责总管分布式数据分解任务的执行;Salve机器配置DataNodeTaskTracker的角色,负责分布式数据存储以及任务的执行。...用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTrackerJobTracker是用于调度工作的,TaskTracker是用于执行工作的。...启动hadoop成功Master 的tmp 文件夹中生成了dfs 文件夹,Slave的tmp 文件夹均生成了 dfs 文件夹mapred 文件夹。

    85820

    Hadoop完全分布式集群搭建

    Hadoop分布式集群搭搭建(环境:Linux虚拟机上) 1.准备工作:(规划主机名,ip及用途,先搭建三台,第四台动态的添加 用途栏,也可以把namenode,secondaryNamenode及jobTracker...,报错safemode相关的Exception 执行命令:hadoop dfsadmin -safemode leave(退出安全模式) 再次启动hadoop 然后jps一下,查看各台机器,看是否规划好的用途一样即可...) OK,如果规划好的一样,就大功告成了. 5.动态添加一台节点 (实际生产过程,很常见,很实用) cloud04    192.168.1.104    datanode/taskTracker...的那台机器已经配置好了) 5.3重启机器,分别启动datanodetaskTracker 指令:hadoop-daemon.sh start datanode hadoop-daemon.sh start...tasktracker 5.4cloud01上即namenode所在节点上运行命令刷新 hadoop dfsadmin -refreshNodes 5.5验证 http://linux的ip:50070

    42410

    Hadoop集群配置(最全面总结)

    说明: 保证虚拟机的ip主机的ip同一个ip段,这样几个虚拟机主机之间可以相互通信。...这会把该服务器添加到你的已知主机的列表 发现链接成功,并且无需密码。...当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录做冗余备份。 2) dfs.data.dir是DataNode存放块数据的本地文件系统路径,逗号分割的列表。...分配的JobTracker上,运行下面的命令启动Map/Reduce: $bin/start-mapred.sh (单独启动Map/Reduce) bin/start-mapred.sh脚本会参照JobTracker...4) 使用jps查看进程 要想检查守护进程是否正在运行,可以使用 jps 命令(这是用于 JVM 进程的ps 实用程序)。这个命令列出 5 个守护进程及其进程标识符。

    1.9K30

    Hadoop Installation - Single Node Setup

    -bin.tar.gz 2.配置Java环境 [该部分直接摘自我之前AndroidOpenCV开发的配置] ①下载Oracle JDK,下载的版本是JDK1.7.0_40 ②下载之后解压即可,解压路径为...up security, chmod from 755 to 750... sudo chmod 750 tmp #习惯用777 #logs的配置tmp一样 (7)配置hadoop的conf文件夹下的文件...hduser@ubuntu:~$ start-all.sh (10)执行jps查看进程 hduser@ubuntu:~$ jps 5620 JobTracker 5313 DataNode 5541...SecondaryNameNode 5897 Jps 5851 TaskTracker 5041 NameNode OK!...如果比较心急,可以按照推荐的教程运行个MapReduce任务试试看啦,哈哈哈 如果你需要配置成集群模式的话还是可以参考好友田俊童鞋的Hadoop的安装部署与配置,如果喜欢的话不防看下好友的这篇【翻译】Writing

    47240

    Hadoop使用(一)

    hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTrackerTaskTracker...其中NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNodeTaskTracker运行在Slave节点上。...2,DataNode 集群每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。...4,JobTracker JobTracker后台程序用来连接应用程序与Hadoop,用户应用提交到集群,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker...安装eclipse插件 插件的路径0.21下有所更改,路径如下 ? 将插件拷到eclipse pluglin目录下 重启eclipse 启动多出一个目录 就可以使用eclipse进行编程了。

    65240

    编译及调试 Hadoop 源代码

    Hadoop 伪分布式模式下的编译调试方法,其中,调试方法主要介绍使用 Eclipse 远程调试打印调试日志两种。...调试过程可分三步进行: 步骤 1:调试模式下启动 Hadoop Hadoop 安装目录下运行内容如下的 Shell 脚本: export HADOOP_JOBTRACKER_OPTS="-Xdebug...-Xrunjdwp:transport=dt_socket,address=878 8,server=y,suspend=y" bin/start-all.sh 如果脚本运行成功,则可以看到 Shell... Hadoop 源代码,大部分 Java 文件存在调试日志(DEBUG 级别日志),但默认情况下,日志级别是 INFO。为了查看更详细的运行状态,可采用以下几种方法打开DEBUG 日志。...JobTracker 的调试级别修改为 DEBUG,重新启动 Hadoop 便可以看到该调试信息。

    1.9K70

    Hadoop 面试,来看这篇就够了

    ,交由作业调度器进行调度,并其进行初始化 7、创建运行任务列表,作业调度去首先从共享文件系统获取 JobClient 已经计算好的输入划分信息(图中 step6),然后为每个划分创建一个 Map 任务... MapReduce 框架,作业执行受两种类型的进程控制: 一个称为 JobTracker 的主要进程,它协调在集群上运行的所有作业,分配要在 TaskTracker运行的 map reduce...解决可伸缩性问题 Hadoop MapReduce JobTracker 具有两种不同的职责: 管理集群的计算资源,这涉及到维护活动节点列表、可用占用的 map reduce slots...列表,以及依据所选的调度策略将可用 slots 分配给合适的作业任务 协调在集群上运行的所有任务,这涉及到指导 TaskTracker 启动 map reduce 任务,监视任务的执行,重新启动失败的任务...新设计,这个概念通过将 JobTracker 的双重职责(集群资源管理任务协调)分开为两种不同类型的进程来反映。

    52620

    Windows平台下安装Hadoop

    3、配置环境变量   的电脑”上点击右键,选择菜单的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,系统变量列表里双击“Path”变量,变量值输入安装的Cygwin的bin目录...(2)伪分布模式     可以把伪分布模式看作是只有一个节点的集群,在这个集群,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker...执行正确命令如下图所示: ?   输入命令 bin/start-all.sh,启动所有进程,如下图:   ?...第一次启动,如果都不能浏览,或不能浏览某一个,退出Cygwin,重新打开Cygwin,执行bin/start-all.sh命令。...参考文献: 本文参考引用了《Hadoop实战》(作者:陆嘉恒)的章节“2.3Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

    1.2K110

    buntu-16.04 详细安装教程(图文)附下载地址

    如何给Ubuntu 安装Vmware Tools http://jingyan.baidu.com/article/3065b3b6e8dedabecff8a435.html 虚拟机ubuntu如何安装.../www.cnblogs.com/rond/p/3688529.html  jps找不到NameNode 解决方案 单机伪分布式 http://www.linuxidc.com/Linux/2013-01...再次jps /hadoop/hadoop-1.2.1/bin# jps 6208 Jps 5915 SecondaryNameNode 5999 JobTracker 5610 NameNode...6143 TaskTracker 5771 DataNode ubuntu ~/.profile ~:主文件夹    ~表示主文件夹 .  ...安装步骤 英文版安装(建议安装英文版本,安装中文版时,有按钮虚拟机看不到,安装卡住) 中文简体版本安装,分配完成磁盘,下一步按钮未显示(虚拟机问题)。建议一般安装英文版本; ? ? ? ? ?

    1.2K30

    Windows平台下安装Hadoop

    3、配置环境变量   的电脑”上点击右键,选择菜单的“属性",点击属性对话框上的高级页签,点击”环境变量"按钮,系统变量列表里双击“Path”变量,变量值输入安装的Cygwin的bin目录...(2)伪分布模式     可以把伪分布模式看作是只有一个节点的集群,在这个集群,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker...执行正确命令如下图所示: ?   输入命令 bin/start-all.sh,启动所有进程,如下图:   ?...第一次启动,如果都不能浏览,或不能浏览某一个,退出Cygwin,重新打开Cygwin,执行bin/start-all.sh命令。...参考文献: 本文参考引用了《Hadoop实战》(作者:陆嘉恒)的章节“2.3Windows上安装与配置Hadoop”。 特此声明,如果涉及到版权问题,请告知。

    98410

    Hadoop大数据分析简介

    节点上) JobTracker运行在master节点上) TaskTracker运行在slave节点上) 译者注:MapReduce,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为...DataNode DataNode运行在所有的slave 机器上,并实际存储集群的所有数据。DataNode定期向NameNode报告存储的块列表。...一旦完成了Hadoop的配置,您可以尝试下面给出的示例: $HADOOP_HOME/bin/hadoop start-all.sh jps mkdir input nano wordsIn \\fill...使用jps命令可以查询系统上运行的所有Java虚拟机。您应该看到您的系统上运行以下服务。...本文涵盖了大数据,分析Hadoop的各个方面。主要关注Hadoop架构,并指出Hadoop容错恢复方面的漏洞。我们还特别了解了NameNodeJob Tracker如何成为系统的瓶颈。

    1K40

    Hadoop框架:单服务下伪分布式集群搭建

    1、配置hadoop-env root# vim hadoop-env.sh # 修改前 export JAVA_HOME= # 修改 export JAVA_HOME=/opt/jdk1.8 2、配置...指定MapReduce程序资源调度集群上运行。如果不指定为yarn,那么MapReduce程序就只会在本地运行而非在整个集群运行。...[hadoop2.7]# bin/hdfs namenode -format 格式化NameNode,会产生新的clusterID,导致NameNodeDataNode的集群id不一致,集群找不到已往数据...所以,格式NameNode时,一定要停止相关进程,删除data数据log日志,然后再格式化NameNode。clusterID如下目录的VERSION文件里,可自行查看对比。...jps查看状态 [root@localhost hadoop2.7]# jps 2450 Jps 2276 NameNode 2379 DataNode Web界面查看 需要Linux关闭防火墙相关安全增强控制

    30810

    五分钟深入 Hadoop 内核

    直接看每台机器 cpu memory 不就好了,为什么还通过 slot 表示?恭喜你,你已经有 Hadoop 2.0 architect 的水平了:) 我们之后讨论哈。...function reducer function 运行结束以后,TaskTracker 会报告给 JobTracker 运行结果。...当所有 mapper reducer 运行结束,整个 Job 就完成了!...---- Hadoop / MapReduce 作为非常成熟的大数据架构,已经被部署很多知名公司的实际系统、发挥着重要作用,比如 Amazon, Facebook, Apple 等等。...除了并行处理数据外的优势外,其海量数据的处理优化也非常有特色。我们会在之后的短文中为大家分享更多优化可以配置的技巧,让大家轻松面对大叔距离最刁钻的面试题。

    77450
    领券