暂无搜索历史
Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候,在构造函数initAsyncSchedu...
为了解决HDFS的水平扩展性问题,社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指...
HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为:ZKFailoverController.java,
客户端的入口函数为 KerberosAuthenticator.authenticate函数
ContainerManager主要负责NM中管理所有Container生命周期,其主要包含启动Container、恢复Container、停止Containe...
BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下:
neovim是从vim的一个分支fork出来的,从性能等方面来讲都比vim强很多,所以从vim转到neovim了。
jobhistory 一般会保存一部分作业信息到内存中,查询作业信息的时候一般会从内存查询,如果内存查询不到就会从磁盘上扫描。
根据交互对象的不同,将协议进行了不同的归类。要想了解协议内容,需要将其单独分开分析。
Namenode最重要的两个功能之一就是维护整个文件系统的目录树(即命名空间namesystem) 。 HDFS文件系统的命名空间(namespace) , ...
作业提交的客户端比较核心的类是Job.java,看作业启动的源码需要从这个类开始看。
AsyncDispatcher 实现了接口Dispatcher,Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能:
ResourceManager(RM),RM是全局的资源管理器,负责整个系统的资源管理和分配。主要由以下两部分组成:
nameNode的启动主要是有NameNode.java主导的,由main函数开始了解。
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器,负责...
华为 | 大数据开发工程师 (已认证)