腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
浪浪山下那个村
应无所住，而生其心。 --《金刚经》 吾生也有涯，而知也无涯。 --《庄子》
专栏成员
举报
148
文章
119069
阅读量
21
订阅数
订阅专栏
申请加入专栏
全部文章（148）
云数据库 Redis®（29）
编程算法（29）
flink（20）
linux（12）
大数据（12）
sql（11）
机器学习（9）
神经网络（9）
存储（9）
缓存（9）
hadoop（9）
java（8）
深度学习（7）
数据库（6）
打包（6）
git（6）
人工智能（6）
网站（6）
https（6）
kafka（6）
配置（6）
http（5）
内存（5）
数据（5）
javascript（4）
node.js（4）
网络安全（4）
jvm（4）
ide（3）
github（3）
unix（3）
容器镜像服务（3）
yarn（3）
kerberos（3）
apache-flink（3）
编译（3）
操作系统（3）
插件（3）
服务（3）
函数（3）
集群（3）
接口（3）
日志（3）
事件（3）
优化（3）
源码（3）
c++（2）
jquery ui（2）
html（2）
android（2）
api（2）
jar（2）
ubuntu（2）
nginx（2）
文件存储（2）
访问管理（2）
SSL 证书（2）
腾讯云测试服务（2）
开源（2）
jdk（2）
监督学习（2）
cdn（2）
单元测试（2）
gcc（2）
socket编程（2）
windows（2）
迁移（2）
hdfs（2）
neovim（2）
博客（2）
磁盘（2）
管理（2）
连接（2）
权限（2）
文件系统（2）
源码分析（2）
状态机（2）
云服务器（1）
NLP 服务（1）
c 语言（1）
python（1）
lua（1）
bash（1）
scala（1）
bootstrap（1）
xml（1）
jquery（1）
云数据库 SQL Server（1）
oracle（1）
nosql（1）
搜索引擎（1）
centos（1）
mapreduce（1）
腾讯云可观测平台（1）
消息队列 CMQ 版（1）
云推荐引擎（1）
容器（1）
分布式（1）
黑客（1）
图像识别（1）
卷积神经网络（1）
正则表达式（1）
决策树（1）
线性回归（1）
unity（1）
rpc（1）
jenkins（1）
gradle（1）
scikit-learn（1）
安全（1）
数据分析（1）
数据处理（1）
数据结构（1）
聚类算法（1）
Elasticsearch Service（1）
apt（1）
awt（1）
case（1）
container（1）
data（1）
db（1）
debian（1）
dfs（1）
event（1）
exists（1）
exit（1）
hadoop-yarn（1）
intellij idea（1）
key（1）
kill（1）
layer（1）
load（1）
mnist（1）
model（1）
nodes（1）
project（1）
return（1）
reverse（1）
server（1）
string（1）
tar（1）
编程（1）
登录（1）
递归（1）
对象（1）
二进制（1）
工具（1）
工作（1）
后端（1）
华为（1）
架构（1）
兼容性（1）
解决方案（1）
进程（1）
开发（1）
客户端（1）
快捷键（1）
面试（1）
软件（1）
生命周期（1）
算法（1）
索引（1）
线程（1）
效率（1）
协议（1）
性能（1）
压缩（1）
异步（1）
异常（1）
原理（1）
搜索文章
搜索
搜索
关闭
container-executor 详解
hadoop
container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。
zeekling
2025-03-04
82
0
Idea Hadoop 源码YarnServiceProtos无法补全问题
intellij idea
使用IDEA打开Hadoop源码之后，发现YarnServiceProtos部分代码无法补全，已经安装了protobuf相关的插件。
zeekling
2025-01-05
44
0
Capacity调度器源码解析
hadoop
Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。
zeekling
2024-11-04
74
0
router启动详解
hadoop
为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之间是互相独立的；
zeekling
2024-10-10
113
0
hadoop 主备倒换控制器：ZKFailoverController详解
hadoop
HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java,
zeekling
2024-09-22
159
0
Hadoop 认证模块详解
hadoop
kerberos
客户端的入口函数为 KerberosAuthenticator.authenticate函数
zeekling
2024-09-01
165
0
ContainerManager详解
hadoop
hadoop-yarn
ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。
zeekling
2024-08-07
251
0
BPServiceActor详解
线程
nodes
函数
接口
连接
BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下：
zeekling
2024-07-22
94
0
BPServiceActor详解
hadoop
BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下：
zeekling
2024-07-21
92
0
neovim 从0开始配置优化
快捷键
配置
优化
neovim
插件
neovim是从vim的一个分支fork出来的，从性能等方面来讲都比vim强很多，所以从vim转到neovim了。
zeekling
2024-06-09
361
0
docker stop container 报错：tried to kill container, but did not receive an exit event
container
event
exit
kill
进程
zeekling
2024-06-03
1.6K
0
jobhistory 作业缓存源码详解
hadoop
jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。
zeekling
2024-05-26
73
0
NameNode客户端协议详解
协议
hadoop
hdfs
根据交互对象的不同，将协议进行了不同的归类。要想了解协议内容，需要将其单独分开分析。
zeekling
2024-04-26
151
0
FSDirectory详解
权限
日志
文件系统
dfs
管理
Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。
zeekling
2024-04-01
128
0
Yarn 作业启动源码解读
yarn
对象
函数
事件
源码
作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。
zeekling
2023-12-08
212
0
Yarn 状态机以及事件机制
yarn
接口
生命周期
事件
状态机
AsyncDispatcher 实现了接口Dispatcher，Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能：
zeekling
2023-11-29
362
0
ResourceManager简介
服务
管理
权限
事件
状态机
ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成：
zeekling
2023-11-26
739
0
nameNode启动过程源码分析
插件
服务
函数
接口
源码分析
nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。
zeekling
2023-11-06
204
0
HDFS 详解
存储
hdfs
集群
数据
文件系统
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。 HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。 从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
zeekling
2023-10-23
527
0
Yarn 详解
yarn
算法
原理
zeekling
2023-10-23
200
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
