【kafka源码】kafka跨目录数据迁移实现源码解析|首先理解一个知识点, 未来目录(-future) :
我们在做跨目录数据迁移的时候,实际上会先再目标目录中创建一个新的分区目录,他的格式为: topic-partition.uniqueId-future , 具体是如果指定了dir,则创建的时候会使用指定的dir创建分区,否则的话,就会按照分区数量对各个目录排序,选择最少的那个创建。
跨目录迁移数据的时候,是从源目录读取分区副本的数据呢? 分区副本限流机制中, 在跨目录数据迁移的场景中, 会把这一部分的数据同步流量计算到 分区Leader限流的统计里面吗? 不会! 因为在跨目录数据迁移的场景中, 在判断 是否需要进行Leader层面的限流时候 shouldLeaderThrottle ,Quota限流传入的对象是 UnboundedQuota 意思是不进行限流。 而且 跨目录迁移本来就不是去Leader副本读取数据来同步的,所以也不存在Leader层面的限流
Follower 记录流量的地方在哪里? 石臻臻的杂货铺[同名公众号]
2021-12-31
7160

【kafka源码】kafka跨目录数据迁移实现源码解析如何跨目录迁移
为什么线上Kafka机器各个磁盘间的占用不均匀,经常出现“一边倒”的情形? 首先理解一个知识点, 未来目录(-future) :
我们在做跨目录数据迁移的时候,实际上会先再目标目录中创建一个新的分区目录,他的格式为: topic-partition.uniqueId-future , 具体是如果指定了dir,则创建的时候会使用指定的dir创建分区,否则的话,就会按照分区数量对各个目录排序,选择最少的那个创建。
跨目录迁移数据的时候,是从源目录读取分区副本的数据呢? 分区副本限流机制中, 在跨目录数据迁移的场景中, 会把这一部分的数据同步流量计算到 分区Leader限流的统计里面吗? 不会! 而且 跨目录迁移本来就不是去Leader副本读取数据来同步的,所以也不存在Leader层面的限流
Follower 记录流量的地方在哪里? 石臻臻的杂货铺[同名公众号]
2021-12-16
9870
