功能介绍
在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。
在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。
功能特性
通过对 YARN 的源码改造以及对自动扩容流程增加配置项,实现自动扩容添加的 Task 节点将不会被分配 AM,AM 将会全部分配到非自动扩容的 Task 节点,自动扩容添加的 Task 节点仅承担计算任务;当对 Task 节点进行缩容时,只有正在运行的计算任务的节点会被销毁,但对应 AM 仍然保持存活状态,AM 可以重新在其他节点重试相关的计算任务,当前整个 Job 可以继续进行下去。
适用范围
仅对自动扩容的 Task 节点生效,手动扩容不生效。