统一批量任务调度平台要实现各类批量任务系统的集中统一管理,对任务启动条件、执行链路进行统一调度与全域管控,满足 DAG 流程编排控制要求,并提供一体化的监控与运维管理能力。
高可用建设为调度平台的核心目标之一,平台需同时满足本地数据中心高可用要求,以及跨数据中心容灾能力。
MoiaControl 基于微服务架构构建,整体采用三层架构体系:上层为 WEB 服务层,提供可视化功能操作入口;中层为调度核心层,承载各类调度管控逻辑,实现任务调度全流程的规则配置与中枢控制;下层为任务执行层(Agent 节点层),负责接收调度指令,完成任务实际执行及运行状态反馈管控。
本地数据中心调度平台高可用建设,重点围绕调度核心层运行稳定性、WEB 服务层高可用能力、Agent 执行层异常快速恢复三大核心展开。
通过集群化部署保障调度核心层稳定运行;依托 WEB 应用冗余及集群部署架构,实现 WEB 服务层高可用;平台 Agent 服务采用无状态设计,可在异常故障后实现快速自愈恢复。
MoiaControl 调度平台的数据中心高可用部署架构,可实现三层架构分离部署,达成各层级独立高可用建设目标。
平台采用页面操作层、调度核心层、Agent 节点层三层分离架构,各层级解耦独立运行:页面操作层异常故障不会影响后台批量任务的自动调度;调度核心层以集群部署规避单点故障,内部服务异常后可快速重启并自动纳入集群服务,恢复运行能力;Agent 节点基于逻辑集群架构,具备弹性伸缩能力,无需重启即可完成节点动态扩缩。
调度核心层采用多服务器集群部署,构建完整的调度控制核心集群体系。页面操作层可基于各中间件集群进行部署,提供稳定可靠的前端访问入口。Agent 节点层采用专属集群设计架构,节点间不建立代码级互联,有效降低 Agent 部署带来的硬件资源消耗,使更多硬件资源投入至任务实际运行环节。该层集群由平台原生能力统一托管,通过系统内置功能完成 Agent 集群的构建与管理,集群动态扩缩容过程中,无需对现有 Agent 节点进行重启,保障任务运行不受影响。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。