一种基于DAG的系统调度框架实现

本系统是为解决业务逻辑复杂且逻辑可抽象成单体式并发执行的业务场景，基于现有云原生平台实现业务逻辑微服务化，不仅大大提升业务扩展性、可维护性同事通过串改并降低计算时间成本。

DAG（Directed acyclic graph）调度

本系统中将业务逻辑拆成单个算子服务，按照数据流向编排成一个DAG有向无环图，也就是我们下面讲到的拓扑图，任务算子之间可能相互依赖，依赖数据驱动任务流向，最终按照算子编排流程（拓扑图）依次执行每个Task任务。可参照下图：

DAG流程.png

图中TaskB 算子输入参数依赖TaskA算子输出参数，Task C与 TaskA/TaskB算子相互独立可并行执行，最终所有计算结果在End处执行。

框架设计

DAG调度框架

控制层

• UI用户： 用户通过可视化界面配置作业、拓扑及算子，一个作业对应于一次可执行任务；
• Master控制中心：获取作业/拓扑/算子配置信息，将作业分发至拓扑调度中心及拓扑管理中心，用户对作业/拓扑及算子的更改均通过Master控制中心；
• 拓扑管理中心：拓扑管理中心主要用于调度重试，依据数据状态增加状态容错；
• 状态存储DB：每条生产输入数据处理流均使用唯一sessionID标志，存储因节点异常、网络异常、发布失败等导致作业执行失败的数据流，便于发起失败重试；

调度层

• 接入中间件：支持流量去重、使用分级kafka实现流量分级、插件化HTTP实时接入方式；

拓扑调度中心

数据存储DB

API数据接出

数据接出中间件

算子

监控层

监控中心

对账中心

无状态重试

插件化接入方式

对账+平账

状态管理重试