基本配置

最近更新时间:2024-08-22 20:48:11

我的收藏

调度周期配置

调度策略支持常规的周期性调度策略或一次性执行策略。

一次性调度


参数说明:
参数
说明
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
执行时间
一次性任务支持指定到年月日时分秒。
调度计划
根据配置的周期和执行时间自动生成。
说明:
一次性任务在完成后无法通过重新提交来生成新实例,需要新建任务以便重复执行。

分钟调度




参数说明:
参数
说明
配置方式
单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择当前日期之后的日期,默认显示当前日期到2099 - 12 - 31。
执行时间
分钟任务执行时间只能选择整点,间隔范围:5、10、15、20、30分钟,分钟任务根据执行时间生成实例进行调度。
调度计划
根据配置的周期和执行时间自动生成。

小时调度




参数说明:
参数
说明
配置方式
单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择。
执行时间(与指定时间二选一)
执行时间
小时任务执行时间可选择时分,间隔范围:1 - 23小时,任务根据执行时间生成实例进行调度。
间隔时间
以设定的间隔时间为单位,在指定的执行时间区间内控制任务的实例生成频率。
指定时间(与执行时间二选一)
指定时间
指定时间范围0 - 23点,支持多选,小时任务根据指定时间生成实例并执行。
指定分钟
在指定时间后,再指定生成实例的具体分钟数。
调度计划
根据配置的周期和执行时间自动生成。

天调度




参数说明:
参数
说明
配置方式
支持常规、crontab 配置方式。单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择当前日期之后的日期,默认显示当前日期到2099 - 12 - 31。
执行时间
天任务执行时间可选择时分, 生成的实例到达执行时间后开始执行。
调度计划
根据配置的周期和执行时间自动生成。

周调度




参数说明:
参数
说明
配置方式
支持常规、crontab 配置方式。单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择当前日期之后的日期,默认显示当前日期到2099 - 12 - 31。
指定日期
周任务指定日期范围为星期一到星期日,支持多选。
执行时间
周任务执行时间可选择时分, 生成的实例到达指定日期的执行时间后开始执行。
调度计划
根据配置的周期和执行时间自动生成。

月调度




参数说明:
参数
说明
配置方式
支持常规、crontab 配置方式。单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择当前日期之后的日期,默认显示当前日期到2099 - 12 - 31。
指定日期
月任务指定日期范围为每月1号到每月31号,支持多选,注意:每月月末选项和其他日期互斥。
执行时间
月任务执行时间可选择时分, 生成的实例到达指定日期的执行时间后开始执行。
调度计划
根据配置的周期和执行时间自动生成。

年调度




参数说明:
参数
说明
配置方式
支持常规、crontab 配置方式。单个任务配置默认选择常规,且不可修改。
调度周期
任务调度的执行周期单位,支持分钟、小时、天、周、月、年和一次性调度。
生效时间
调度时间配置的有效时间段,系统会在该时间范围内按照时间配置自动调度,超过有效期将不会再自动调度。开始日期只能选择当前日期之后的日期,默认显示当前日期到2099 - 12 - 31。
指定月份
年任务指定月份范围为1月 - 12月,支持多选。
指定日期
年任务指定日期范围为1号 - 31号,支持多选,注意:月末选项和其他日期互斥。
执行时间
年任务执行时间可选择时分, 生成的实例到达指定月份指定日期的执行时间后开始执行。
调度计划
根据配置的周期和执行时间自动生成。

调度依赖配置

依赖配置
依赖配置支持为任务节点配置上下游依赖关系与任务实例执行顺序。



参数说明:
信息
描述
自依赖
(自依赖指同一任务中不同实例之间的依赖关系)
并行
前一个周期实例和后一个周期实例之间没有依赖关系,如果一个任务同时存在多个实例,多个实例会同时运行。
无序串行
当前实例和前一个周期实例没有依赖关系,如果一个任务同时存在多个实例,系统随机选取一个实例运行。同时只有一个实例是运行状态。
有序串行
当前实例依赖前一个周期实例的状态。
工作流自依赖
任务调度无工作流自依赖配置。
上游依赖任务
上游依赖任务搜索
支持通过搜索任务名称、任务 ID、项目名称查找需要配置的上游依赖任务。



上游依赖任务列表
将搜索到的任务添加为依赖任务时,在依赖任务列表中会显示对应任务的信息,包括任务名称、任务状态、调度周期、责任人、所属工作流、所属项目、时间维度、实例范围、执行策略以及删除操作。



具体参数说明如下:
任务名称:依赖任务的任务名称、任务编号、任务类型。
任务状态:依赖任务的调度运行状态。
调度周期:依赖任务的调度周期。
责任人:依赖任务的负责人。
所属工作流:依赖任务所属的数据工作流。
所属项目:依赖任务所属的项目。
配置方式:推荐策略:包含常用的依赖配置方式;自定义:用户按需自定义依赖配置。
时间维度/实例范围
若选择推荐策略:则选择依赖方式及范围,不同周期任务依赖可选值不同。详细配置项见下表:调度依赖说明。
若选择自定义:
区间模式:输入格式为:x,y 。表示依赖上游任务实例数据时间偏移的范围。例如区间(天)的情况下,输入了-10,-1 ,表示依赖上游任务前10天到前1天的闭区间实例。x<=y,且最大差值为1000。
列表模式:输入格式为:x,y,z 。表示依赖上游任务实例数据时间的具体偏移值。例如列表(天)的情况下,输入了-3,-2,-1 ,表示依赖上游任务前3、2、1天的实例。x<y<z ,且最多可以输入50个具体时间偏移值。
执行策略:依赖的上游任务实例不存在时处理策略,默认为等待上游;等待上游表示上游任务实例不存在时持续等待,正常执行表示上游任务实例不存在时正常执行。
操作
依赖预览:支持根据配置的依赖关系进行依赖结果预览,辅助用户判断配置的依赖关系是否符合预期。可选择开始调度时间,查看对应实例数据时间依赖实例列表(实例数据时间)。



删除:删除成功后需提交才能在生产态生效。
依赖下游任务

依赖下游任务是指当前任务可以从所有下游(包含间接下游)中选择任务进行依赖,用于满足用户的一些特殊依赖场景。
例如:A 任务是 B 任务的上游任务,B1 周期实例依赖 A1 周期实例,A1 周期实例想依赖 B2 周期实例,即任务上为 A 依赖 B、B 依赖 A 的配置。则可以在 A 任务的调度配置-依赖上游任务中配置 B 任务。
任务之间可以存在循环依赖的关系,但实例之间不能存在循环依赖的关系,因此系统会定期针对实例的依赖关系进行检测,任务上线后若存在实例循环依赖的情况,将通过邮件和短信的方式向您发送告警。



调度依赖说明
周期
上游
分钟
小时
一次性
分钟
(1)按分钟/当前分钟:依赖同一数据时间的实例。
(2)按分钟/前一周期:依赖上一个数据时间的实例。
(1)按小时/当前小时:小时内的所有分钟任务需要等待小时任务运行完成后方可运行。
(1)按天/当前:天内的所有分钟任务需要等待天任务运行完成后方可运行。
(1)按周/本周:周内的所有分钟任务需要等待周任务运行完成后方可运行。
(1)按月/本月:月内的所有分钟任务需要等待月任务运行完成后方可运行。
(1)按年/本年:年内的所有分钟任务需要等待年任务运行完成后方可运行。
所有分钟实例依赖一次性任务实例,与数据时间无关。
小时
(1)按小时/前一个小时(-60,0]:依赖前一小时内(-60,0]的所有上游实例。
(2)按小时/前一个小时:依赖前一小时内[-60,0)的所有上游实例。
(3)按小时/当前小时:依赖当前小时内所有上游分钟实例。
(1)按小时/最近实例:依赖最近一次数据时间的实例。优先查找[当天0点,当前时间],如果没找到再找[当前时间,第二天0点)。
(1)按天/当天:天内的所有小时任务需要等待天任务运行完成后方可运行。
(1)按周/本周:周内的所有小时任务需要等待周任务运行完成后方可运行。
(1)按月/本月:月内的所有小时任务需要等待月任务运行完成后方可运行。
(1)按年/本年:年内的所有小时任务需要等待年任务运行完成后方可运行。
所有小时实例依赖一次性任务实例,与数据时间无关。
(1)按天/前一天(-24*60,0]:依赖前一天内(-24*60,0]的所有上游实例。 (2)按天/前一天:依赖前一天内[-24*60,0)的所有上游实例。 (3)按天/当天:依赖当天内所有上游分钟实例。
(1)按天/前一天(-24*60,0]: (2)按天/前一天: (3)按天/当天:依赖当天内所有上游小时实例。
(1)按天/当天:依赖当天上游天实例。
(1)按周/本周:周内的所有天任务需要等待周任务运行完成后方可运行。
(2)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按月/本月:月内的所有天任务需要等待月任务运行完成后方可运行。
(2)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按年/本年:年内的所有天任务需要等待年任务运行完成后方可运行。
所有天实例依赖一次性任务实例,与数据时间无关。
(1)按周/上周:依赖上周内的所有分钟任务实例。
(2)按周/本周:依赖本周内的所有分钟任务实例。
(1)按周/上周:依赖上周内的所有小时任务实例。 (2)按周/本周:依赖本周内的所有小时任务实例。
(1)按周/上周:依赖上周所有天任务实例。
(2)按周/上周五:依赖天任务上周五的实例。
(3)按周/上周日:依赖天任务上周日的实例。
(4)按周/本周:依赖本周所有天任务实例。
(5)按天/当天:依赖天任务当天的实例。
(6)按天/前一天:依赖天任务前一天的实例。
(1)按周/本周:依赖本周所有天任务实例。
(2)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按月/本月:月内的所有周任务需要等待月任务运行完成后方可运行。
(2)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按年/本年:年内的所有周任务需要等待年任务运行完成后方可运行。
所有周实例依赖一次性任务实例,与数据时间无关。
(1)按月/上月:依赖上个月内的所有分钟任务实例。 (2)按月/本月:依赖本月内的所有分钟任务实例。
(1)按月/上月:依赖上个月内的所有小时任务实例。 (2)按月/本月:依赖本月内的所有小时任务实例。
(1)按月/上月:依赖上个月所有天任务实例。
(2)按月/上月末:依赖上个月最后一天的实例。
(3)按月/本月:依赖本月内的所有天任务实例。
(4)按天/当天:依赖天任务当天的实例。
(5)按天/前一天:依赖天任务前一天的实例。
(1)按月/上月:依赖上个月内的所有周任务实例。 (2)按月/本月:依赖本月内的所有周任务实例。
(3)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按月/本月:依赖本月内的所有月任务实例。
(2)按天/最近一次数据时间的实例:依赖当前时间及之前最近一次数据时间的实例。
(1)按年/本年:年内的所有任务需要等待年任务运行完成后方可运行。
所有月实例依赖一次性任务实例,与数据时间无关。
(1)按年/本年:依赖本年内的所有分钟任务实例。
(1)按年/本年:依赖本年内的所有小时任务实例。
(1)按天/本年所有天:依赖本年内的所有天任务实例。
(2)按天/当天:依赖同一数据时间的天实例。
(3)按天/前一天:依赖前一天数据时间的实例。
(1)按年/本年:依赖本年内的所有周任务实例。
(1)按月/本年所有月:依赖本年内的所有月任务实例。
(2)按月/本月:依赖本月内的所有月任务实例。
(3)按月/上月:依赖上月内的所有月任务实例。
(4)按月/上月末:依赖上月最后一天的月任务实例。
(5)按月/上月初:依赖上月第一天的月任务实例。
(1)按年/本年:依赖本年内的所有上游年任务实例。
所有年实例依赖一次性任务实例,与数据时间无关。
一次性
(1)按天/当天:
依赖指定时间所在日期内的所有分钟任务实例。
(1)按天/当天:跨周期默认:依赖指定时间所在日期内的所有小时任务实例。
(1)按天/当天:依赖指定时间所在日期内的天任务实例。
(1)按周/本周:周内的一次性任务需要等待周任务运行完成后方可运行。
(1)按月/本月:月内的一次性任务需要等待月任务运行完成后方可运行。
(1)按年/本年:年内的一次性任务需要等待年任务运行完成后方可运行。
依赖一次性任务实例,与数据时间无关。