离线数据接入任务用于在 Workflow 中调度运行数据接入模块的离线同步任务。任务通过引用接入任务 ID 的方式建立联动,所有接入配置仍在 数据接入 模块中维护。
概述
离线数据接入任务的特点:
不再嵌入接入配置 :仅作为「引用执行入口」,详细的同步配置(源端、目标端、字段映射、同步模式)在数据接入模块完成。
使用数据接入型计算资源 :与 Notebook、SQL 任务的资源类型不同。
运行详情显示接入结果 :任务运行详情页直接展示数据接入运行的进度、行数、失败原因。
前提条件
数据接入模块已创建并保存目标的离线同步任务。详见 离线数据同步 系列文档。
工作空间已绑定 数据接入型 计算资源。详见 计算资源概述。
操作步骤
步骤 1:创建任务
1. 在工作流画布单击 + 添加任务 。
2. 任务类型选择 离线数据接入 。
步骤 2:配置基本信息
参数 | 说明 | 是否必填 |
任务名称 | 同工作流内唯一。 | 是 |
任务类型 | 离线数据接入(不可改)。 | 是 |
任务来源 | 单击下拉选择数据接入模块中的离线同步任务。 | 是 |
步骤 3:选择接入任务
1. 单击「任务来源」下拉,列表展示当前工作空间内的离线接入任务。
2. 支持模糊搜索与精确搜索。
3. 选中后任务名称展示在配置面板,单击可跳转到接入任务的执行页查看详情。
步骤 4:配置计算资源
参数 | 说明 |
计算资源 | 仅展示 数据接入型 计算资源。下拉选择即可。 |
步骤 5:上游依赖、参数、监控指标、告警
参数处理特殊说明
监控指标
步骤 6:失败与超时策略
步骤 7:保存
单击 创建任务 或 保存任务 。
任务运行详情
离线数据接入任务的运行详情页:
Tab | 说明 |
运行结果 | 数据接入任务的运行进度与执行情况,与数据接入模块中查看一致。 |
运行日志 | 同上。 |
使用限制
仅支持引用 离线 数据接入任务,不支持实时数据接入任务。
计算资源类型必须为数据接入型。
接入任务被删除后,工作流任务运行直接失败。
任务来源选定后,详细的同步配置(源端、目标端、映射等)只能在数据接入模块编辑。
常见问题
Q2:上游 Notebook 任务能传递参数到离线数据接入任务吗?
可以。参数传递规则与其他任务一致:
target_dt = {{tasks.<上游 Notebook 任务名>.values.target_dt}}
相关文档
配置任务