Notebook 任务用于在 Workflow 中调度运行 Studio 中开发好的
.ipynb 文件。Notebook 任务支持引用 Studio 工作空间或 Git 文件夹中的 Notebook,运行在用户选择的计算资源上。概述
Notebook 任务是 DataBuddy 中最常用的任务类型,覆盖 ETL、机器学习训练、特征工程等场景。本文档专注 Notebook 任务的差异化配置,通用配置 (任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 配置任务。
前提条件
工作空间已绑定可用的计算资源(支持 CPU / GPU 计算类型,分布式、单节点资源模式)。详见 计算资源概述。
Studio 中已存在目标 Notebook 文件,且当前用户(或 Run As 账号)具备文件的「运行」权限及以上。详见 文件权限。
如使用 Git 引用,工作空间已配置 Git 连接。详见 设置 Git 连接。
操作步骤
步骤 1:创建任务
1. 在工作流编辑器画布中单击 + 添加任务 。
2. 任务类型选择 Notebook 。
3. 进入任务配置面板。
步骤 2:配置基本信息
参数 | 说明 | 是否必填 |
任务名称 | 同工作流内唯一。 | 是 |
任务类型 | Notebook。可在下拉中切换为其他任务类型(Python File / SQL / Ray / 离线数据接入等),切换后参数区会清空。 | 是 |
任务来源 | 工作空间 / Git。 | 是 |
路径 | 引用的 Notebook 文件路径。 | 是 |
步骤 3:选择 Notebook 文件
任务来源:工作空间
1. 单击「路径」输入框,弹出文件选择器:
工作空间 :按目录浏览,仅展示文件夹与
.ipynb 文件。最近打开 :列出当前用户最近 90 天内浏览过的 Notebook(按时间倒序)。
1. 选中后路径填入输入框,例如
/Workspace/your_username/data_etl.ipynb。2. 路径输入框右侧操作:
跳转图标 :新开页面到 Studio 中打开文件。
复制图标 :复制完整路径。
任务来源:Git
1. 选择 Git 后下拉显示当前工作空间已配置的 Git 分支。
2. 在「路径」输入框中填入相对路径(基于远程仓库根目录),例如
notebooks/etl/daily.ipynb。3. 系统不在配置时刻校验路径是否存在;运行时若文件不存在会以错误码
Git 路径无效 失败。提示
步骤 4:配置计算资源
参数 | 说明 | 是否必填 | 默认值 |
计算资源 | 下拉展示当前工作空间已绑定且可用的计算资源。 | 是 | 无(用户自行选择) |
资源模式 | 分布式 / 单节点。 | 是 | 首次配置文件时该文件在 Studio 中的资源模式;从 Git 引用时默认「分布式」 |
资源配置 | 默认配置 / 自定义配置。 | 是 | 默认配置 |
资源模式:分布式(CPU / GPU)
配置项 | 说明 | 默认值 |
Executor 资源 | small (1CU) / medium (2CU) / large (4CU) / xlarge (8CU) | 跟随计算资源默认值 |
Executor 个数 | 动态分配(最小–最大)/ 固定分配(具体数量) | 计算资源默认值 |
Driver 资源 | 同 Executor 规格选项 | 计算资源默认值 |
Executor GPU 数 | 仅 GPU 类型计算资源展示。支持小数。 | 计算资源默认值 |
Driver GPU 数 | 仅 GPU 类型计算资源展示。支持小数。 | 计算资源默认值 |
注意
自定义配置的资源总量(Executor 资源 × 个数 + Driver 资源)不能超过计算资源最大可用配额。超出时确认按钮置灰,并提示「超出当前计算资源最大可用数({计算资源最大 CU/GPU})」。
资源模式:单节点
配置项 | 说明 |
资源规格 | 下拉选择,默认 large(4CU)。仅显示不超过计算资源最大规格的选项。 |
GPU 配置 | 仅 GPU 类型计算资源展示。支持小数。 |
自定义配置 - JSON 模式
UI 模式与 JSON 模式可双向切换。JSON 内容遵循腾讯云 API 规范:仅可修改 Value,新增、修改 Key 会校验失败。
步骤 5:上游依赖与运行条件
参考 配置任务 的「上游依赖任务」与「运行条件」。运行条件支持简单模式(12 种触发选项,覆盖「全部成功、全部失败、全部完成、至少一个成功、至少一个失败、没有失败且至少一个成功」等场景)和高级模式(按上游逐个配置状态集合,用
且 / 或 连接)。不满足运行条件的任务终态为「排除运行 」,错误码 ExecutionConditionsNotMet。步骤 6:参数
value = dlcutils.widgets.get('your_param')
步骤 7:监控指标、告警、失败与超时策略
集中维护,本任务直接使用:
步骤 8:保存
单击 创建任务 (新建场景)或 保存任务 (编辑场景)。
参数说明
路径示例
来源 | 示例 |
工作空间 | /Workspace/your_username/data_etl.ipynb |
工作空间(Git Folder) | /GitFolder/your_username/etl.ipynb |
Git 远程仓库 | notebooks/etl/daily.ipynb |
任务运行说明
使用 Serverless 资源组的任务,会在运行前自动安装 Notebook 文件中的环境配置(基础环境 +
pip install 安装的依赖),无需在任务运行时单独安装。调度运行使用「文件最新代码、任务最新配置」。如运行过程中文件被修改,下次运行使用新代码。
使用限制
计算资源由用户在任务配置时选择,需具备运行权限。
引用文件被移动、删除会导致任务运行失败,错误码
xxx 路径文件不存在。Git 路径不在配置时刻校验,存在路径错误风险;建议保存后立即调试运行验证。
自定义资源配置不能超过所选计算资源的最大配额。
常见问题
Q1:Notebook 任务可以使用哪些计算资源?
Notebook 任务在配置时可下拉选择当前工作空间已绑定的计算资源;下拉列表展示资源名称、配额、可用配额。具体支持的资源类型与配额管理详见 计算资源概述。
Q2:从 Git 引用 Notebook 时,每次运行都要拉取最新代码吗?
是的。Notebook 任务每次运行(含调度运行和调试运行)都会从远程 Git 仓库获取最新代码。
调试运行:使用当前运行人的 Git 配置。
调度运行:使用任务 Run As 账号的 Git 配置。
Q3:参数值可以引用上游 SQL 任务的 output 行吗?
可以。在任务参数中写:
parameter = {{tasks.<上游 SQL 任务名>.output.first_row.<列名>}}
相关文档
配置任务