问在DataBricks中一次提交多个作业
EN

Stack Overflow用户

提问于 2021-05-26 17:43:56

回答 1查看 127关注 0票数 0

我有一个DataBricks笔记本，它将日期作为输入参数，并作为日常作业运行。

现在我需要让它在过去的几天内运行，但是使用自定义日期手动启动作业是相当乏味的。

有没有一种简单的方法可以在一次拍摄中运行一批作业，例如从另一个笔记本(在日期范围内的循环中) ？

jobs

azure-databricks

回答 1

Stack Overflow用户

发布于 2021-05-26 18:14:05

好的，应用编程接口允许run an existing job，使用已经为作业定义的集群。

使用参数启动作业非常简单，如下所示

curl -H "Authorization: Bearer <your_token>" -X POST https://<your_databricks_instance_url>/api/2.0/jobs/run-now -d '{"job_id": <ID>, "notebook_params": { "param1": "value1", … } }'

因此，从bash或其他任何地方启动一批作业很简单。

令牌在用户设置中生成。

²必须通过API创建集群是我的恐惧，因为我们使用环境变量、库和初始化脚本。然而，当在API界面上编辑集群属性时，显然可以通过单击“DataBricks”链接一次检索所有这些参数，我猜它可以用来提供给API.

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67702394

复制

相似问题

问在DataBricks中一次提交多个作业
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在DataBricks中一次提交多个作业EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在DataBricks中一次提交多个作业
EN