我有两个DAG，需要用Airflow 1.10.2 + CeleryExecutor来运行。第一个DAG (DAG1)是从s3到Redshift的长时间数据加载(3+小时)。通过确保两个DAG1被安排为同时启动(两个DAG1的schedule=为“0 8 *”)，并且DAG2依赖于DAG1中的最后一个任务，我可以成功地让DAG2等待DAG1完成。时</em
浏览 366提问于2019-05-21得票数 2
我正在使用来调度批处理作业。我有一个每晚运行的DAG (A)和另一个每月运行一次的DAG (B)。B依赖于A已成功完成。但是，B需要很长时间才能运行，因此我希望将其放在单独的DAG中，以便更好地报告SLA。
如何使运行DAG B依赖于在同一天成功运行DAG A？
浏览 3提问于2016-06-25得票数 45
回答已采纳
2回答
复杂气流交叉DAG依赖性
、、、
在我的气流中有两种类型的DAG：
每小时三次DT1s触发。一次DT2 -每天触发一次(~10或11 PM)。但是，只有在过去一小时所有三个DT1s都处于“成功”状态时<
浏览 17提问于2022-06-13得票数 0
我构建了两个DAG( dag_a，dag_b)，并在dag_b中创建了一个ExternalTaskSensor，它可以插入dag_a。同时调度dag_a和dag_b，并使用依赖关系先处理dag_a，然后处理dag_b
手动地独立触发dag_b，而不关心dag_a。对于ExternalTaskSensor，用例1工作得很好。但
浏览 4提问于2021-05-12得票数 2
假设我有一个DAG ，包括一些任务，这些任务依赖于DAG B中另一个任务上的外部传感器。问题是DAG</em
浏览 9提问于2021-11-03得票数 1
回答已采纳
在airflow中，有没有一种方法可以将depends_on_past用于整个DagRun，而不仅仅是应用于任务？我每天都有一个DAG，周五的DagRun在第四个任务上出错了，但是周六和周日的DagRuns仍然按计划运行。使用depends_on_past = True会在相同的第4个任务上暂停DagRun，但是前3个任务仍然会运行。我想要的是一种方法，配置一个DagRun不启动，如果前一个DagRun失败，不启动和运行</e
浏览 2提问于2017-11-28得票数 13
我试图使用气流1.10.11中的ExternalTaskSensor来管理坐标。import ExternalTaskSensor "test_launch_sensors) task_id="wait_for_dag"
浏览 16提问于2020-10-06得票数 5
回答已采纳
我们在Airflow中使用Local Executor来调度作业。当dag文件的数量增加时，我们面临着Dag运行中的缓慢，Dag内部的任务拾取处理非常缓慢。 目前我们保存了大约30个dag文件。每个dag最多有2到4个任务。 我们尝试了较少的dag数量，我可以看到它运行得很快。 我们可以在气流中使用</
浏览 17提问于2020-08-22得票数 2
我正在尝试创建一个DAG，它依赖于其他几个不应该同时运行的DAG。我使用的是ExternalTaskSensor操作符，效果最好：传感器任务(如sense_dag_1 )依赖于DagRun对象来查找最新的execution_date (例如dag_1 )。这在“手动”创建任务时运行良好，如示例所示：
sensor = ExternalTaskSensor</em
浏览 14提问于2021-01-11得票数 0
回答已采纳
我正在尝试实现两个DAG之间的DAG依赖，比如A和B。DAG A每小时运行一次，DAG B每15分钟运行一次。
如果DAG A没有运行
浏览 4提问于2021-05-29得票数 4
我写了这样的代码：import time
from airflow.operators.dummy_operator import DummyOperatorfrom airflow import DAGfrom airflow.operators.python_oper
浏览 5提问于2021-03-06得票数 4
1回答
我们有许多DAG计划每天使用气流运行。依赖项已使用ExternalTaskSensor、TriggerDagRunOperator和自定义运算符启用。示例：DAG A中的任务3依赖于DAG C中的任务4
DAG A中的任务5<
浏览 0提问于2017-06-16得票数 0
合并gitlab代码后，触发了airflow dag，如何获取合并后的gitlab的commit_id和分支信息
浏览 16提问于2021-08-10得票数 0
我试图让气流ExternalTaskSensor工作，但到目前为止还没有能够使它完成，它似乎总是被卡住运行，永远不会完成，这样DAG可以转移到下一个任务。owner': 'NAME', 'start_date': datetime(2019, 9, 9),
浏览 1提问于2019-09-25得票数 3
在我的本地机器上，我创建了一个虚拟环境并安装了Airflow。当dag或plugin需要python库时，我会通过pip将其安装到相同的virtualenv中。如何跟踪哪些库属于dag，哪些库用于airflow本身？我最近删除了一个dag，并想移除它正在使用的库。这相当耗时，我祈祷我没有删除正在被另一个dag使用的东西！
浏览 5提问于2019-07-04得票数 9
有一个像这样的test_dag_father：from datetime import datetime, timedelta
from airflow.operators.bash_operatorimport ExternalTaskSensor
WORKFLOW_DAG_ID = "test_dag_fa
浏览 3提问于2020-11-26得票数 0
过了一段时间(2分钟后)，我触发了"External_test_B“DAG，它只运行一个任务first_task。当task：first_task为success时，来自"External_test_A“的Poking for External_test_B.first_task应该完成，返回success并运行来自"External_test_A”的second_task任务。__":
dag.cli(
浏览 280提问于2021-01-22得票数 1
我刚加入一家新公司，我试着在使用它的时候学习气流。到目前为止，除了外部任务传感器之外，我已经掌握了大多数事情的基本知识。我有两个DAG，DAG的调度间隔为"0 6 * * *"，DAG的调度间隔为"0 7 * * *"，DAG等待DAG在继续之前完成。然而，DAG有时需要3小时才能完成，而在其他时候则需要10+时间。我创建了一个ExternalTask传感器，如下所示，但它从不触发和超时，即使在
浏览 18提问于2022-11-24得票数 2
回答已采纳
Airflow允许您将dags所依赖的依赖项(外部python代码到dag代码)放在dag文件夹中。这意味着那些外部python代码中的任何组件/成员或类都可以在dag代码中使用。然而，在这样做时(在云中的GCS文件夹中)，依赖项的组件对dag不可用。在气流Web中显示了一个类似的错误:断开的DAG: /home/ Airflow /gcs&
浏览 0提问于2018-05-16得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
