如何获取在具有dag-id的airflow dag中运行的任务列表？任务之间的连接并不重要。谢谢
假设我有来自"airflow list_dags“的dag-id
浏览 94提问于2019-07-30得票数 2
5回答
我正在尝试使用airflow来定义我想要从命令行手动触发的特定工作流。 "DAG_NAME", schedule_interval=None,default_args=args)airflow tr
浏览 2提问于2016-05-05得票数 24
我正在使用Astronomer运行Airflow v1.10.10。每个dag运行(每天)可以有不同数量的任务。此任务数将由给定dag运行(即当天)的数据库表中的行数定义。我将在dag文件中运行一个查询，并创建一个如下列表：
list = client.query(SELECT * FROM TABLE WHE
浏览 2提问于2021-06-03得票数 0
DAG，每个任务对应于我的颜色列表中的每种颜色。这看起来很好，当我运行时： airflow list_dags 我看到列出了我的dag： data-push 当我跑的时候： airflow list_tasks data-push 我看到我的三个任务出现了它们应该出现的样子： data-push-for-blue
data-pu
浏览 49提问于2020-08-02得票数 1
回答已采纳
1回答
目前，我有一个任务列表，所有的任务都需要在同一时间每天运行，但它们都是相互独立的。我知道我可以设置它们按照一定的顺序运行，即t1 >> t2 >> t3，但是我希望顺序是随机的，所以它们完成的顺序并不总是相同的。如何以随机顺序运行气流任务列表？
浏览 1提问于2020-05-08得票数 0
回答已采纳
编辑：--这是可行的，我定义了ex_func_airflow(var_1 = i)，它导致了问题 task_id = name, op_args = [i], dag=dag)
task_0 >>
浏览 5提问于2019-02-13得票数 3
回答已采纳
在实际的DAG中，我需要首先获得一个ID列表，然后对每个ID运行一组任务。以下应该给你一个想法，我正在寻找什么
浏览 5提问于2022-10-29得票数 1
在AirFlow2.0中，您可以通过运行CLI命令airflow tasks states-for-dag-run来获取dag中任务的状态。(请参阅此处的文档：https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variabl
浏览 66提问于2021-06-17得票数 1
回答已采纳
我使用的是airflow 1.10.12，但发现下游任务会被调度器调度很长时间后其上游任务完成，这是非常奇怪的。例如，这里是甘特图，你可以发现任务是在其上游任务完成1分钟后安排的，有什么方法可以让它运行得更快吗？
浏览 0提问于2020-11-17得票数 0
我正在注册一个新的DAG：from airflow.operators.python_operator import PythonOperatorfrom airflow.utils.dates import days_ago我希
浏览 4提问于2020-06-19得票数 0
回答已采纳
我在/opt/airflow/dags目录下定义了dag文件test1.py。最初，该文件只有一个任务，即test1_task01。在我的GUI中，dag仅在执行一项任务时正确显示。但是，当我将另一个任务添加到我的DAG时，它看起来如下所示：
DAG - test1_task01 <- test2_task01 (representative - not
浏览 4提问于2016-09-29得票数 4
我需要实现一个DAG，它将：2/上传到Google云存储问题是，步骤1涉及到大约170个要呼叫的帐户。如果在下载过程中出现任何错误，我希望我的DAG自动从中止的步骤重试。因此，我在我的任务之上实现了一个循环，例如：
浏览 1提问于2017-07-25得票数 2
1回答
我目前正在尝试设置一个气流监测，理想情况下，当DAG被执行时，它会发送一封电子邮件，在邮件中包含一些有关所有包含的任务的信息，如任务的最终状态、运行时等。我目前未能解决的问题是：
在DAG中将邮件作为组件发送有意义吗？如果是这样的话，我怎样才能简单地保证这
浏览 7提问于2021-04-13得票数 1
回答已采纳
我在我的IDE中寻找运行/调试任务和dags的最佳方法。我看到有两种方法可以这样做。我可以在调试模式下运行airflow test命令，用于特定的进程和可选的任务。其他方法是使用DebugExecutor并运行特定的dag。我看到这两种方法都要求气流数据库已经启动并运行，并且所有池都配置好了(可能还需要队列)。我的问题
浏览 5提问于2020-11-29得票数 5
回答已采纳
是否有一种方法可以在气流中找到 all DagRun实例的最大/最小甚至平均持续时间?也就是说，所有dag中的所有dag，而不仅仅是一个dag。在UI上，甚至在带有编程/命令行示例的页面上，我都找不到可以这样做的地方。
浏览 3提问于2022-06-29得票数 0
我构建了两个DAG( dag_a，dag_b)，并在dag_b中创建了一个ExternalTaskSensor，它可以插入dag_a。同时调度dag_a和dag_b，并使用依赖关系先处理dag_a，然后处理dag_b
手动地独立触发dag_b，而不关心dag_a。dag_b将在ExternalTaskSensor为dag_a停下来，并将永远地
浏览 4提问于2021-05-12得票数 2
我将电子邮件嵌入存储为气流变量，我有一个进程，它的任务之一是使用EmailOperator发送电子邮件。现在出现了这个问题，因为无论如何，当我的发送邮件任务运行到所有收件人时，它都只向列表中的第一个入口发送sla错过通知，在我的示例中，这意味着test1@test.com。下面是我的dag和airlfow变量：
from airflow i
浏览 2提问于2018-09-05得票数 1
回答已采纳
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
我不知道需要运行什么命令才能安排DAG。假设我使用airflow test dag_name task_id_1 2017-06-22测试了DAG，第二个任务使用了airflow test dag_name task_id_2 2017-06我运行了airflow trigger_dag dag_name，但这是为了在那个时刻实例化DAG吗？假设我希望da
浏览 14提问于2017-06-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
