我正在尝试为我的所有dags设置两个默认值。为此，我使用以下代码在Airflow的主目录中创建了文件airflow_local_settings.py (尝试遵循https://airflow.apache.org/docs/apache-airflow/stable/concepts.html#dag-level-cluster-policy中的示例)： def dag_policy(dag: DAG
浏览 7提问于2021-04-20得票数 1
回答已采纳
通过GCP命令将文件上传到DAG文件夹后，我想检查是否创建了DAG。我可以知道检查是否创建了暂停的DAG的命令吗？在这个问题中，我提到了"Pause DAG“，因为我使用的是"core-dags_are_paused_at_creation=true”配置。
存在load_dags，但它仅返回未暂停的DAG。
浏览 3提问于2020-01-14得票数 0
我已经读过，气流追赶特性应用于还没有状态的任务实例--即调度程序将获取DAG尚未运行的任何执行日期(从给定的start_date开始)--这是正确的吗?如果是，这是否意味着追赶不适用于失败的DAG运行？
我正在寻找一种方法来回填任何失败的执行日期，而不是根本没有运行。
浏览 2提问于2021-09-27得票数 0
回答已采纳
我在DAG中有两个Exchange 2010服务器和一个见证服务器来实现邮箱弹性。两个Exchange服务器位于两个子网中，因此Windows故障转移群集有两个IP地址资源。现在Exchange使用了Windows故障转移群集的“核心功能”，但它并不使用所有功能。我的设置似乎也有效，但是如果我在Windows故障转移群集管理器中运行验证，它会抱怨其中一个IP地址资源脱机。但是，我不能将此资源联机，因为服务器抱怨“指定的群集节点不是资源
浏览 0提问于2011-01-14得票数 1
回答已采纳
2回答
AFAIK，DAG中的'params‘参数是在python代码中定义的，因此不能在运行时更改。
浏览 6提问于2017-11-21得票数 18
回答已采纳
因此，我的目标是用BigQueryOperators创建一个Dag，我可以在SQL中使用参数化的目标表发送气流。我检查了很多关于如何向PythonOperators发送参数的主题，以便用气流中的-conf调用它们，但我不知道如何将同样的方法应用于BigQueryOperators的参数。我的dag.py看起来是这样的：import blabla..
from airflow.contrib.operators.bigquery_operator importwrite_di
浏览 2提问于2021-03-19得票数 0
回答已采纳
我的最终DAG将如下所示： ? 据我所知，TaskGroup是目前实现这一目标的首选解决方案。问题是，我还需要控制并行执行多少提取操作，因为我没有足够的本地磁盘空间来存储所有数据，而且显然subDag操作符不符合池设置，而TaskGroup也没有池设置。 你知道有什么方法可以做到这一点吗？也许我的DAG不应该这样设计。
浏览 64提问于2021-07-08得票数 1
3回答
在我的一些Apache Airflow安装中，计划运行的DAG或任务即使在调度程序似乎没有完全加载时也不会运行。如何增加可以并发运行的DAG或任务的数量？
浏览 2提问于2019-05-30得票数 45
回答已采纳
1回答
我们过去常常使用以下参数在Hadoop群集上运行spark作业： { 'num_executors': 10, }
} 我们现在正在将作业移动到Dataproc，但我们无法重现相同的配置： 我们设置一个集群s/d
浏览 33提问于2020-03-23得票数 1
对于Apache气流来说是新的，并且对代码和数据是如何在多节点气流设置中跨工作节点使用的很好奇。当考虑ETL逻辑应该位于dag中的dag中，还是在dag中的操作符调用的单独文件中时，我从这里(https://www.astronomer.io/guides/dag-best-practices/)看到：
试着像配置文件一样对待DAG文件，并为钩子和操作符留下所有的重担。由此，我的问题是
浏览 0提问于2019-10-08得票数 1
回答已采纳
我确保设置了用于airflow命令的环境变量(例如，AIRFLOW_HOME)和python-dotenv，以便在木星笔记本中加载.env文件。中使用的airflow connections add ...连接。我确实看到了Sqlite中的所有气流数据库表。
from airflow.api.client.local_clie
浏览 8提问于2022-02-24得票数 1
2回答
我有一个DAG，我需要回填很多日期。由于资源原因，我认为最好的选择是在开始日期和结束日期之间创建一个日期列表，并在for循环中运行任务。应该有一个函数将所有日期(格式化后)返回给变量并在for循环中运行DAG任务，还是日期列表应该是作为任务运行的函数的一部分，然后以某种方式使用Xcom发送日期列表？如何将其分配给具有xcom拉(但不需要任务)的变量？
浏览 8提问于2022-08-24得票数 0
1回答
我从airflow变量中读取一个整数变量，然后在每次DAG运行时将该值加1，并再次将其设置为该变量。 但是在下面的代码之后，每次刷新页面时，UI处的变量都会发生变化。counter') task_id='echo_start_variable', dag=dag,Variable.set("counter", int(coun
浏览 23提问于2021-07-05得票数 2
回答已采纳
我需要实现一个DAG，它将：2/上传到Google云存储问题是，步骤1涉及到大约170个要呼叫的帐户。如果在下载过程中出现任何错误，我希望我的DAG自动从中止的步骤重试。因此，我在我的任务之上实现了一个循环，例如：
浏览 1提问于2017-07-25得票数 2
我已经阅读了Airflow关于的常见问题，但我仍然不清楚为什么不建议使用动态start_date。据我所知，DAG的execution_date由所有DAG任务之间的最小start_date决定，随后的DAG运行是在最新的execution_date + schedule_interval上运行的。如果我将我DAG的default_args start_date设置为，比如说，昨天在20:00:00，schedule_interval为1天，这将如何中
浏览 0提问于2016-12-14得票数 17
刚开始使用气流，想知道构建大型DAG的最佳实践是什么。对于我们的ETL，我们有许多属于逻辑分组的任务，但是组之间是相互依赖的。下列哪一项将被视为最佳做法？一个包含该文件中所有任务的大型DAG文件
也愿意听取其他建议。
浏览 1提问于2017-01-05得票数 15
回答已采纳
以下是我的步骤：[2017-04-19 15:32:38,391] {__init__.py:57} INFOexample_bash_operator @ 2017-04-19 15:32:38: manual__2017-04-19T15:32:38, externally triggered: True>
$ airflow dag_statemodels.py:167} INFO - Filling up the DagBag from /Use
浏览 10提问于2017-04-20得票数 31
1回答
我使用Bitnami的预先包装的气流多层结构，在这里可以找到：
所有节点都有一个共享卷来同步DAG文件。/opt&#
浏览 3提问于2020-04-29得票数 1
3回答
使用python 2.7运行Airflow 1.9.0。如何优雅地停止DAG？在这种情况下，我有一个DAG，它使用错误的代码运行文件上传，导致所有事情花费4倍的时间，我真的不希望等到它最终超时的一天(超时设置为10小时)。
DAG查找tar文件。我找不到任何方法来阻止DAG。我试着点击"DAG Runs“栏中的"Running”圆圈(右边的那个)。它允许我选择进程并将其标记为“失败”。但它并没有停
浏览 1提问于2018-03-01得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
