1回答
我从airflow变量中读取一个整数变量，然后在每次DAG运行时将该值加1，并再次将其设置为该变量。 但是在下面的代码之后，每次刷新页面时，UI处的变量都会发生变化。counter') task_id='echo_start_variable', dag=dag,Variab
浏览 23提问于2021-07-05得票数 2
回答已采纳
我有一个DAG，需要每周二和周五触发(就上下文而言，DAG的目的基本上是在星期二和星期五每周只发布两次ETL数据)。
这个DAG需要捕捉过去。
浏览 0提问于2018-08-01得票数 1
回答已采纳
在我尝试运行其中一个dags之后，我正在尝试通过命令“airflow scheduler”运行任务时，它产生了这个错误。
浏览 1提问于2017-12-08得票数 4
2回答
def create_dag(project, version): dag = DAG(dag_id, default_args=default_args, schedule_interval='*/10 * * * *', catchup=False)
print('creating DAG ' + dag_id)t1 =
浏览 0提问于2018-10-29得票数 6
回答已采纳
3回答
运行airflow list_dags成功，并且无助于调试问题(如所建议的)，即使使用--report也是如此。import pywikibot使用带有user-config.py的verbose_output=0文件，仍然可以从pywikibot输出详细的日志但是，当不导入气流时，它会在没有任何日志输出的情况下运行。
浏览 10提问于2019-11-29得票数 2
1回答
我有以下的文件夹结构在气流达格文件夹。/opt/airflow/dags--my_dag.py当更改dag文件时，它将反映气流中的变化。我也重新启动了<em
浏览 0提问于2018-08-28得票数 0
回答已采纳
一旦气流开始，特定dag的任何dag运行都不会执行，并达到最大活动dag。即使在将dag运行状态设置为成功之后，Scheduler似乎也不会将新调度的任务转移到执行状态。所有活动的dag运行都保持在“running”状态。这只发生在一些狗狗身上。有人能帮帮忙吗？
浏览 0提问于2016-11-15得票数 2
1回答
我正在评估气流作为作业调度工具。( 1)我们能否创建很少的用户，如管理员、开发人员和只读用户？( 2)我们能实现对气流UI 3的访问控制吗？是否有任何dag部署机制？
浏览 0提问于2019-05-29得票数 3
1回答
然而，由于我正在尝试创建动态创建的DAG，所以我使用的是Google，所以我无法使用托管web服务器1。
kubectl get deploy airflow-webserver -o yaml | kubectl对于某些未使用的环境变量，使用kubectl修补
浏览 0提问于2019-01-08得票数 0
1回答
我确实需要知道如何使用气流使多个DAG相互调用(例如DAG_1 >> DAG_2)，类似于它如何使用上游/下游操作符来运行DAG中的任务。我需要知道如何设置这样的气流将运行DAG_1，然后将运行DAG_2一旦DAG_1成功完成。最好是让DAG_1和DAG_2放在气流 DAG 文件夹中，然后
浏览 0提问于2019-09-23得票数 2
回答已采纳
3回答
我试图在上运行这个示例，我发现了一些问题，主要有两个：
DAG是正确执行的，但在任何阶段我都没有看到在气流中可以看到的链接组(Tree，Graph.A. )。即使在执行成功完成之后。我已经检查了服务帐户(默认使用环境创建)是否有权编
浏览 0提问于2018-10-15得票数 4
回答已采纳
因此，我们使用以下方法生成我们的DAG：表加载器DAG的特定运算符使用的RawToRawRC_TableN气流变量，例如:用于操作器处理的RR_TableN = {} // python = {} / python用于操作处理RawToCuration
用户定义宏:在任务定义之间，我们尝试不使用“静态python不幸的是，我们的版本是气流<
浏览 3提问于2021-11-06得票数 1
回答已采纳
>>t_sum_jobx = c，我尝试使用这个变量x为下一个任务需要拍摄的次数定义一个for -循环。不知何故，气流UI是从一个基本编译的.py文件中呈现出来的，并且x的值为0而不是1，即使我在函数中执行了global c。有时，偶然的，气流UI显示值1。我想知道背后的逻辑。如何控制全局变量？对于每个dagrun，我希望将conf从气流模板范围中提取出来，并在全局python区域非气流模板中使用它。我明白，我可以在气流<
浏览 3提问于2021-12-13得票数 1
回答已采纳
我试图在基于用户输入的气流中生成动态工作流。我知道可以选择基于文件和数据库的数据，但在所有这些情况下，工作流将不直接依赖用户输入，如果多个用户正在使用相同的数据，那么在这种情况下也可能会出现问题。
浏览 3提问于2020-11-30得票数 3
回答已采纳
1回答
我定义了一个全局变量timestamp，多个操作符引用这个变量。在运行每个操作符时，似乎会重新定义这个变量？下面是一个最小的可重复的例子。我预计test和test2都会打印相同的时间戳，但它们在气流中打印不同的时间戳(间隔几秒钟)。import datetimefrom airflow.operators.python_operator import PythonOperatorstrftime("%Y%m%d
浏览 6提问于2022-05-24得票数 0
我在气流方面遇到了一个奇怪的错误。我尝试在特定的执行日期内删除任务的Xcom变量；为同一任务创建和使用Xcom变量的另一个实例。SELECT * FROM xcom WHERE dag_id='datamart_integration.tracking_marketing' AND TASK_ID='f
浏览 3提问于2020-12-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
