1回答
我有一个运行一些雪花操作符的DAG，并且在SQL文件中，我将日期模板化如下： '{{ prev_execution_date.subtract(minutes=15).in_tz('America/Toronto我还希望能够手动触发DAG并传入日期，因此我在查询文件中尝试了以下操作 {{ dag_run.conf['startdate'] if dag_run else prev_execution_date.subtract(minutes=15).in_tz('
浏览 40提问于2021-04-08得票数 0
回答已采纳
我正在尝试弄清楚在airflow中是否有一种有用的方法可以将dag中的执行日期传递给GKEPodOperator参数。这是我的代码： with DAG( default_args=default_args,
end_date = '{{ ds }}'
浏览 19提问于2019-07-04得票数 0
回答已采纳
我们使用气流来调度每日的数据库导出使用。这似乎不适用于气流宏。我们试图使用where子句中的执行日期宏或{{ ds }}导出1天数据。使用宏非常重要，因为我们希望我们的DAG能够回填。instance='instance', dag=dag)
任务运行并被标记为成功，但是，创建的文件中没有数据当我们硬编码日期时，查询将按预期的方式工作。因
浏览 11提问于2020-12-16得票数 1
回答已采纳
我试图通过气流中的OracleOperator调用一个包含多个语句的sql文件，但是它会给多个语句带来以下错误调用DROP_OBJECTS('TABLE_XYZ')；
创建表TABLE_XYZ/operators/oracle_operator.py"，第63行中在执行"/usr/local/lib/python3.6/site-packages/
浏览 1提问于2019-06-18得票数 1
我尝试使用我的自定义http操作符(扩展simpleHttpOperator )在我的http请求的headers值中使用模板。似乎只在数据字段中支持模板。如何在headers字段中实现同样的功能。我想要传递模板化的授权头。请在下面找到我的代码。import airflowfrom air
浏览 22提问于2019-06-25得票数 0
回答已采纳
1回答
我正在使用airflow 2稳定的rest API来触发dag。我已经创建了一个自定义的DAG，它从MySQL (2个表) join on key中获取输入。在API的主体中，我必须像下面这样发送一些参数，这些参数将决定连接哪两个表。":"student","key_1":"id","database_2": "test","table_2": "c
浏览 45提问于2021-03-19得票数 0
回答已采纳
我想使用执行日期作为我的sql文件的参数：dt = '{{ ds }}'
task_id='s3_to_redshift
浏览 4提问于2017-06-13得票数 15
回答已采纳
我在airflow web UI中创建了一个变量，并尝试获取并回显它。task_id='start', dag=dag在运行scheduler和webServer的服务器中，$airflow test命令响应我在web中创建的值。在运行worker的服务器中，$airflow
浏览 0提问于2018-03-19得票数 2
每当我向email_task添加文件参数时，我都会得到一个失败的运行。subject='Forecast for the day', files=['/home/airflow/sample.html'],
dag=dag) 我收到一个找不到该文件的错误。airflow在哪里挑选我的文件，
浏览 25提问于2021-07-01得票数 6
我需要实现自定义电子邮件操作员的html_content动态，因为我们有不同的工作不同的html_content。另外，我需要值是动态的，例如，rows和filename 下面的示例是其中一个电子邮件正文： The `filename` has been delivered.
浏览 26提问于2020-06-16得票数 0
回答已采纳
我想发送一个HTTP请求，它的参数取决于依赖的Python callable的结果。我正在尝试使用XComs来实现此目的。params={ },不幸的是，在检查了HTTP请求的选项后，我发现宏没有正确计算，而不是0，而是发送了{{ ti.xcom_pull(&
浏览 5提问于2017-08-23得票数 5
我们可以在气流后置参数中传递数组列表吗？我在尝试像这样的东西在“s3_to_redshift.sql”中。下面是我的运算符： task_id='s3_to_redshift',
postgres_conn_id='redshift
浏览 4提问于2020-02-12得票数 0
我试图通过传入sql文件的路径来创建一个SnowflakeOpereator。sql='sql/test.sql',但是，运算符失败，因为它尝试将sql/test.sql作为sql语句执行，而不是将SQL文件作为模板化sql读取。我还尝试创建了一个继承自BaseOperator的自定义运算符，并添加了以下模板字段：
template_fields
浏览 0提问于2020-05-22得票数 0
我已经设法在我的Airflow 1.10.15dag中检索到了执行参数，但只能在here描述的模板化参数(如PythonOperator和BashOperator)下进行检索 我需要在未模板化的运算符字段中使用execution参数，即GoogleCloudStorageToBigQueryOperator - field_delimiter和其他一些字段。这是完全可能的吗？有其他选择吗？ 谢谢
浏览 22提问于2021-05-07得票数 1
当从UI本身触发dag时，我试图找到一种方法来泛化它的传递参数，我知道我应该将它作为键/值对格式传递，但我不知道如何在dag脚本本身中解析这些参数 例如，如果我传递配置对{"dir_of_project":"root/home/project"} 我应该在dag脚本中做什么，这样才能在其中包含一个名为dir_of_project的变量，该变量等于上面的路径，这样我就可以在代码中进一步使用它。我试图在脚本中执行以下操作，但显然我这样做是错
浏览 10提问于2021-02-04得票数 3
1回答
我对Python和jinja非常陌生，我需要一些关于以下问题的帮助。my_variable=input('insert the variable:')
接下来，在用户选择设置my_variable=2的</em
浏览 1提问于2022-05-20得票数 1
我的DAG中有一个python操作符和BigQueryInsertJobOperator。python操作符返回的结果应该在参数字段中传递给BigQueryInsertJobOperator。下面是我正在运行的脚本。下面是查询的转换方式。
浏览 27提问于2021-08-12得票数 0
有没有办法从手动的DAG运行中传递JSON配置(从dag_run.conf['attribute']到KubernetesPodOperator？尝试在YAML中的模板字段上使用Jinja模板，但得到错误dag_run is not defined。namespace=NAMESPACE, service_account_na
浏览 8提问于2021-06-22得票数 0
回答已采纳
Airflow -无法对Kubernetes Pod操作员任务中的资源使用jinja模板。能够为环境变量、图像使用jinja模板，但不能为资源指定CPU和内存(请求和限制)。
浏览 31提问于2021-11-29得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
