在Airflow 2.0中,可以使用dag和任务装饰器来将配置参数传递给任务。下面是具体的步骤:
default_args
参数来设置默认的配置参数。这些参数将被应用于DAG中的所有任务。例如:default_args = {
'param1': 'value1',
'param2': 'value2'
}
with DAG('my_dag', default_args=default_args, schedule_interval='@daily') as dag:
...
provide_context=True
参数来接收上下文信息,包括配置参数。然后,可以通过**kwargs
来接收这些参数。例如:@task
def my_task(**kwargs):
param1 = kwargs['dag_run'].conf.get('param1')
param2 = kwargs['dag_run'].conf.get('param2')
...
conf
参数来传递配置参数。例如:dag_run = DagRun.find(dag_id='my_dag_id', execution_date='2022-01-01')[0]
conf = {'param1': 'new_value1', 'param2': 'new_value2'}
dag_run.conf = conf
dag_run.run()
这样,任务my_task
就可以通过kwargs
获取到传递的配置参数,并进行相应的处理。
对于Airflow 2.0中的DAG和任务装饰器的更多详细信息,可以参考腾讯云的相关文档:
没有搜到相关的沙龙
领取专属 10元无门槛券
手把手带您无忧上云