首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

2.0中的Airflow dag和任务装饰器:如何将配置参数传递给任务?

在Airflow 2.0中,可以使用dag和任务装饰器来将配置参数传递给任务。下面是具体的步骤:

  1. 首先,在定义DAG时,可以使用default_args参数来设置默认的配置参数。这些参数将被应用于DAG中的所有任务。例如:
代码语言:txt
复制
default_args = {
    'param1': 'value1',
    'param2': 'value2'
}

with DAG('my_dag', default_args=default_args, schedule_interval='@daily') as dag:
    ...
  1. 接下来,在定义任务时,可以使用provide_context=True参数来接收上下文信息,包括配置参数。然后,可以通过**kwargs来接收这些参数。例如:
代码语言:txt
复制
@task
def my_task(**kwargs):
    param1 = kwargs['dag_run'].conf.get('param1')
    param2 = kwargs['dag_run'].conf.get('param2')
    ...
  1. 在调用任务时,可以通过conf参数来传递配置参数。例如:
代码语言:txt
复制
dag_run = DagRun.find(dag_id='my_dag_id', execution_date='2022-01-01')[0]
conf = {'param1': 'new_value1', 'param2': 'new_value2'}
dag_run.conf = conf
dag_run.run()

这样,任务my_task就可以通过kwargs获取到传递的配置参数,并进行相应的处理。

对于Airflow 2.0中的DAG和任务装饰器的更多详细信息,可以参考腾讯云的相关文档:

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

没有搜到相关的沙龙

领券