在顺序执行程序下，我有一个DAG文件，其中指定了需要顺序运行的三个任务(t1-->t2-->t3)： 'owner': 'airflow', dag=dag)
t3.set_upstream(t2)我假设顺序</e
浏览 1提问于2017-06-15得票数 1
回答已采纳
我想要有一个基本上看起来像这样的数据管道 ? 在多个任务由相应的pubsub消息触发的情况下，处理来自pubsub消息输入的数据，最后一个任务仅在所有这些工作流完成时触发。我设法使用PubSub触发整个DAG (在此guide之后对PubSub进行了修改)，但它触发整个DAG，而不是单个任务。有没有办法从外部(从Cloud Function/PubSub)触发DAG中的1个任务？编辑 这是我所认为的
浏览 21提问于2021-03-23得票数 1
回答已采纳
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 还有一个必须执行docker命令的气流任务，比如 BashOperator所以，我试着构建自己的airflow image based docker installed image。喜欢, FROM apache/
浏览 27提问于2021-04-15得票数 0
1回答
空气流量限制每日触发
、、、
有一种“自然”(我指的是思维参数)的方法来限制触发dag的次数(比方说每24小时)。我不想计划它，但一些用户可以多次触发相同的dag，出于资源和其他原因，我只想要一次。正如我所看到的，"depends_on_past“只依赖于前一次运行，但它可能是一天中的很多次。Thx
浏览 18提问于2021-08-15得票数 0
4回答
我正在使用airflow cli的backfill命令手动运行一些回填作业。dag间隔是每小时一次，它有大约40个任务。因此，这种回填工作需要一天以上的时间才能完成。我需要它在没有监督的情况下运行。然而，我注意到，即使一个任务在回填间隔中的一个运行中失败，整个回填作业也会停止，并出现以下异常，我必须再次手动重新启动它。datetime.datetime(2018, 1, 30, 17, 5, tzinfo=psy
c
浏览 5提问于2018-09-20得票数 5
在AirFlow2.0中，您可以通过运行CLI命令airflow tasks states-for-dag-run来获取dag中任务的状态。(请参阅此处的文档：https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#state_repeat1)
浏览 66提问于2021-06-17得票数 1
回答已采纳
2回答
我在EC2上运行Airflow 2.0.1，并启用了s3日志。我想禁用在本地(EC2)服务器中创建的日志。 该怎么做呢？
浏览 21提问于2021-06-22得票数 0
回答已采纳
1回答
我想从自定义钩子中导出一个环境变量，并能够在下次钩子初始化时检索该环境变量的值。具体地说，它是一个自定义的SnowflakeHook，我想在其中检查一个预设(在docker-compose文件中)环境变量是否有一个特定值，如果有，在做一些事情后导出另一个环境变量。我为此创建了一个额外的方法，代码如下： env = os.environ['ENV']
user = os.environ['USER'].replace('.这里的问题是导出的变
浏览 7提问于2021-10-04得票数 1
回答已采纳
尝试构建可以在virtualenv环境中安装apache-ariflow的剧本。不能在virtualenv文件夹中执行命令。下面是我的攻略和错误。pip: name=apache-airflow state=present 任务安装airflow > *****************************************=> {"changed": false, "cmd":
> "
浏览 14提问于2019-01-31得票数 0
我有一个包含数万个任务的Apache Airflow DAG，在运行之后，我发现其中有几个任务失败了。 我修复了导致某些任务失败的错误，我只想重新运行失败的任务。这篇SO帖子建议使用图形用户界面“清除”失败的任务： How to restart a failed task on Airflow 如果您有少量失败的任务</
浏览 50提问于2018-12-27得票数 11
回答已采纳
我有一个python/django项目(在docker容器中运行)。有一个数据收集工作流，它是通过celery任务实现的，这些任务相互依赖并并行运行。我希望将所有这些逻辑迁移到apache airflow，因为我认为它适合我的需要，并且启动和重新启动任务、构建更复杂的工作流、监视和调试将更加方便。 我以前从来没有用过气流。我的计划合理吗？
浏览 94提问于2020-08-29得票数 1
回答已采纳
我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。/logs/yamls/pod_template.yamlworker_container_tag = 2.2.3image: apache/airflow:2.2.3
imag
浏览 4提问于2022-01-21得票数 1
我正在尝试通过airflow任务上的SSHHook进行ssh_conn_id连接，但由于sftp连接失败。>, remote_host=<host>,
username=<username>, password=<password>) 我得到的错误是与SQL相关的： sqlalchemy.exc.OperationalError[parameters: (<airflow_connection_name>, 1, 0
浏览 144提问于2021-10-08得票数 0
运行pip install airflow[postgres]命令后获得以下错误：> a GPL "> RuntimeError: By default one of Airflow's dependencies installs a GPL>
浏览 12提问于2018-09-06得票数 63
回答已采纳
在Ubuntu18.4上运行气流时，我已经使用这个链接安装了apache气流“您的气流管理员选择不公开配置，很可能是出于安全原因。更多让我有所帮助的信息是，我创建了一个userairflow并使用sudo完成了所有的安装，所以我的气流信息是：
Paths info/airflow/dags:/home/airflow</em
浏览 5提问于2021-04-11得票数 7
download_file", bucket='bucket-reportes', )
export_audits_to_gcs >> download_file >> email_summary 使用此代码，我创建了一个包含需要发送的数据的表然后
浏览 18提问于2021-08-19得票数 0
回答已采纳
我们有一些任务需要大量的资源，不能以高并行度运行，还有许多其他较小的任务可以以32的并行度运行。 我知道并行性配置 作为对执行器的设置的并行度。这定义了应在此airflow安装上同时运行的任务实例的最大数量，并行度= 32 有没有一种方法可以在整个气流水平上标记任务和不同任务的不同级别的并行性
浏览 10提问于2021-07-30得票数 0
回答已采纳
我正在尝试通过气流运行容器，但收到超时错误： [2021-07-21 07:02:06,176] {docker.py:231} INFO - Starting docker container from_execute_task(context, task_copy) File &
浏览 54提问于2021-07-21得票数 0
回答已采纳
我是airflow的新手，得到了一个为Airflow new服务器添加基本身份验证的任务。我使用以下python代码(来自https://airflow.apache.org/docs/apache-airflow/1.10.1/security.html#password)实现了这一点。settings.Session()
>>> session.add(
浏览 30提问于2021-01-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
