1回答
我有一个Airflow DAG，它需要在一天中的某些时间运行，而不能使用cron表达式建模。时间是: 09:20，17:10和23:59。有什么建议吗？DAG已经完全构建好，当schedule_interval=None和手动触发时，它可以正常运行。已经找了好几天了，但没有成功。
浏览 26提问于2021-08-04得票数 0
日安，
我们用气流来安排我们的工作。所讨论的工作通常安排在2:30，需要相当长的时间。由于有了新的数据源，预计它将运行一整天。由于我们的作业不能并行工作，所以我们将max_active_runs_per_dag设置为1，以确保即使花费超过24小时的时间，也不会出现同一作业的多个实例。一般来说，这似乎是可行的，但
浏览 4提问于2021-01-13得票数 1
回答已采纳
1回答
气流调度，重新运行失败的任务
、、、、
我对气流相当陌生，虽然我已经能够为读(数据存储)和写(Bigquery)编写代码。我无法安排我的工作/任务。我想每2小时运行一次工作，从一个来源读取前2小时的数据。现在，如果任务失败，我想手动重试它，但是对于特定的2小时，它是要运行的。我怎样才能做到这一点？我想到了几件事：
存储原计划运行的作业id和时间范围。气流有一个内置
浏览 1提问于2018-10-28得票数 2
我的气流调度器由于某种原因而下降，当我重新启动它时，所有的DAGS都同时触发了。就好像它正在从失去的工作中迎头赶上。而且，当我修改DAG时，工作流触发。这些意外触发破坏了我的数据并失去了对系统的信任。
是否有一种方法可以防止DAG意外运行，除非它是确切的时间(没有追赶)，或者除非它是手动触发的？
浏览 9提问于2022-09-12得票数 0
回答已采纳
目前，一些作业在不同的Windows中运行。Powershell文件.bat文件python文件运行SSIS包的我们在Ubuntu的气流。我想知道是否有任何方法来触发上述工作在Windows通过气流。
我能举出一些例子来说明如何实现我的目标
浏览 1提问于2020-12-22得票数 1
1回答
我的一些气流dags没有按照计划执行：如你所见，这里有两个dags，应该在02-11上的5:00和8:00UTC运行，但没有运行。这是为0 5,17 *计划的dag定义的相关信息 'owner' : 'airflow', 'retry_delayairflow.uti
浏览 0提问于2021-02-11得票数 1
1回答
我们使用气流已经有一段时间了，真是太棒了。假设我每秒钟运行一个脚本。用气流来安排它的最佳做法是什么：
在每秒调度的DAG中运行此脚本。我非常怀疑这将是解决方案，对于达格兰来说，这是相当大的开销。运行这个脚本在一个时间循环，在6个小时后停止，然后安排它在气流上
浏览 0提问于2018-04-04得票数 5
2回答
在气流中，“甘特”图提供了一个相当好的性能方面的运行任务。它提供开始/结束时间、持续时间等统计数据。我的气流版本是: 1.9 Python: 3.6.3在码头上运行</em
浏览 0提问于2019-05-15得票数 1
回答已采纳
1回答
及时安排火花作业
、、、、
这是每天/每周安排火花作业的推荐工具。1) Oozie 2) Luigi 3) Azkaban 4) Chronos 5)气流
提前谢谢。
浏览 5提问于2017-01-24得票数 1
回答已采纳
1回答
我推荐来设置cron作业。我实现了我从中得到的。首先，我在config.xml文件中添加了cront选项卡。我为我的模块"Ownmodule_Autocancel“所做的工作如下所示： <jobs>*/5 *** php -q /var/www/LIVE/magento/cron.php
C
浏览 3提问于2015-04-02得票数 0
有可能得到气流中dag的实际开始时间吗？我所说的开始时间是指dag的第一个任务开始运行的确切时间。
我知道我可以使用宏来获取执行日期。如果作业是使用trigger_dag运行的，那么这就是我所说的开始时间，但是如果作业是按日计划运行的，那么{{ execution_date }}将返回昨天<e
浏览 2提问于2017-11-03得票数 8
回答已采纳
我们有一个包含6个步骤的DAG，我们观察step1是否在晚上10:39之前完成，step2是否在晚上11:20开始如何解决此延迟问题。我们在DAG步骤和Cloud Logging中看不到任何日志。
浏览 0提问于2020-11-19得票数 0
1回答
我的团队有多个气流工作。频繁运行的作业是得到调度和正常运行的，但运行的作业很少不被调度和跳过。
我主要想要创建一个健康检查DAG，以便在我的作业没有计划和没有运行时得到通知。
浏览 2提问于2019-10-01得票数 2
是否有API或函数可以按需在气流中创建DAG？我们在DagBag文件夹上有超过数千个DAG，计划程序扫描需要相当长的时间，因此性能正在下降。我们已将扫描DagBag文件夹的时间增加到1天，以控制此行为，但创建的每个新的DAG都需要重新启动调度程序，这是我们希望避免的。请给我建议。
浏览 0提问于2020-08-26得票数 1
我正在探索将Airflow用作cron，以便我可以在设置cron时使用它的其他功能。
我通过像"2,3,5,8, * * * *"一样设置cron来测试它的功能。我期待着特定的dag被安排在每小时的第2、3、5和8分钟。然而在现实中，2分钟的dag在3号执行，3号在5号执行，5号在8号执行。而且它根本不会在第8天执行。我猜它会在下一小时的第二分钟执行8号。看起来像是气流中cron表达式的某种bug或未处理的情况。
浏览 2提问于2016-03-14得票数 3
1回答
我有一个作为web服务运行的应用程序，它在用户请求时将作业提交给Spark。每个用户都需要限制作业队列。我计划使用气流作为业务流程框架来管理作业队列，但是虽然它支持并行DAG执行，但它是针对批处理而不是实时优化的。气流是设计用来处理每秒200次DAG执行的多个队列(每个用户一次)，还是我应该寻找替代方案？
浏览 0提问于2018-02-10得票数 6
Apache Airflow有MYSQL表，如dag、dag_run、作业
维护dag元数据字段，包括dag运行时。但是，如果这些表的频率和报告查询负载增加，则让外部查询作业查询这些生产气流表以检查上次运行完成可能不是一个好的设计实践。另一个可能的选择是在airflow dags中添加python代码来维护另一个单独的数据库表，这将保存每个运行的dag任务的dag
浏览 0提问于2018-12-10得票数 0
回答已采纳
作业已启用，计划已启用，代理服务正在运行，但作业未按预期运行。在“作业活动监视器”中，它显示了一个实际上是过去的Next Run。手动运行作业将导致Next Run提前到新运行的正确计划时间，但是当时间到来时，the作业仍然无法运行。
<#>How这个奇怪的问题解
浏览 0提问于2020-03-20得票数 0
回答已采纳
1回答
我有许多工作，目前正在用多个cron计划进行调度。例如，我有一个运行在35 9,13,16 * * mon-fri & 40 16 * * mon-fri上的作业
我想有一个与时间表，运行在9:35，13:35，16:35，16:40星期一-星期五。用气流/cron可以做到这一点吗？
浏览 1提问于2022-03-21得票数 0
2回答
我对气流很陌生。我真的误解了气流计划的“间隔终止调用”规则。来自文档(气流文档)
请注意，如果您在一天的schedule_interval上运行DAG，那么在2016-01-01T23:59之后不久将触发印上2016-01-01 -01的运行标记。换句话说，作业实例在它所涵盖的期间结束后就会启动。，如果
浏览 0提问于2019-08-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
