我知道可以重试单个任务，但是否可以重试整个DAG？ 我动态创建任务，这就是为什么我需要重试不是特定的任务，而是完成DAG。如果它不受气流的支持，可能有一些解决方法。
浏览 32提问于2019-10-11得票数 2
我们有一个每天运行的进程，启动几个DAG和子标记。同样，我们希望在过去10天中重新尝试所有失败的dags (成功地自动完成它们)。
有办法使这个重试过程自动化吗？
浏览 4提问于2020-08-09得票数 0
我们有一些DAG的经常运行，有时甚至是片状的重试。只有当DAG (或DAG中的任务)连续多次失败时，我们才会收到警报。也就是说，如果DAG每小时运行一次，我们希望得到一个电子邮件警报，从气流，只有当它失败每小时连续3次。
有什么办法可以配置气流来做到这一点吗？
浏览 3提问于2022-03-06得票数 0
我已经创建了一个dag，该dag在Airflow UI中可用，并将其打开以运行它。运行dag后，状态显示为可重试。在那之后，我去了服务器，使用了命令"Airflow scheduler“，然后dag就成功了。谢谢
浏览 0提问于2020-05-20得票数 1
我想在我的kube操作符中编写先进的重试机制。如果第一次执行失败-使用更多内存重新运行，则以上使用jinja模板的示例无法工作:-(
namespace="developmenttask_instance.try_number}}g'), task_id='bla', <e
浏览 0提问于2019-07-01得票数 0
1回答
我有一个DAG，它是通过查询DynamoDB中的一个列表和列表中的每个项来创建的，这个任务是使用一个PythonOperator创建的，并将它添加到DAG中。dag = DAG(dag_id='my_dag', ...)for task in tasks:
t = PythonOperator(task_id=task['id&#
浏览 3提问于2017-07-15得票数 2
回答已采纳
我创建了一个带有重试计数的气流任务，在运行我的气流测试时，它似乎并不是真正的重试。python_callable=verify_pod_initialization, dag=dag
我正在通过：airflow test hello_world verify_pod_initiali
浏览 2提问于2020-06-02得票数 0
回答已采纳
BashOperator( bash_command="""python3 script.py '{{ next_execution_date }}' """,出于某种原因，我希望脚本退出错误，并指出气流，他应该重试这项任务。_exit(1)，但气流将任务标记为成功。我知道有：
from airflow.exceptions i
浏览 2提问于2018-09-16得票数 0
回答已采纳
4回答
我在气流DAG中有一项任务。它有三个子任务。不幸的是，在某些情况下，这个父任务会成功，但三个子任务中的两个会失败(对子任务的重试不会修复它们)。有没有一种方法可以在dag本身中完成这项工作？
浏览 2提问于2017-12-17得票数 2
我正在尝试调试一个来自气流UI的Broken DAG消息，从的公认答案中调试。但是，在 2.1.0中， airfow list_dags命令现在打印一条使用消息：
file
浏览 1提问于2021-07-15得票数 2
我最近将我的airflow升级到了1.10.2。dag中的某些任务运行正常，而某些任务的重试次数超过指定的重试次数。其中一个任务日志显示-正在启动第26次尝试，共2次。示例Dag - args = { 'depends_on_past': False,
'start_date': datetime(2019,= DAG</em
浏览 27提问于2019-03-13得票数 10
我对气流非常陌生(刚刚开始阅读它)，我有几个问题要问如何确定某项任务是否失败或成功，以及计划重试。说我把任务安排为每周一次。但是如果任务失败，那么我会设置它每10分钟再重试3次。如果失败了，我希望第二天
浏览 2提问于2021-07-19得票数 0
我是新的云作曲家，阿帕奇气流。我和SFTPToGCSOperator有个问题。我正在尝试从远程主机获取csv文件到GCS桶。我附上了一个气流配置屏幕截图，以及完整的代码片段和下面的错误信息，
我非常感谢你在这方面的帮助。reports/output_file-001.csv } INFO -执行gs://apj01_ott_mig_archive
浏览 9提问于2022-08-25得票数 1
2回答
在我的气流DAG中，我有一个任务需要知道它是第一次运行还是重试运行。如果是重试尝试，我需要调整任务中的逻辑。关于如何存储任务的重试次数，我有一些想法，但我不确定其中是否有一个是合法的，或者是否有一个更容易构建的方法来获取任务中的这些信息。
我想知道，在每次任务运行时，我是否可以在进程中添加一个整数变量。然后，如果任务，如果重新运行，我可以检查变量的值，以确定它
浏览 2提问于2018-08-08得票数 9
2回答
如果传感器现在重试，则将timeout变量应用于初始24*60*60的每个新尝试，因此，任务在24小时后不会按预期超时。有没有一种方法可以限制任务的最大时间，比如元超时？气流-版本：1.10.14BASE_DIR = "/some/base/dir/"VOL_BASE_DIR = "/some,
dag=<e
浏览 2提问于2021-04-26得票数 3
6回答
当气流we服务器出现像Broken DAG: [<path/to/dag>] <error>这样的错误时，我们如何在哪里找到这些异常的完整堆栈跟踪？我试过这些地点：
/var/log/airflow/webserver --在执行的时间范围内没有日志，其他日志是二进制的，使用strings解码没有提供有用的信息。/var&#
浏览 9提问于2017-05-12得票数 29
回答已采纳
我在我的IDE中寻找运行/调试任务和dags的最佳方法。我看到有两种方法可以这样做。我可以在调试模式下运行airflow test命令，用于特定的进程和可选的任务。其他方法是使用DebugExecutor并运行特定的dag。我看到这两种方法都要求气流数据库已经启动并运行，并且所有池都配置好了(可能还需要队列)。我的问题是：
这两者之间的主要区别是什么？是否有一种方法可以在不运行气流数据库和创建依赖的
浏览 5提问于2020-11-29得票数 5
回答已采纳
2回答
使用apache气流，我创建了一些DAGS，其中有些不按计划运行。编辑？？python脚本将从一个与我所有的DAGS所在的项目不同的项目中运行。
浏览 5提问于2020-02-04得票数 9
回答已采纳
4回答
我需要任务的状态，就像它在同一个进程中运行、重试或失败一样。所以我试着用下面的代码得到它，虽然我没有输出.python_callable=execute_on_emr, dag=dag)
其目的是在气流中的某一特定任务完成后，终止某些运行任
浏览 3提问于2017-05-02得票数 20
1回答
我正在试验气流，以取代我们现有的cron编排，一切看起来都很有希望。我不使用芹菜，调度器和yes服务器都运行在同一台主机上，是的--需要调用远程执行(在此之前处理某种形式的本地执行)，而且没有人不能在远程服务器上安装气流，达格应该在协调世界时凌晨1点每天运行一次，按照我给它的任务设置路径从builtins导入的气流范围从airflow.operators.bash_operator导入BashOperator，从airflow.models导入DAG从日期时间导入<em
浏览 1提问于2017-06-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
