我已经配置了气流与芹菜工人和芹菜经纪人是redis。所有的服务都在运行，我正在通过for为芹菜工人和任务进行监控。 当我在airflow数据库中运行此查询时 select count(*), executor_class, min(start_date), max(start_date) from airflow.job where
start_date > '2020-01-17' group by executor_class; 我看到很多工作都有executor_class作为NoneType： ? 我已经按照1.10.6文档中的要求配置了气流。但从202
浏览 16提问于2020-01-26得票数 0
1回答
我用CeleryExecutor在库伯奈特运行气流。气流提交和监测火花作业使用。
我的流火花作业的运行时间非常长(除非它们失败或被取消，否则它们将永远运行)。当流作业运行时，气流工作者的吊舱被杀死时，会发生以下情况：
关联的任务变成僵尸(运行状态，但没有心跳的进程)
当气流回收僵尸时，任务被标记为失败。
火花流作业继续运行
，我怎么能强迫工人在我的火花工作关闭之前杀死它呢？
我试过用一个术语信号杀死芹菜工人，但显然这会导致芹菜停止接受新任务，等待当前任务完成()。
浏览 4提问于2020-07-28得票数 0
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的设置应该可以访问DAG文件夹和环境，与气流服务器相同。我想知道如何在这些服务器中启动芹菜工人，这样气流就可以从python应用程序的手动工作流中执行相同的任务。如果使用命令“气流芹菜工人”启动员工，则无法访问应用程序任务。如果
浏览 5提问于2021-05-27得票数 1
回答已采纳
我可以创建一个“气流工作者”(用芹菜执行器)，但我不知道如何正确地杀死它。我的印象是创建了许多子流程，但我不知道如何优雅地关闭它们。
提前谢谢。
浏览 21提问于2018-02-26得票数 3
回答已采纳
新的气流，所以道歉，如果这个问题没有真正的意义。在webserver中是否有一个命令或位置可以看到所有正在运行的工作人员的列表？另外，如果没有使用airflow worker显式启动芹菜工作节点，是否存在使用not服务器或调度程序初始化的“默认”工作人员？
浏览 1提问于2020-11-17得票数 2
回答已采纳
我们使用的气流2.0.1与以下设置：
芹菜执行器和4个节点上的4个工作人员。大多数任务运行一些通过启动的Hadoop应用程序，只是默认队列。
首先，我们建立了自己的作业，更新了run_as_user用户的Kerberos票证。在大约一周的时间里，它运行良好，然后一个工人开始失败，因为失去了Kerberos的票。我们找不到上次成功运行和失败作业之间的任何更改；节点上有一个有效的票证；因此我们停止了工作。第二天，我们完全重新启动了气流，所有工人都报告说没有Kerberos的机票。暂时，当kinit在DAG中运行并根据启用Kerberos时，我们可以用一个工作人员运行作业。
问题是
如果有人可以更详
浏览 0提问于2021-05-26得票数 3
我想(以编程的方式)检查某个芹菜工人是否正在执行任何任务。我不在乎在哪里执行解决方案，它可以在气流调度程序/db机器上，也可以在气流工作机器本身上。
我已经检查过了：，但是这只会检查是否在所有工作人员之间运行任务。我想检查是否某个特定的工作人员没有正在运行的任务，这样我就可以停止该工作人员(缩小规模的工作人员)。
我也安装了flower，我可以监视成功/失败的任务，但我不确定这些是否对我有帮助。
队列不被使用，但如果需要，可以使用。
我能否监控这些过程，看看他们的父母是否是气流工作者/芹菜之类的？
有什么想法吗？
浏览 7提问于2021-01-15得票数 1
回答已采纳
我有使用芹菜和红宝石的气流集群。我有一个要在所有员工身上运行的任务。我该怎么做呢？
原因:我们根据工人负载增加和减少气流工人。我必须在所有节点上运行一个任务。
谢谢你的帮助。
浏览 0提问于2017-07-21得票数 2
我正在从事一个Dockerized /Django项目，其中包括一个用于芹菜工人的容器，我一直在将现成的气流码头容器集成到其中。
我已经在预先存在的容器中成功地运行了芹菜任务，方法是使用指定的redis代理和后端实例化芹菜应用程序，并通过send_task进行远程调用；然而，芹菜任务执行的日志记录都不能返回到气流日志。
最初，作为一个概念的证明，因为我对气流完全陌生，我把它设置为运行相同的代码，方法是将它暴露在气流容器中，并创建气流任务在气流芹菜工人容器上运行它。这确实导致捕获了所有的日志记录，但这绝对不是我们希望它架构的方式，因为这使得气流容器由于django项目的依赖项的重复而变得非常胖。
浏览 6提问于2022-06-08得票数 1
3回答
我在官方的气流文档中读到
这到底是什么意思？作者提出的扩大规模是什么意思？也就是说，当不足以使用气流，或者什么时候有人会使用气流和芹菜之类的东西结合使用？(dask相同)
浏览 0提问于2018-03-15得票数 24
回答已采纳
1回答
我正在评估我目前从芹菜执行器到Kubernetes (K8s)执行器的气流部署，以利用资源的动态分配和由荚提供的任务的隔离。
显然，我们可以使用本机KubernetesPodOperator通过K8s执行程序在K8s集群上运行任务。但是，我无法找到有关K8s执行器与其他操作符(例如bash和雅典娜)之间的兼容性的信息。
，这是一个问题，是否可以在K8s驱动的气流上运行bash (或任何其他)操作员，或者我应该将我的所有任务迁移到KubernetesPodOperator？
谢谢!
浏览 1提问于2020-11-18得票数 2
回答已采纳
1回答
我在S3中有pyspark代码，我将执行它们，并用Pyspark编写测试用例，并将其加载到雪花中。我的工作每天运行1分钟，如果工作失败也需要日志记录。
我是新的aws，如何触发一个新的EMR和执行电火花作业？我知道我们可以通过气流来做这件事，我们可以通过AWS或者其他任何方法来做吗？
什么是更好的气流或AWS数据芹菜在成本或容易？
谢了，习
浏览 27提问于2022-02-22得票数 1
我们有芹菜执行者的气流部署。
我们的许多DAG需要对BashOperator或PythonOperator中的某个文件执行本地处理步骤。
但是，根据我们的理解，给定DAG的任务可能并不总是调度在同一台机器上。
到目前为止，我收集到的任务之间的状态共享选项：
使用Local Executors -这可能满足一个团队，取决于负载，但可能不会扩大到更广泛的公司。
XCom 使用--这有大小限制吗？可能不适合大文件
为需要在中间进行本地处理的每个任务组合编写自定义运算符。这种方法减少了任务的模块化，需要复制现有操作符的代码。
使用芹菜队列将DAG路由到同一个工作线程( worker，)
浏览 0提问于2018-02-12得票数 15
1回答
气流1.9 -任务卡在队列中
、、、、
来自PyPy的最新Apache气流安装(1.9.0)
设置包括：
阿帕奇气流
阿帕奇-气流芹菜
RabbitMQ 3.7.5
芹菜4.1.1
波斯特格斯
我在3台主机上安装了这个系统。
主机#1
气流网络服务器
气流调度器
RabbitMQ服务器
Postgres服务器
主机#2
气流工人
主机#3
气流工人
我有一个简单的DAG，它执行每1分钟运行一次的BashOperator任务。我可以看到调度程序“队列”--然而，它会被添加到一个芹菜/RabbitMQ队列中，并被工作人员捕获。我有一个定制的RabbitMQ用户，
浏览 1提问于2018-05-21得票数 0
在早期版本的气流1.8中，我们的团队能够手动运行DAG，即使start_date被设置为未来的日期。在我们用芹菜安装机群将气流升级到1.10.1之后，这种情况现在还没有发生。
在气流的不同版本之间有什么变化。
浏览 2提问于2019-02-25得票数 3
回答已采纳
使用它的，气流可以报告公制executor.queued_tasks以及其他一些。
我正在使用CeleryExecutor，需要知道芹菜经纪人有多少任务在等待，所以我知道什么时候应该产生新员工。事实上，我设置了我的工人，使他们不能同时承担许多任务。这是我需要的指标吗？
浏览 2提问于2020-02-01得票数 0
回答已采纳
我想知道气流任务是否可以在HTTP上得到请求时执行。我对气流调度部分不感兴趣。我只想用它代替芹菜。
所以一个例子就是这样的操作。
用户提交请求某些报表的表单。
后端接收请求并向用户发送请求已收到的通知。
后端然后调度作业使用气流立即运行。
然后，气流执行一系列与DAG相关的任务。例如，先从红移中提取数据，从MySQL中提取数据，对两个结果集进行一些操作，将它们组合起来，然后将结果上传到S3，发送一封电子邮件。
无论我在网上读到什么，您都可以通过在命令行上执行airflow ...来运行气流作业。我想知道是否有一个python可以执行同样的事情。
谢谢。
浏览 6提问于2017-02-22得票数 32
回答已采纳
在Gcp中是否有一种方法来验证芹菜是否上升或下降，因为我们所有的气流作业都进入队列状态而没有被执行。(气流在谷歌云中运行)
浏览 6提问于2022-03-25得票数 0
1回答
我们目前有一堆独立的作业运行在不同的服务器上&正在使用crontab进行调度。我们的目标是有一个跨服务器的所有作业的单一视图，以及它们是否成功运行等等。
气流是我们正在考虑使用的工具之一，以实现这一点。但是我们的服务器配置非常不同。是否可以设置气流，以便DAG1 (以及气流调度器& webserver)在server1上运行，DAG2在没有RabbitMQ的server2上运行。
本质上，我想实现类似于这里给出的第一个答案(或者只是在DAG级别上)：以最快和最简单的方式实现！
谢谢
浏览 1提问于2022-01-14得票数 0
我正在FastAPI应用程序中使用FastAPI。我有一个表，存储异步任务。然后，使用APScheduler，我希望每小时读取这个表，并向队列中添加新作业(表的每一行一个)。这些工作很轻，所以我觉得用芹菜太过分了。但是，我很难在APScheduler的另一份工作中开始一项工作。那么，问题是如何在另一个作业中添加一个作业？任何想法或帮助都会受到赞赏。
浏览 15提问于2022-01-19得票数 1
目前，我正在使用气流与芹菜执行器+redis一起运行dags，并且我已经将execution_timeout设置为在S3密钥传感器中工作12小时，但每次重试都会在一小时内失败。
我尝试在visibility_timeout中更新airflow.cfg = 64800，但问题仍然存在。
file_sensor = CorrectedS3KeySensor(
task_id = 'listen_for_file_drop', dag = dag,
aws_conn_id = 'aws_default',
poke_interval = 15
浏览 2提问于2019-08-07得票数 1
回答已采纳
2回答
我在码头集装箱里运行气流。我创建了一个单独的容器来运行Postgres服务器和Rabbitmq服务器，通过遵循这个漂亮的连接这些容器。现在，我的气流码头集装箱正在运行，并连接到其他集装箱使用码头网络-过程到目前为止顺利。问题是如何在同一个容器中运行airflow webserver、airflow scheduler和airflow worker。经过一些研究，我发现:建议在一个容器中运行一个服务。现在我有两个解决方案
在同一个气流容器中运行多个服务--我想不出一个简单的实现方法，就是在码头上安装一个新的bee。
创建单独的容器来运行芹菜工人和气流调度器--但是在airflow.cfg
浏览 0提问于2017-08-02得票数 3
回答已采纳
"rabbitmqctl list_connections“显示为正在运行，但在connections选项卡的UI上，在客户端属性下，我看到了"connection.blocked: true”。
我可以看到消息在RabbitMq中排队，连接处于空闲状态。
我把芹菜放在气流中。我的作业根本没有执行。
这是作业不执行的原因吗？
如何解决此问题，以便我的作业开始运行
浏览 2提问于2017-05-10得票数 1
由于执行上的一些限制，我们离开了气流1.10.0中的芹菜执行器，现在我们正在使用KubernetesExecutor。
现在，我们无法并行化某些DAG中的所有任务，即使我们直接更改代码中的subdag_operator：
我们的期望是，通过这些修改和使用Kubernetes执行器，我们可以同时扇出所有任务的执行，但是我们有相同的SequentialExecutor行为。
这就是我们现在的行为：
我们希望使用KubernetesExecutor同时执行所有这些命令。
浏览 2提问于2018-09-03得票数 9
回答已采纳
4回答
我目前正在使用EC2实例在Amazon服务上使用气流。最大的问题是实例的平均使用率约为2%.
我希望使用一个可伸缩的体系结构，并且只在作业期间创建实例并终止它。我在路线图上看到，AWS批处理计划在2017年成为执行者，但并不是什么新鲜事。
你知道是否可以使用AWS批处理作为所有气流作业的执行器吗？
你好，罗曼。
浏览 1提问于2018-01-29得票数 23
回答已采纳
2回答
我目前正在python 3.6.5上运行一个气流(1.9.0)实例。我有一个手动工作流，我想移到DAG。这个手动工作流现在需要用python 2和3编写的代码。
数据流作业，用于处理数据并为机器学习培训设置数据
Tensorflow ML培训工作
使用python 3代码编写的其他PythonOperators
数据流作业是用python2.7编写的(谷歌需要)，tensorflow模型代码是用python 3编写的。看看气流1.9.0中的"MLEngineTrainingOperator“，就会看到一个python_version参数，它设置了”培训中使用的pyt
浏览 0提问于2018-07-05得票数 4
回答已采纳
我们在k8s中有很多长时间运行的内存/cpu密集型作业，它们都是在google平台上的kubernetes上与芹菜一起运行的。然而，我们在交付的scaling/retrying/monitoring/alerting/guarantee方面有很大的问题。我们想从芹菜转向更先进的框架。
有一个比较：，但这还不够。
气流：
具有较好的支持社区~400 vs ~12标签SO，13k星vs ~3.5k星
python定义流的方式比使用yamls更好
作为产品的GCP支持:云编写器
更好的仪表板
一些不错的操作员，比如电子邮件操作员
Argoproj：
对Kubernet
浏览 0提问于2019-07-15得票数 8
我正在尝试为我的项目设置气流集群，我使用芹菜执行器作为执行器。除此之外，我还使用Rabbitmq作为排队服务，postgresql作为数据库。现在，我有两个主节点和两个工作节点。所有的服务都已经启动并运行，我能够用气流网络服务器和调度器配置我的主节点。但是对于我的工作节点来说，我遇到了一个问题，在这个问题上我得到了一个错误：
气流命令错误:参数GROUP_OR_COMMAND:芹菜子命令只适用于从它们派生的CeleryExecutor、CeleryKubernetesExecutor和执行器，您当前的执行器: SequentialExecutor，子类来自: BaseExecutor，参见上
浏览 11提问于2022-05-26得票数 1
我刚刚创建了一个7节点星火集群，每个工作人员都有8GB内存和4个核心。它不是一个庞大的集群，但是由于的“GC开销限制超过”而失败了，对于一个简单的terasort，只有10 GC的数据。
我想知道如何确定火花集群的这些基本参数，这样作业就不会随着数据大小的增长而失败。
遗嘱执行人的数目
分区数
平行性
执行器芯
执行器存储器
我不介意作业运行缓慢，如果配置不正确，但是由于内存不足导致进程死亡是一个很大的危险信号。
浏览 5提问于2016-07-11得票数 0
1回答
一年来，我一直在使用气流( Composer)，我很难弄清楚(芹菜)工人在接受任务执行时是如何执行哪些操作的。
据我所知：
dependencies.If 我们在/dags文件夹中放置了一些DAG。调度器通过循环进程解析DAG并将结果保存到元数据DB中，它还确定来自DAG的任务是否必须基于它的/dags运行--某些任务必须运行，执行器将任务发送到一个队列中，由芹菜工人监听。芹菜工人之一得到执行任务并完成任务。
但是芹菜工人怎么知道该执行什么呢？我看得出来有一条日志说：
[2021-06-30 12:58:59,814] {standard_task_runner.py:77} INFO - R
浏览 2提问于2021-06-30得票数 0
2回答
Apache气流分布式处理
、、、、
我对Apache气流的架构感到困惑。
如果我知道，当您在oozie中执行hql或sqoop语句时，oozie将请求定向到数据节点。
我想在阿帕奇气流中实现同样的目标。我希望执行一个shell脚本、hql或sqoop命令，并且我希望确保我的命令是由数据节点分布式执行的。气流有不同的执行器类型。为了在不同的数据节点中同时运行命令，我应该做些什么？
浏览 6提问于2017-09-09得票数 0
回答已采纳
1回答
因此，我们有一个库伯内特斯集群运行一些豆荚与芹菜工人。我们正在使用python3.6运行这些工作人员，芹菜版本为3.1.2 (我知道，非常老，我们正在对其进行升级)。我们还设置了一些自动标度机制，以增加更多的芹菜工人的飞行。
问题如下。那么，假设我们有5名工人在任何给定的时间。随后出现了许多任务，增加了吊舱的CPU/RAM使用量。这引发了一个自动标度事件，例如，又增加了两个芹菜工人吊舱。所以现在这两个新来的芹菜工人要做一些长时间的工作。在完成这些任务之前，kubernetes创建了一个降级事件，杀死了这两个工作人员，也杀死了那些长期运行的任务。
此外，由于遗留的原因，如果任务没有完成，我们就没
浏览 7提问于2022-08-02得票数 3
回答已采纳
人们发现什么是将代码(dags)分发给气流、way服务器/调度器+工作人员的最佳方法？我试图在一大群工人身上运行芹菜，以至于任何手动更新都是不切实际的。
我现在正在码头上部署气流，并使用s3fs，它不断地在我身上崩溃，并创建奇怪的core.###文件。我正在探索其他解决方案(即StorageMadeEasy，DropBox，EFS，从git.更新的cron作业)但是在我探索解决方案的时候，我很想得到一点反馈。
另外，人们通常是如何对dags进行更新并分发代码的？如果使用共享卷(如s3fs )，那么每次更新进程时都会重新启动调度程序吗？在DropBox之类的东西上编辑代码是自找麻烦吗？任何关于如
浏览 0提问于2018-05-23得票数 4
回答已采纳
4回答
气流工人配置
、、、
我是个气流新手。我试图通过引用本文来建立使用芹菜执行器的分布式气流模式
在详细了解规范之前，我想确认一下，我已经在一个独立的实例上安装了PostgreSQL。
设置的详细说明如下：
气流核心/服务器计算机
Python3.5
气流(AIRFLOW_HOME =~/气流)
芹菜
psycogp2
RabbitMQ
配置( airflow.cfg )
sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.2.12:5432/airflow
executor = Celer
浏览 3提问于2018-02-20得票数 12
回答已采纳
1回答
在用Ctlr-C键盘中断向芹菜工人发出两次信号(温关机和冷关机)后，芹菜工人就被挂断了。它不消耗消息或执行任务(如预期的那样)，但也没有关闭。
我在芹菜过程中运行了strace，以了解场景背后发生了什么。这是芹菜主要过程PID的strace输出
strace -p 27867
Process 27867 attached - interrupt to quit
futex(0xb966a78, FUTEX_WAIT, 0, NULL
下面是我在子进程上做strace的发现：
strace -p 27874
Process 27874 attached - interrupt to quit
s
浏览 4提问于2012-04-02得票数 14
我有一个Django应用程序。我用芹菜在后台运行长期运行的过程。应用程序和芹菜工人都在同一台机器上运行。
现在我们把服务器转移到AWS。在AWS上，我们希望创建一个设置，如下所示：
我们有n个运行应用服务器的EC2实例，并且有m个EC2实例作为工作人员。当我们需要执行一个长期运行的过程时，app服务器将此作业发送给工作人员，而工作人员将处理该作业。但是作业依赖Django模型和数据库。
我们如何设置工作人员，使他们能够运行这些django模型依赖的作业？
浏览 1提问于2014-06-20得票数 4
回答已采纳
1回答
我正在运行一个在AWS上运行celery的web应用程序。但是，所有工作进程都在私有数据中心(校园超级计算机)中运行。我有34个独立的工作进程在运行以消耗作业，用于代理和后端的rabbitmq和Redis实例存在于我的EC2实例中的AWS上。
上个月，我震惊地发现，在没有向应用程序提交作业的情况下，我仍然使用了近700 to的网络带宽(仅用于传出流量！)在我的EC2实例上托管了兔子和Redis。这种流量完全是由芹菜工人与兔实例的开销通信引起的。尽管没有实际的计算作业要处理，但每秒有近17条消息被发送到每个worker实例。
我的任务是长时间运行的(至少几秒，有时是几分钟)，大量的计算作业，所以
浏览 0提问于2021-04-06得票数 2
3回答
外壳脚本执行失败
、、
我写了一个重新启动芹菜的shell脚本。我的操作系统是Ubuntu16.04.3。
我试着运行这个shell脚本，只是杀死了芹菜过程，但没有启动一个新的芹菜过程。为什么？
这是我的密码。
ps -ef | grep celery | awk '{print $2}' | grep -v grep |xargs kill -9;
celery -A loan_app.tasks worker --loglevel=info --workdir=`pwd` --logfile=/tmp/celery.log --pidfile=/var/run/celery_pid -D
浏览 1提问于2018-04-03得票数 0
回答已采纳
我在用火花1.2.1工作。当我运行星火作业时，有时我得到执行者状态“退出”，有时“被杀死”，在这两种情况下，作业都成功完成，并且我调用了SparkContext.stop()...。
我不明白这些州的含义。
火花执行国与被杀者之间的区别是什么？
浏览 1提问于2016-01-18得票数 3
回答已采纳
1回答
调整气流的芹菜能见度超时
、、、
编辑(2020-4-18):添加了元数据数据库的上下文。添加了关于StatsD的上下文。
背景
我操作气流1.10.3部署。它使用MySQL 5.7作为元数据数据库。它使用CeleryExecutor和Redis 3.2.5作为芹菜经纪人。
我构建了气流包，我的DAG代码，和任何其他相关的信任到1码头形象。
我的部署启动了每个Webserver、for服务器、Scheduler和Worker的Docker容器；它们都是从1 Docker映像中派生出来的。Redis也在码头容器中运行，但不是从与其他气流组件相同的码头映像中运行的。MySQL不是容器化的，而是像任何传统的OLTP数据库一样保持和运
浏览 1提问于2020-04-18得票数 1
我们的系统基本上只是运行C#和Powershell应用程序的Windows和MS。我们有一个内部WorkflowManagement解决方案，能够运行执行EXE/BAT/PS1甚至调用DLL-函数的任务。
现在我正在评估Apache气流对我们是否是一个更好的解决方案。到目前为止，我天真的计划是在Linux机器上运行气流调度程序，然后让用户在Windows机器上运行。但是如何设置使用者来运行.exe任务呢？
我是否需要创建一个包装器-服务，接受HTTP调用，然后执行.Exe文件？
浏览 2提问于2017-04-26得票数 2
回答已采纳
1回答
我使用气流版本2.2.2和芹菜作为执行器。这就是我想要达到的目标
Dag应该每秒钟运行一次，一次只运行一个活动的dag。
以前我用芹菜和芹菜解决了这个案子。由于将应用程序移动到基于集群的调度程序，我们正在尝试使用气流。有人能建议我们在这个用例中使用气流吗？
浏览 3提问于2021-12-02得票数 1
1回答
气流回填不起作用
、、
我正在使用气流运行一个工作流DAG。我设定的开始日期是2014年5月26日，schedule_interval是一个没有结束日期的1天，它使用的是芹菜执行器。气流从给定的日期开始运行我的任务，并按预期的方式递增地运行从开始日期开始的每一天。
但问题是，从开始日期起，它只会安排并运行16天，然后停止运行。我必须重新启动调度器服务，以便调度下一组dags并运行。
我修改了下面的属性，在airflow.cfg中将它们设置为更高的值，但仍然无法工作，
dag_concurrency = 9999
max_active_runs_per_dag = 9999
parallellism = 9999
ce
浏览 1提问于2016-07-08得票数 5
1回答
我试图在气流1.9中使用群集策略。我遵循了正式文档中的说明，但它似乎并没有生效。
在$AIRFLOW_HOME/config/airflow_local_settings.py的文件中，我将该方法定义为所指示的文档，它具有以下签名：
def policy(task_instance):
其他关切事项：
实际运行策略代码的是什么气流组件(它是调度程序)？
有推荐的方法来测试集群策略代码吗？如果没有，那么本地测试呢？
有人能帮我理解为什么这个群集策略没有生效吗？
我用的是气流1.9。
浏览 0提问于2018-07-29得票数 1
我的用途是使用气流控制许多跨微服务的定期工作。我正在尝试的解决方案是使用气流作为一个集中式作业调度器，并通过进行http调用触发作业。这些工作中有一些会持续很长时间。超过10分钟或最多1小时。
如何从气流中定期检查这些工作的状态？如果远程任务已经完成，但气流不知道工作成功怎么办？我能把完成工作的事件发布给卡夫卡，让气流收听卡夫卡的工作状态吗？
浏览 0提问于2018-12-01得票数 2
回答已采纳
我对气流有问题，DAG中的第一项工作总是成功地开始和结束，但是第二项工作永远不会自动开始。
我试图清除UI中的作业，但是它没有启动，如果我想看到它运行，我需要删除数据库中正在运行的作业，
delete from job where state='running'
但是我没有很多处于运行状态的作业，我只有一个带有最新心跳ok的作业SchedulerJob，还有16个外部任务传感器等待这个DAG。
该池有150个插槽，有16个运行和1个计划。
我有气流调度器在运行
我让气流网络服务器在运行
在web用户界面中，所有的DAG都设置为On。
所有的DAG都有一个过去的开
浏览 1提问于2018-12-09得票数 0
回答已采纳
4回答
我是新的气流，并试图设置气流运行ETL管道。我能安装
气流，气流
波斯特格斯
芹菜
狂犬病
我能够测试运行教程守护进程。当我尝试调度作业时，调度器能够将它取出来，并将我在UI上看到的作业排队，但是任务没有运行。有人能帮我解决这个问题吗？
下面是我的配置文件：
[core]
airflow_home = /root/airflow
dags_folder = /root/airflow/dags
base_log_folder = /root/airflow/logs
executor = CeleryExecutor
sql_alchemy_conn = po
浏览 13提问于2017-04-20得票数 10
1回答
我有以下设置：
RabbitMQ broker + Django
使用CELERYD_PREFETCH_MULTIPLIER=32的芹菜(我有很多小任务，因此，从性能的角度来说，预先获取它们是很有意义的)
CELERY_ACKS_LATE=False (任务不是幂等的)
我在码头集装箱里经营芹菜，所以当我重建码头时，芹菜工人没有优雅地关闭。这是好的，如果任务不被确认为代理将把他们送回去，一旦工人再次在新的码头集装箱，但在其他情况下，他们将-将失去。
在花卉管理面板中，预取任务已经接收到状态。
我仔细阅读了官方文档和，直觉地，我觉得在我的设置中预取的任务是被认可的。是这样吗？
浏览 4提问于2017-02-13得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
