我正在使用Apache Airflow REST API。 支持许多基本命令。例如，我可以通过运行以下命令返回特定DAG的信息： https://8080/my_url/api/experimental/dags/example_pig_operator/dag_runs ...which返回： [{
"
浏览 61提问于2021-06-19得票数 0
13回答
我已经启动了Airflow网络服务器并安排了一些dags。我可以在web GUI上看到dags。
如何删除正在运行并在web GUI中显示的特定DAG？是否有Airflow CLI命令来执行此操作？我环顾四周，但找不到一个简单的方法来删除一个DAG，一旦它已经加载和调度。
浏览 360提问于2016-11-17得票数 83
回答已采纳
1回答
我正在尝试创建一个使用DockerOperator执行某些脚本的DAG。在我的DockerOperator中，脚本试图读取气流变量并使用BaseHook获取连接。但是，我的DockerOperator中的脚本似乎连接到(空的) sqlalchemy数据库，而不是通过UI设置填充连接和变量的初始化postgres数据库。是否有一种方法可以将Dock
浏览 6提问于2022-06-02得票数 1
回答已采纳
我在更新dag文件时遇到问题。Dag仍然保留着我的dag文件的旧版本。我添加了一个任务，但当我检查日志和UI (DAG->Code)时，它似乎没有更新。
我有非常简单的任务。我当然检查了airflow.cfg中的dag目录路径，并重新启动了airflow webserver/scheduler。我运行它没有问题(但使用旧的dag文
浏览 23提问于2017-07-13得票数 5
本质上，我想创建一个从REST API (https)下载数据的工作流，将这些数据转换为JSON格式，并将其上传到Google Cloud存储单元。我已经用纯Python代码做到了这一点，并且它可以工作。非常简单！但是因为我想安排这个，而且有一些依赖关系，Airflow应该是这个的理想工具。仔细阅读Airflow文档后，我发现HttpOperator和/或HttpHook可以完成下载部分<
浏览 0提问于2019-10-04得票数 7
我想从Python脚本(实际上是木星笔记本)中调用一个气流DAG定义。我确保设置了用于airflow命令的环境变量(例如，AIRFLOW_HOME)和python-dotenv，以便在木星笔记本中加载.env文件。/path-to-env-file/.env
我确实看到了预期的文件系统路径，因此AIRFLOW_HOME指向Sqlite数据库airflow.db所在的位置--木星环
浏览 8提问于2022-02-24得票数 1
Airflow似乎跳过了我添加到/usr/local/airflow/dags中的dags。当我跑的时候输出如下所示example_xcomlatest_only_with_trigger
t
浏览 0提问于2017-08-07得票数 29
对于如何在多租户Airflow 2.0实例上进行秘密管理，有什么建议吗？我们知道有一个替代的后端，它将在envt变量和multistore之前使用，通过airflow.cfg配置。但是，我们如何在多租户envt中确保安全性，例如，我们如何限制用户及其DAG对秘密/连接的访问。是否可以使用访问控制来限制这一点？我们正在设想将连接is放入DAG中，据我们所知，任何了解它们的人都可以</
浏览 0提问于2021-07-26得票数 0
1回答
考虑到我需要一些额外的工具，我试着把所有的东西都放入一个码头，但我没有做到。
我删除了添加的所有内容，但仍然找不到问题。然后，我遵循了这个，将文件的版本从3.8降到3.3，并删除了重新启动策略；但我甚至达不到端口8080。更进一步，我找到了这个，它允许我到达端口8080，但是当我尝试使用命令行创建一个用户时，它会从数据库中返回一个错误，告诉我不存在名为log或dags的表。通过UI创建用户可
浏览 14提问于2021-02-08得票数 1
我正在尝试在Airflow中传递一个Python函数。我不确定xcom_push函数的键和值应该是什么。有没有人能帮上忙。context['task_instance'] return (db_con)
是否有人可以帮助获取xcom_push函数的正确键和值。
浏览 2提问于2018-05-30得票数 6
12回答
DAG在Web中不可见
、、、
我是Airflow的新手。我遵循一个教程，并编写了下面的代码。from airflow import DAGfrom datetime importretry_delay': timedelta(minutes=5) CorrectnessPrediction.train()
dag<
浏览 14提问于2016-08-17得票数 34
回答已采纳
我正在使用MySqlHook从airflow_db建立连接，并且正在执行一些查询，但是我需要在某个地方看到查询的结果(假设日志)，如何查看？这里是示例代码 task_id='basic_mysql', sql="select* from xcom",
dag=dag)
浏览 1提问于2019-01-08得票数 5
回答已采纳
我用airflow scheduler -D启动调度程序，一切看起来都很好。通过API调用触发的所有作业都可以可靠地执行，外部触发的作业也可以正常工作。我的一个明显的例外是，我有一个工作，我们使用处理网站访问数据，继续窒息。具体来说，作业说它正在运行，但是没有发送到队列，并且没有实际运行任务，这会发生什么。在UI中，它只会陷入如下状态：执行几个任务，其余任务就会卡在队列中，DAG
浏览 2提问于2018-02-08得票数 2
当从UI本身触发dag时，我试图找到一种方法来泛化它的传递参数，我知道我应该将它作为键/值对格式传递，但我不知道如何在dag脚本本身中解析这些参数 例如，如果我传递配置对{"dir_of_project":"root/home/project"} 我应该在dag脚本中做什么，这样才能在其中包含一个名为dir_of_project的变量，该变量等于上面的路径，这样我就可以</e
浏览 10提问于2021-02-04得票数 3
2回答
在数据库上可视化气流数据集
、、、、
我想在数据库上运行气流DAG。 latest_only test_utils我想将上面的DAG可视化为图形视图。我可以通过在本地机器上安装气流对接器映像来实现这一点，然后访问localhost:8080。我运行的
浏览 0提问于2019-12-22得票数 0
3回答
在向气流中部署新的气垫时，是否遵循任何最佳做法？
我们是否为不同的环境维护单独的数据文件？(测试。这里的任何帮助都是非常感谢的。如果你需要更多的细节，请告诉我？
浏览 5提问于2018-01-22得票数 53
回答已采纳
2回答
我正在使用apache airflow来实现一个ETL管道。1)端点非常有限，我每分钟最多只能发出一个请求，
2)数据可以分页。当然，一个请求只返回一个页面，所以我不得不等待一分钟才能获得第二个页面，并将其中包含的数据与我从第一个页面获得的数据连接起来。3
浏览 0提问于2020-05-13得票数 0
我试图在基于用户输入的气流中生成动态工作流。我知道可以选择基于文件和数据库的数据，但在所有这些情况下，工作流将不直接依赖用户输入，如果多个用户正在使用相同的数据，那么在这种情况下也可能会出现问题。为了避免所有这些，我正在考虑将用户输入传递给sub并生成工作流。但是subdag没有从ui传递用户输入的选项。
浏览 3提问于2020-11-30得票数 3
回答已采纳
2回答
我的一些DAG正在等待被调度，还有一些在队列中等待。我怀疑出现这种延迟的原因，但不确定如何开始调试此问题。大部分管道都在运行星火作业。有人能帮我指指点点，比如哪些DAG延迟了(不是在预定的时间开始)，2)我应该去哪里看看，看看资源是否足够。我对气流调度很陌生。非常感谢。如果我能更好地描述这个问题，请告诉我。
浏览 9提问于2022-03-04得票数 0
回答已采纳
考虑下面的DAG示例，其中第一个任务get_id_creds从数据库中提取凭据列表。这个操作告诉我数据库中的哪些用户能够运行进一步的数据预处理，并将这些ids写入文件/tmp/ids.txt。然后，我将这些in扫描到我的DAG中，并使用它们生成可以并行运行的upload_transaction任务列表。
我的问题是:是否有一种用气流来做这件事<
浏览 8提问于2017-07-25得票数 7
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
