使用Airflow在数据库之间移动和转换数据
Airflow是一个开源的任务调度和工作流管理平台，它可以帮助用户在数据库之间移动和转换数据。以下是关于使用Airflow在数据库之间移动和转换数据的完善且全面的答案：
- 概念： Airflow是一个基于Python的任务调度和工作流管理平台，它使用有向无环图（DAG）来定义、调度和监控任务。通过Airflow，用户可以创建复杂的工作流，将任务按照依赖关系进行组织和调度，实现数据的移动和转换。
- 分类： Airflow属于工作流管理平台的范畴，可以用于数据工程、数据迁移、ETL（Extract, Transform, Load）等场景。
- 优势：
- 可编程性：Airflow使用Python编写，用户可以通过编写Python代码来定义任务和工作流，具有很高的灵活性和可扩展性。
- 可视化界面：Airflow提供了一个直观的Web界面，用户可以方便地查看和管理任务的状态、依赖关系和调度情况。
- 强大的调度功能：Airflow支持基于时间、依赖关系和外部触发器等多种调度方式，可以满足不同场景下的任务调度需求。
- 高可靠性：Airflow具有任务重试、任务失败告警等机制，能够保证任务的可靠执行。
- 社区活跃：Airflow拥有庞大的开源社区，用户可以从社区中获取丰富的插件和扩展，满足不同的需求。
- 应用场景：
- 数据迁移：通过Airflow，可以方便地将数据从一个数据库迁移到另一个数据库，支持不同数据库之间的数据格式转换和映射。
- 数据清洗和转换：Airflow可以用于构建ETL流程，将原始数据进行清洗、转换和整理，生成符合业务需求的数据集。
- 数据分析和报表：Airflow可以协调和调度数据分析任务，将分析结果生成报表或可视化图表，帮助业务决策和数据洞察。
- 数据管道管理：通过Airflow，可以构建复杂的数据管道，将不同的数据处理任务有序地组织起来，实现数据的流转和处理。
- 推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库（https://cloud.tencent.com/product/cdb）：提供多种数据库产品，包括关系型数据库、NoSQL数据库等，可满足不同的数据存储需求。
- 腾讯云数据传输服务 DTS（https://cloud.tencent.com/product/dts）：提供数据迁移和同步服务，支持不同数据库之间的数据迁移和实时同步。
- 腾讯云数据仓库（https://cloud.tencent.com/product/dw）：提供大数据存储和分析服务，支持海量数据的存储和查询分析。
- 腾讯云流计算 Oceanus（https://cloud.tencent.com/product/oceanus）：提供实时数据处理和分析服务，支持流式数据的实时计算和处理。
通过使用Airflow在数据库之间移动和转换数据，用户可以实现灵活、可靠和高效的数据处理和管理。
相关·内容
1回答
我在试着和阿帕奇气流一起工作。当我启动第一个DAG时，它失败了(第一个任务失败了)。当我尝试检查日志时，它们在GUI中没有正确显示，我得到了异常'airflow.models.taskinstance.TaskInstance object' has no attribute 'map_index'。我检查了数据库，发现那个表TaskInstance确实没有这样的列。
我创建了一个名为airflow和airflow user的Postgres数据库，并使用airflow init db命令初始化了数据库。在之后，我做了所有的事情。
因此，看起来气流数据库中的表模
浏览 8提问于2022-09-02得票数 0
回答已采纳
1回答
我在我的项目中使用appache airflow。在此，用户可以将他们的数据库与我们的项目连接起来，并将他们的表复制到我们的数据库中。
因此，我可以使用以下代码行建立连接
import json
from airflow.models.connection import Connection
c = Connection(
conn_id='some_conn',
conn_type='mysql',
description='connection de
浏览 0提问于2021-03-05得票数 0
1回答
气流芹菜作业卡在运行状态
、、、
我正在尝试用CeleryExecutor设置气流。我使用postgres作为数据库，使用rabbitmq作为消息代理。所有airflow计划作业都将进入running状态，但它们永远不会运行。我在rabbitmq日志或airflow日志中没有看到任何错误。任何帮助我们都将不胜感激
下面是我的代理和后端urls
broker_url = amqp://guest:guest@127.0.0.1/airflow
celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow
sql_alchemy_c
浏览 3提问于2018-09-12得票数 0
我使用的是AirFlow版本的1.10.10，并且以kubernetes pods身份运行airflow webserver和airflow scheduler。理想情况下，我还希望在单独的pod中为气流运行postgresql db。 问题是，当airflow webserver加载我的DAG时，它会在崩溃之前记录以下内容： ...
cursor.execute(statement, parameters)
浏览 38提问于2021-03-24得票数 0
1回答
我发现xcom实际上将数据写入数据库并从其他任务中提取数据。我的数据集很大，对它进行分类和写入数据库会造成一些不必要的延迟。是否有一种不使用xcom在同一气流Dag中的任务之间通信数据的方法？
下面是我尝试过的代码，上下文实际上没有被传递。我知道使用task_instance.xcom_push()可以工作，但它也会对数据进行筛选，并将其写入我不需要的数据库中。
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, t
浏览 4提问于2020-02-18得票数 3
我正在尝试将csv文件的内容复制到postgres数据库中，在两个任务中，第一个任务下载csv文件并将其保存在/temp文件夹中，另一个任务是postgres任务，将元素复制到数据库中。但是，当尝试将文件保存到dag文件夹之外时，任务无法保存该文件，并出现文件未找到错误。 保存文件的可调用函数： def get_events(country_code,start_date, max_days = 365):
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
iterate_date = start_date
has_ev
浏览 57提问于2021-02-22得票数 1
回答已采纳
我正在尝试初始化Airflow mysql数据库，并得到以下错误。
ImportError:
1): dlopen(...venv/lib/python3.6/site-packages/_mysql.cpython-36m-darwin.so,
2): Symbol not found: _mysql_real_escape_string_quote
Referenced from: ...venv/lib/python3.6/site-packages/_mysql.cpython-36m-darwin.so
Expected in: /usr/local/li
浏览 0提问于2019-12-09得票数 2
我正在尝试创建一个气流管道，用于从API下载数据，处理数据，将其保存为CSV，然后将数据加载到Postgres数据库(所有数据都在码头容器中)。代码看起来像这样
from datetime import datetime, timedelta
import pandas as pd
from airflow import DAG
from airflow.providers.postgres.operators.postgres import PostgresOperator
from airflow.operators.python import PythonOperator
defaul
浏览 10提问于2022-01-27得票数 1
我正在处理气流，我试图将数据从mysql数据库传输到csv文件。以下是代码和函数 from airflow import DAG
from datetime import datetime,timedelta
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
from airflow.operators.mysql_operator import MySqlOperator
from dbextract i
浏览 67提问于2021-10-08得票数 3
回答已采纳
我通过在码头上运行气流2.2.1。现在，说：
默认情况下，气流带有一个SQLite后端。这允许用户在没有任何外部数据库的情况下运行气流。但是，这种设置只用于测试目的；在生产中运行默认设置可能会导致多个方案中的数据丢失。如果要运行生产级气流，请确保将后端配置为外部数据库，如PostgreSQL或MySQL。
但是，文档中给出的 (请参阅)没有提到SQLite。事实上，它定义了(除其他外)：
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airfl
浏览 0提问于2021-11-02得票数 0
回答已采纳
我正在尝试自动化Docker中的INIT进程，所以每当我在一个空的数据目录中进行对接时，它就会创建两个DBS，第一个是气流，第二个是我的测试DB，因此，例如，当我将Postgres组合起来时，在我的新测试DB中运行第一个SQL文件来创建表。但是，它没有运行我已经挂载在坞入口点上的插入SQL文件--在气流数据库中运行这些文件是什么?谁能告诉我如何在我的测试数据库中插入所有元数据表，而不是气流一号
我的码头-撰写文件
postgres:
image: postgres:13
environment:
POSTGRES_USER: airflow
POS
浏览 9提问于2022-05-23得票数 0
回答已采纳
针对Apache Airflow / Docker用户的问题。我有一个Docker airflow镜像，我正在尝试使用一个简单的SequentialExecutor /SQLite元数据数据库，但我想在每次运行新容器时持久化元数据数据库。我想通过挂载到本地机器上的一个驱动器来实现这一点，这样initdb就可以在AIRFLOW_HOME以外的地方初始化数据库。这是可能的/可配置的吗?或者有人有更好的解决方案吗？ 基本上，所需的状态是： AIRFLOW_HOME: contains airflow.cfg, dags, scripts, logs whatever
some_other_dir
浏览 6提问于2020-12-15得票数 0
我在Ubuntu版本18.04.3服务器上实现了Apache-Airflow。当我设置它时，我使用的是sql lite通用数据库，而它使用的是顺序执行器。我这样做只是为了玩玩和适应这个系统。现在我正在尝试使用Local Executor，并且需要将我的数据库从sqlite转换到推荐的postgres sql。
有谁知道如何实现这一转变吗？我发现的所有教程都需要从一开始就使用postgres sql设置Airflow。我知道有一大堆可移动的部件，我害怕把我目前正在运行的东西搞乱。任何人谁知道如何做到这一点，或可以告诉我在哪里寻找非常感谢。谢谢!
浏览 2提问于2019-10-15得票数 9
我试着用芹菜来测试气流。我把broker_url和celery_result_backend改成了mysql。
所以celery可以很好地连接到数据库，但是当我运行airflow flower时，它似乎读取了一个默认的配置项来连接到数据库。这是我在日志中看到的：
[I 170420 13:51:38 mixins:231] Connected to sqla+mysql://airflow:airflow@localhost:3306/airflow
我必须在某个地方修改flower配置吗？
浏览 0提问于2017-04-20得票数 1
我一直在介绍Apache气流，到目前为止一切都进行得很顺利，但是我一直在使用默认的SQLite数据库，现在我需要更改为PostgreSQL数据库。我已经将sql_alchemy_conn执行器更改为LocalExecutor，并将字符串设置为postgresql+psycopg2://airflow:airflow@postgres:5432/airflow，这是我在postgres中创建的气流数据库的地址。
现在，当我运行airflow initdb时，我会收到错误
airflow.exceptions.AirflowConfigException: error: cannot use sq
浏览 1提问于2019-11-13得票数 0
我尝试将airflow DAG部署到亚马逊网络服务EC2。我遵循了上的说明。气流在EC2上运行良好。在EC2实例中，有两个airflow.cfg文件，它们位于：
/airflow/airflow.cfg
/home/ec2-user/airflow/airflow.cfg
在文件夹'/airflow‘中，Dags数据存在。在文件夹'/home/ec2-user/airflow‘中，它只有airflow.cfg、airflow.db、logs和unittests.cfg文件。两者都使用默认设置。
现在我需要在Postgers数据库上添加一些用户，我在本地airflow.cfg中添
浏览 1提问于2019-02-21得票数 1
这听起来与直觉相反，但是通过将作业部署到airflow来更新airflow数据库的优缺点是什么？ 我认为这是一种通过直接更新数据库来设置基于角色的访问的选项，而且因为Airflow是一个调度器，所以在Airflow上调度这个过程是有意义的。 谢谢
浏览 13提问于2020-07-14得票数 0
2回答
我在码头使用气流和PostgreSQL。
因此，我在端口5433上建立了一个PostgreSQL数据库。集装箱(384 Ea7b6efb)。这是我有我的数据，我想拿我的dag在气流中。
码头工人ps
CONTAINER ID IMAGE COMMAND CREATED STATUS
PORTS NAMES
384eaa7b6efb postgres "docker-entrypoint.s…
浏览 2提问于2021-10-17得票数 1
回答已采纳
2回答
我在码头集装箱里运行气流。我创建了一个单独的容器来运行Postgres服务器和Rabbitmq服务器，通过遵循这个漂亮的连接这些容器。现在，我的气流码头集装箱正在运行，并连接到其他集装箱使用码头网络-过程到目前为止顺利。问题是如何在同一个容器中运行airflow webserver、airflow scheduler和airflow worker。经过一些研究，我发现:建议在一个容器中运行一个服务。现在我有两个解决方案
在同一个气流容器中运行多个服务--我想不出一个简单的实现方法，就是在码头上安装一个新的bee。
创建单独的容器来运行芹菜工人和气流调度器--但是在airflow.cfg
浏览 0提问于2017-08-02得票数 3
回答已采纳
1回答
我已经成功地在Kubernetes (webserver和调度器)中设置了一个气流部署，配置了Kubernetes执行器和一个带有气流元数据的Postgres模式。
我试图使example_bash_operator DAG正常工作，但是由于以下SQLAlchemy异常，工作吊舱不断失败：
2021-01-07 10:29:33,091] {cli_action_loggers.py:105}警告-没有这样的表记录操作(sqlite3.OperationalError)：日志SQL:插入日志(dttm、dag_id、task_id、事件、execution_date、所有者、额外)值(?，？
浏览 0提问于2021-01-07得票数 1
回答已采纳
我尝试查找有关Airflow与元数据数据库实例(在我的示例中为Postgres)建立的连接数量的信息。 通过运行select * from pg_stat_activity，我意识到它至少创建了7个在idle和idle in transaction之间状态变化的连接。查询注册为COMMIT或SELECT 1 (大多数)。这是在Airflow 2.1上使用LocalExecutor，但我在安装Airflow 1.10的情况下进行了测试，结果相同。 有人知道这些联系是从哪里来的吗？那么，有没有办法(和理由)改变这一点呢？
浏览 30提问于2021-07-26得票数 0
回答已采纳
新安装了airflow 2.3.3，并设置了airflow.cfg指向mysql
sql_alchemy_conn = mysql://airflow:airflow@<<apphost>>:<<port>>/airflow
气流数据库检查成功
>airflow db check
{db.py:1605} INFO - Connection successful.
当db初始化开始低于
>airflow db init
_mysql.connection.query(self, query)
sqlalchemy.exc.State
浏览 24提问于2022-07-19得票数 0
我正试图使用Helm图表部署气流，用于个人POC，但我在部署过程中遇到了一些问题，无法找到明确的指示来解决我的问题--这就是我在这里寻求帮助的原因。
围绕问题的背景
POC的一些背景----我想部署一个K8S集群，托管气流，将它连接到一个git，这个git承载了dages，并且拥有从K8S气流托管的外部的亚稳态和缓存。
我已经成功地部署了气流到当地的Kubernetes集群使用种类和气流的默认舵图。在舵图上，我指定要使用的执行器模式必须是KubernetesExecutor。
我还配置了气流，将DAG与bitbucket存储库同步。
问题和目前的执行情况
I在将气流与外部服务连接时遇到问题--
浏览 11提问于2022-02-22得票数 2
回答已采纳
在将Postgres数据库与气流连接时，我参考了和。
特别是，我将这一行添加到文件airflow.cfg中。
sql_alchemy_conn = postgresql+psycopg2://airflowadmin:airflowadmin@localhost/airflowdb
其中，airflowadmin既是postgres用户的用户名，也是密码，airflowdb是创建的postgres db，airflowadmin拥有所有特权。
现在，当我用airflow db init初始化数据库时，我仍然认为sqlite是链接的数据库。全部产出：
DB: sqlite:////home/us
浏览 3提问于2021-09-07得票数 1
回答已采纳
? 我在Ubuntu 18.10上安装了Airflow 1.10.3，可以添加和运行我的DAG，但Web UI中的"Recent Tasks“和"DAG Runs”都是空白的。我所看到的只是一个黑色的虚线圆圈，它一直在加载，但什么都没有实现。 我最近将我的Airflow数据库升级到了MySQL，看看是否可以修复它，但一切都是一样的。 这是airflow.cfg中的配置问题还是其他问题？
浏览 17提问于2019-04-27得票数 4
回答已采纳
我在Ubuntu远程服务器上用Postgres数据库成功地设置了Airflow，看起来很棒。
我能够连接到我的数据仓库(一个单独的服务器)，并轻松地将查询作为任务发出。这很简单，因为安装了Airflow的服务器实际上正在发出查询。
因为我现在只是测试Airflow，所以它安装在一个相当小和低功率的服务器上。有没有办法安排任务在我强大的Windows桌面上运行？或者，利用本地计算机下载数据/处理文件，并让Airflow知道任务已成功完成的最佳方法是什么？
浏览 12提问于2017-03-07得票数 6
回答已采纳
在气流中，我应该如何处理错误“此DAG在webserver DagBag对象中不可用，它显示在此列表中，因为调度程序将其标记为元数据数据库中的活动”？
我将一个新的DAG复制到一个气流服务器上，并尝试：
取消暂停并刷新它(基本操作过程，在前面的答案中给出)
重新启动the服务器
重新启动调度程序
停止webserver和调度器，重置数据库(airflow resetdb)，然后再次启动webserver和调度程序。
运行airflow backfill (这里建议使用)
运行airflow trigger_dag
调度程序日志显示它正在处理，没有出现错误，我可以
浏览 7提问于2017-04-28得票数 19
1回答
嗨，我正在做一个项目，在我的仪表板上显示更多来自气流数据的可视化。我正在为如何直接查询Airflow数据库来检索这些数据而苦苦挣扎。有没有办法从Airflow数据库中检索数据？谢谢
浏览 10提问于2021-09-28得票数 0
回答已采纳
这里是气流和mysql设置的新手。我正在尝试设置气流在码头-组成与MySQL作为后端。
我的mySQL连接字符串为sql_alchemy_conn_cmd=mysql://localuser:localpassword@mock_mysql/metastore，在airflow.cfg中
我有我的docker-compose.yml
version: "3.9"
networks:
airflow:
services:
redis_local:
image: redis:latest
container_name: redis_server
po
浏览 1提问于2021-07-06得票数 0
回答已采纳
我有启用VPN连接，Google (PostgreSQL)数据库实例具有相同的VPN连接和SSL启用。云SQL既有公共IP地址，也有私有IP地址。公共IP i用于从外部连接数据库，如PgAdmin客户端工具，以及用于内部连接的私有IP (如数据流)。现在我想连接这个来自Composer的CloudSQL。使用PostgresOperator连接Cloud数据库。在气流->连接部分创建与Puplic作为端口的单独连接。由于此CloudSQL启用了SSL，所以将证书推送到DAG的GCS位置。在刚才传递ssl证书路径信息的额外属性部分下的连接中，如下所示，
{
"sslmode&
浏览 6提问于2019-09-17得票数 4
1回答
我想要创建一个ansible任务来初始化用于气流服务器的sqlite数据库。
使用以下命令"airflow initdb“时，我的ansible任务无法初始化气流数据库。我可以通过以下两种方法成功地初始化sqlite：
激活虚拟环境时，从Python虚拟环境运行命令。
user@server:~$ source ~/airflow/.venv/bin/activate
(.venv) user@serverr:~$ airflow initdb
在没有激活虚拟环境的情况下从shell运行命令。
user@server:~$ ~/airflow/.venv/bin
浏览 2提问于2019-07-29得票数 0
回答已采纳
我正在尝试将气流变量读入我的ETL工作中，以填充管理脚本中的变量。我正在使用KubernetesPodOperator。如何从我的K8舱访问元数据数据库？
从气流中获得的错误：错误-无法从秘密后端(MetastoreBackend)检索变量。检查随后的秘密后端。
这就是我在main.py中用于输出到控制台日志中的内容。我在气流变量中有一个名为"AIRFLOW_URL“的键。
from airflow.models import Variable
AIRFLOW_VAR_AIRFLOW_URL = Variable.get("AIRFLOW_URL")
浏览 13提问于2022-03-03得票数 1
我正在尝试建立postgres和airflow之间的联系，这是我的docker-compose version: '3'
services:
postgres:
image: postgres
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
webserver:
image: apache/airflow:1.10.1
浏览 77提问于2020-12-06得票数 1
回答已采纳
1回答
我通过ssh进入linux服务器来运行Airflow。我已经初始化了调度器(airflow scheduler -D)和数据库(airflow db init)。但是，即使尝试使用python创建最简单的DAG (我也尝试使用Airflow的预定义示例py脚本)，Airflow在运行airflow dags list命令时也不会列出DAG。 我确信我的py代码的语法是正确的，因为DAG显示在windows实例上，但我在Linux中的airflow设置不知何故不正确？还使用了python3 script.py来执行。
浏览 17提问于2021-07-02得票数 1
由于基于图像python的操作系统漏洞:3.8SIM-buster，我试图构建一个基于redhat ubi8的图像。
我使用以下dockerfile成功地构建了映像：
FROM registry.access.redhat.com/ubi8/python-38:1-107
ARG AIRFLOW_VERSION=2.4.1
ARG AIRFLOW_USER_HOME=/usr/local/airflow
ENV AIRFLOW_HOME=${AIRFLOW_USER_HOME}
RUN pip install -U pip setuptools wheel && \
浏览 13提问于2022-10-12得票数 0
回答已采纳
1回答
我是第一次接触气流。我想用气流操作符做一个类似下面的操作。 简而言之，我希望从数据库表中读取一些数据，并根据该表中某列的值执行不同的任务。 这是我用来获取数据的表。 +-----------+--------+
| task_name | status |
+-----------+--------+
| a | 1 |
| b | 2 |
| c | 4 |
| d | 3 |
| e | 4 |
+-----------+--------+ 从上表中，我希望选
浏览 19提问于2020-10-06得票数 1
回答已采纳
我计划将postgresql数据库从9.5升级到9.6或12+。但是Airflow版本将保持不变(1.10.12)，是否有任何理由运行airflow upgradedb命令，或者只有在升级实际的airflow版本时才需要该命令？
浏览 54提问于2021-02-03得票数 1
4回答
使用IDE工具调试气流任务？
、、、、
我的airflow DAG主要由PythonOperators组成，我想使用我的Python IDE调试工具来开发python“内部”Airflow。-我依赖airflow的数据库连接器，我认为将其从airflow中“移出”进行开发将是丑陋的。
我使用Airflow有一段时间了，到目前为止，我只通过CLI完成了开发和调试。这开始让人厌烦了。
有没有人知道如何设置PyCharm或其他集成开发环境，以便在运行airflow test ..时使用集成开发环境的调试工具集
浏览 0提问于2019-11-19得票数 10
我有一个场景，其中我有一个AWS EMR设置，只有很少的应用程序，如Spark，Hadoop，Hive，HCatalog，齐柏林飞艇，Sqoop等，我有另一个服务器，只运行Airflow。
我正在处理一个需求，我希望使用Sqoop将MySQL表(也在不同的RDS实例上)移动到Hive，并且此触发器必须通过Airflow提交。
在Airflow位于远程服务器的情况下，是否可以使用Airflow中可用的SqoopOperator来实现此目的？我相信不是，那麽有没有其他方法呢？
提前道谢。
浏览 5提问于2018-07-01得票数 2
我正在启动一个新项目，它需要一个数据仓库，我们将使用postgres。(无耻的插件：使postgres成为数据集高达兆字节的一个很好的DW选项)
我正在使用apache气流来编排工作负载，但由于我对气流还不熟悉，我不确定应用程序DB需求的最佳实践是什么。
对于更多的上下文，我使用的是气流的，我也是一个气流新手。
注意到坞-撰写已经定义了postgres db：
...
postgres:
image: postgres:13
environment:
POSTGRES_USER: airflow
POSTGRES_PASSWORD: airflow
浏览 5提问于2021-05-18得票数 1
回答已采纳
Airflow version 1.8Python version 3.6当我使用LocalExecutor和Mysql作为元数据数据库配置Airflow时，我收到没有名为'MySQLdb‘的模块错误。由于版本问题，我无法安装MySQLdb包。
有谁知道如何解决这个问题吗？
谢谢Kalanidhi
浏览 2提问于2018-11-09得票数 0
我需要定期自动地将数据从运行在Server 2005实例上的数据库传输到运行在Server 2008实例上的远程数据库。我刚开始使用数据库管理和SSIS。
是否可以配置SSIS包在两个不同版本的SQL数据库之间传输数据？包需要配置并安装在SQL 2005实例上。
浏览 0提问于2010-06-30得票数 1
回答已采纳
使用repo 和8.1.3版本的airflow -稳定/airflow安装了kubernetes中的airflow。所以我安装了Airflow v2.0.1。我使用外部postgres数据库和kubernetes executor对其进行了设置。
我注意到的是，当气流相关的豆荚完成后，它们会进入"NotReady“状态。这发生在启动时的update-db pod和kubernetes执行器启动的pod中。当我进入airflow并查看任务时，有些是成功的，有些可能是失败的，但无论哪种情况，相关的pods都处于"NotReady“状态。在values文件中，我设置了下面的值，认为它
浏览 19提问于2021-05-25得票数 0
回答已采纳
我已经改变了下面的信任连接气流到mysql数据库。但气流雷达连接到默认的sqlite数据库。请参阅下面的配置，我试图连接到mysql。
1)config of airflow.cfg:
executor = LocalExecutor
sql_alchemy_conn = mysql+pymysql://root:12345678@localhost:3306/airflow
2) pip install PyMySQL (installed pyMysql package)
3)Installed mysql server in ubuntu machine where airflow
浏览 10提问于2022-01-29得票数 0
我正在尝试创建一个Airflow DAG来查询一些数据，将其另存为CSV文件并将其上载到REST API端点。我使用shell脚本和CURL命令实现了这一点，如下所示： curl --location --request POST 'https://my.endpoint.com/automations-file-service/automations/fileupload/files' \
--header 'X-API-TOKEN: my_token' \
--form 'file=@/Users/myuser/myfiles/all_202007
浏览 16提问于2020-07-09得票数 0
回答已采纳
2回答
我已经在本地安装了airflow，我正在更改执行器以运行并行任务，我更改了 1-从数据库到Postgres 13.3 2-在配置文件sql_alchemy_conn = postgresql+psycopg2://postgres:postgres@localhost/postgres中 3-执行器= LocalExecutor 我已使用airflow DB check --> INFO - Connection successful检查了数据库，没有错误。airflow数据库初始化-->初始化完成 我收到的错误，但我根本不使用SQLite 1- {dag_processing.
浏览 196提问于2021-06-28得票数 0
回答已采纳
1回答
我正在研究一个用例，我们将把数据从SQL数据库(600TB ~100个表)转换成hadoop格式。我们在SQL DB中没有启用日志。我们决定将数据复制为datamart视图，并每周刷新该视图。复制的数据将每周被删除，以便重写。
此SQL DB用于从datalake派生的报表目的。这个OLTP数据库是一个我们正在逐步取代的旧系统。每周删除复制的数据集并再次复制(刷新)。
80%的数据副本是直接的，没有transformation.20%重新设计。
我们确定了3种选择：
用于处理excludedKafka (informatica) ETL(Informatica)的AirFlow + Beam与
浏览 1提问于2020-11-17得票数 0
我使用constraints https://raw.githubusercontent.com/apache/airflow/constraints-2.0.1/constraints-3.7.txt在RHEL7上安装和设置了带有Celery、Rabbitmq和Postgresql9.6的Airflow 2.0.1。所以我不是在使用Docker容器，实际上是在构建一个有3个节点的集群。 我为PSQL创建了数据库和用户名，并为Rabbitmq创建了用户和设置权限，并能够在15672端口访问其WebUI。我能够运行airflow WebUI服务器和计划程序，并访问airflow WebUI没有
浏览 27提问于2021-03-23得票数 0
1回答
我安装了气流，使用对接-合成和运行db init命令。我正在尝试创建一个使用DockerOperator执行某些脚本的DAG。在我的DockerOperator中，脚本试图读取气流变量并使用BaseHook获取连接。但是，我的DockerOperator中的脚本似乎连接到(空的) sqlalchemy数据库，而不是通过UI设置填充连接和变量的初始化postgres数据库。
是否有一种方法可以将DockerOperator上下文提供给包含通过UI设置的连接和变量的气流数据库？
我的气流DAG
from datetime import datetime
from json import dumps
浏览 6提问于2022-06-02得票数 1
回答已采纳
我试图将Postgres安装为后端DB，而不是Sqllite。我遵循了这些步骤，但遇到了一个错误。有人能帮忙吗？
采取的步骤如下：
激活虚拟env.
安装了sudo apt-get install postgresql postgresql-contrib的
sudo -u postgres psql 创建psql对象
4.创建气流CREATE USER **** PASSWORD '****'; postgres=# CREATE DATABASE airflow; postgres=# GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA
浏览 1提问于2021-02-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
