我使用pip命令在ubuntu上部署了Airflow 2.0。已从1.10.13迁移到2.0。但是在db inint之后,我得到了警告。请告诉我为什么会收到这些警告。我试过运行示例dags,它们运行得很成功。
WARNI [airflow.providers_manager] The provider for package 'apache-airflow-providers-http' could not be registered from because providers for that package name have already been registere
我卸载了airflow 1.10.12,并使用python 3.6.9安装了airflow 2。当我在没有自定义DAG的情况下启动When服务器时,我收到警告: [2021-01-12 11:38:58,095] {dagbag.py:440} INFO - Filling up the DagBag from /dev/null
[2021-01-12 11:38:59,049] {providers_manager.py:283} WARNING - Exception when importing 'airflow.providers.google.cloud.hooks.da
我正在尝试使用docker和airflow提供的docker-compose文件在我的机器上设置airflow:https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html#docker-compose-yaml CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS
Airflow模块附带一个主pip包apache-airflow和多个子包,只安装我们需要的(查看文档)
我想测试是否安装了一个子包(例如,获取一个bash命令以了解是否安装了apache-airflow[mysql] )。
要知道是否安装了apache-airflow,我可以执行pip show apache-airflow,如果已安装,则获取0作为退出代码,否则获取1。如果我执行pip show apache-airflow['mysql'],我总是得到1作为退出代码,无论是否安装了子包。
我找不到任何解决方案。有什么想法吗?
我正在尝试安装一个名为Apache Airflow的程序。 这些说明说明了如何指定主文件夹 # airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb ht
我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件,可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE?
我的docker-compose.yaml文件:
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license a
我是新来的气流公司,我正尝试在本地安装,按照下面链接上的说明:
我正在运行以下代码(如链接中提到的):
# Airflow needs a home. `~/airflow` is the default, but you can put it
# somewhere else if you prefer (optional)
export AIRFLOW_HOME=~/airflow
# Install Airflow using the constraints file
AIRFLOW_VERSION=2.2.5
PYTHON_VERSION="$(python --versio
我已经部署了apache气流使用码头-合成使用扩展映像,以包括需求。我可以在气流UI中看到雪花提供商包已经安装(apache-气流提供者-雪花),但是由于某些原因,我得到了一个DAG导入错误:
from airflow.providers.snowflake.hooks.snowflake import SnowflakeHook
ModuleNotFoundError: No module named 'airflow.providers.snowflake'
我已经登录到docker,使用了气流用户,并成功地导入了这个包。
Dockerfile:
FROM apache/a
我运行"docker日志风流-init_1“,并得到以下结果,我不知道如何解释。我对气流很陌生。我已经使用"netstat :8080 -ona findstr侦听“来查找正在侦听的任何进程,并且我已经杀死了它们。
/home/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:339: FutureWarning: The auth_backends setting in [api] has had airflow.api.auth.backend.session added in the r
在尝试按照https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html上的安装步骤进行操作时,出现以下错误 ERROR: Cannot install apache-airflow[celery]==2.2.0 because these package versions have conflicting dependencies.
The conflict is caused by:
apache-airflow[celery] 2.2.0 depends
带命令的气流安装失败
sudo pip3 install apache-airflow[gcp_api]
昨天一切都很好。今天,我看到了以下错误:
Could not find a version that satisfies the requirement apache-beam[gcp]==2.3.0 (from google-cloud-dataflow->apache-airflow[gcp_api]) (from versions: 0.6.0, 2.0.0, 2.1.0, 2.1.1, 2.2.0)
No matching distribution found for apa