Windows 10上的Apache Airflow Dev 2.0安装程序
Apache Airflow是一个开源的工作流程管理平台，用于调度和监控数据管道。它允许开发人员以编程方式定义、调度和监控复杂的工作流程，这些工作流程可以跨多个任务和依赖关系。
在Windows 10上安装Apache Airflow Dev 2.0需要以下步骤：
- 安装Python：Apache Airflow是基于Python开发的，因此需要在Windows 10上安装Python。可以从Python官方网站(https://www.python.org/downloads/)下载最新的Python版本，并按照安装向导进行安装。
- 安装依赖包：在安装Apache Airflow之前，需要安装一些依赖包。打开命令提示符或PowerShell，并使用以下命令安装所需的依赖包：
pip install apache-airflow[all]这将安装Apache Airflow及其所有依赖包。
- 初始化Airflow数据库：在安装Apache Airflow之前，需要先初始化Airflow的元数据库。在命令提示符或PowerShell中，使用以下命令进行初始化：
airflow db init这将创建一个SQLite数据库文件并初始化Airflow的元数据库。
- 启动Airflow Web服务器和调度器：在命令提示符或PowerShell中，使用以下命令启动Airflow Web服务器和调度器：
airflow webserver --port 8080
airflow scheduler这将启动Airflow Web服务器在8080端口监听，并启动调度器。
- 访问Airflow Web界面：在浏览器中访问http://localhost:8080/，即可进入Airflow的Web界面。
Apache Airflow Dev 2.0的安装程序非常简单，只需安装Python和一些依赖包，然后初始化数据库并启动相应的服务即可。安装后，开发人员可以使用Airflow Web界面进行工作流的管理和监控。
推荐的腾讯云相关产品：
- 云服务器（https://cloud.tencent.com/product/cvm）：提供可靠、安全的虚拟服务器，适用于部署和运行Apache Airflow以及其他应用程序。
- 云数据库MySQL版（https://cloud.tencent.com/product/cdb_mysql）：提供高性能、可扩展的MySQL数据库服务，适用于存储Airflow的元数据库。
请注意，以上只是腾讯云提供的一些相关产品示例，其他云计算品牌商也提供类似的产品和服务。
相关·内容
我对Apache Airflow非常陌生，有人能提供在windows环境(包括Docker)上安装和运行Apache Airflow Dev 2.0的步骤吗?我在那里找到了很多关于安装Apache Airflow 1.10.x的好文章。
浏览 22提问于2020-05-03得票数 0
1回答
我是新来的气流公司，我正尝试在本地安装，按照下面链接上的说明：
我正在运行以下代码(如链接中提到的)：
# Airflow needs a home. `~/airflow` is the default, but you can put it
# somewhere else if you prefer (optional)
export AIRFLOW_HOME=~/airflow
# Install Airflow using the constraints file
AIRFLOW_VERSION=2.2.5
PYTHON_VERSION="$(python --versio
浏览 3提问于2022-04-27得票数 1
回答已采纳
我需要使用ECSOperator。在从Airflow2.0 1.10.13迁移到Airflow2.0 2.0时，当我安装pip3安装'apache-airflowamazon'时，它给出了分段错误。在此之前，达格的工作都是在气流中进行的。参考资料： .有人能告诉我我哪里错了吗。如何纠正此分段错误，因为调度程序已在此问题之后停止运行。
结果：
Installing collected packages: pycparser, cffi, six, cryptography, PyJWT, werkzeug, itsdangerous, markupsafe, jinja2, cl
浏览 11提问于2021-01-06得票数 1
我以前已经成功地将它安装在centos7中的VMware中。但是，以同样的方式，在docker中手动从centos7安装存在问题。(CentOS的正式构建。)
(venv) [jykim@0f0090962efa dev]$ cat /etc/*release*
CentOS Linux release 7.9.2009 (Core)
当用下面的命令安装气流时，在指定的AIRFLOW_HOME目录中不会创建任何文件。
pip3.8 install 'apache-airflow[postgres]'
当然，我们向AIRFLOW_HOME注册了.bashrc，并确认它运行良好。
浏览 2提问于2021-05-21得票数 0
回答已采纳
我在windows 10 WSL上使用气流v2.0 (Ubuntu20.04)。警告信息是：
/home/jainri/.local/lib/python3.8/site-packages/airflow/models/dag.py:1342: PendingDeprecationWarning: The requested task could not be added to the DAG because a task with task_id create_tag_template_field_result is already in the DAG. Starting in Airfl
浏览 4提问于2020-10-13得票数 1
回答已采纳
在迁移到Airflow 2.0之前，我正在运行命令airflow upgrade_check进行检查。 我把Fernet问题理解为一个问题： Fernet is enabled by default
The fernet mechanism is enabled by default to increase the security of the default installation.
Problems:
1. fernet_key in airflow.cfg must be explicitly set empty as fernet mechanism is enable
浏览 24提问于2021-04-20得票数 0
由于以下错误，我无法在我的Windows10 WSL上安装Apache Airflow：
ModuleNotFoundError: No module named 'setuptools_rust'
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-h36n9pdt/cryptography/
命令：
export SLUGIFY_USES_TEXT_UNIDECODE=yes
python3 -m pip install apache-airflow
甚
浏览 0提问于2021-10-28得票数 0
2回答
我意识到这是互联网上成千上万篇文章的翻版，但我只找到了版本<2.0的解决方案，而这些解决方案并不适用于>2.0。
基本上，我已经在Ubuntu系统上安装了Apache气流。根据我从命令行看到的，所有安装都很好，我首先创建了一个用户：
airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin
然后从这里开始启动the服务器和调度程序：
airflow webserver -p 8585 > ${AIRF
浏览 11提问于2022-06-13得票数 0
回答已采纳
1回答
我一直在思考如何在windows中将apache-气流库添加到我的虚拟env中。
Apache-airflow安装在Linux上，它由VirtualBox托管在我的计算机上。
PyCharm安装在Windows 10上，在这里我试图想出一种如何将库添加到PyCharm(Community )中的方法。
基本上，我希望在我的虚拟机上保持apache-气流，并在我的Windows环境中开发DAG和必要的组件。
我怎样才能做到这一点？任何帮助都将不胜感激。
浏览 5提问于2020-09-25得票数 2
1回答
错误:码头中不可满足的约束条件
、、、、
我是刚来码头的。
我有两个问题
问题# 1
我已经创建了一个基本的坞文件来安装Apache-Airflow和Apache-Celery.但现在，我只想安装气流。我正面临一个奇怪的问题，说unsatisfiable constraints。
我累了。我试过了，但没能解决这个问题。任何帮助都将不胜感激。
FROM python:3.6-alpine
WORKDIR /airflow
RUN apk add git gcc python3-dev gpgme-dev libc-dev python-devel python-setuptools mysql-devel gcc-c++
浏览 3提问于2020-04-01得票数 1
回答已采纳
1回答
我正在尝试用pip install apache-airflow安装airflow的推荐方式。在安装摆(依赖关系)期间，我得到了一个错误：
error: can't copy 'pendulum/parsing': doesn't exist or not a regular file
我认为这与有关，但这并没有给出在使用pip时如何解决这个问题的答案。为摆拔tar并使用python setup.py install进行安装是有效的，但是当我随后再次执行pip install apache-airflow时，它会看到摆已经安装、卸载，然后尝试使用pip再次安
浏览 0提问于2018-12-08得票数 0
回答已采纳
我已经在运行在Windows Linux子系统(WSL)上的Ubuntu上安装了apache airflow V2.1.0。安装之后，我创建了一个管理员用户，并在~/.bashrc文件中设置了AIRFLOW_HOME变量，如下所示
export AIRFLOW_HOME=~/airflow
然而，当我尝试启动airflow when服务器时，它不工作，并且我得到下面的文本
____________ _____________
____ |__( )_________ __/__ /________ __
____ /| |_ /__ ___/_ /
浏览 70提问于2021-06-12得票数 1
1回答
我试图通过我自己的形象在公共码头中心安装气流，但它在本地工作得很好，但当我试图在Openshift上使用它时。我听到了这个错误。
` `ERROR:由于OSError: Errno 13权限被拒绝：‘/..local’无法安装软件包，请检查权限。
我的Dockerfile在Windows和Ubuntu上工作。
# VERSION 2.0.0
# AUTHOR: Bruno
# DESCRIPTION: Basic Airflow container
FROM python:3.8-slim-buster
LABEL maintainer="Bruno"
# Never
浏览 2提问于2021-02-20得票数 3
我在本地mac上安装了气流2.0，支持PostgresSQL for sql_alchemy_conn。我的DAG运行良好+维护sqla数据库中的元数据，但是任何气流用户都会在未创建角色表/视图的情况下命令错误。
我尝试过设置和重置气流重置数据库，但是这些表在sql_alchemy_conn DB中仍然不可用。
psycopg2.ProgrammingError: relation "ab_permission_view_role" does not exist
LINE 2: FROM ab_permission_view_role JOIN ab_permission_vi
浏览 0提问于2019-01-11得票数 17
回答已采纳
2回答
我刚刚创建了一个新的Cloud Composer环境，在尝试向该环境(例如google-cloud-pubsub)添加一些PyPI包时出现错误。
这是关于环境的数据：
我在尝试添加google-cloud-pubsub时遇到的错误是这样的:安装PyPI包失败。
有人知道这件事吗？
谢谢:)
云构建：
+ python3 -m pip install -r requirements.txt
Collecting google-cloud-pubsub==1.2.0 (from -r requirements.txt (line 1))
Downloading https://files
浏览 35提问于2020-02-20得票数 0
回答已采纳
我在windows上安装了ubuntu终端，这就是我正在做的事情：https://medium.com/@ryanroline/installing-apache-airflow-on-windows-10-5247aa1249ef 当我运行airflow initdb时，我得到这个错误： Traceback (most recent call last):
File "/usr/local/bin/airflow", line 37, in <module>
...
File "/home/lucas/.local/lib/python3
浏览 38提问于2020-07-04得票数 0
我正在学习Apache气流，并尝试编写hello world版本的它。
我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0
import datetime
import logging
from airflow import DAG
from airflow.operators.python import PythonOperator
def greet_hello():
logging.info("Hello World")
dag = DAG("FirstDag", start_date=dateti
浏览 7提问于2021-02-07得票数 2
回答已采纳
1回答
我试图在带有高山的码头映像中安装apache-airflow，坞文件如下所示：
FROM python:3.9.5-alpine3.13
WORKDIR /usr/app
RUN pip install pipenv
COPY Pipfile* ./
RUN apk add --no-cache libressl-dev musl-dev libffi-dev libressl-dev musl-dev libffi-dev gcc build-base
RUN apk add gcc musl-dev libffi-dev openssl-dev python3-dev
RUN apk
浏览 4提问于2021-07-24得票数 0
我最近在Ubuntu服务器上部署了Airflow，使用官方的airflow docker镜像和docker-compose文件作为我的基础。 一开始，我本地的windows10机器和服务器上的一切都运行得很好。但几天后，我的所有dags/任务都会在服务器上失败，并在日志中显示以下错误消息： [2021-05-05 09:24:51,274] {taskinstance.py:1063} INFO - Executing <Task(PythonOperator): extract_events> on 2021-05-05T08:00:00+00:00
[2021-05-
浏览 18提问于2021-05-05得票数 0
回答已采纳
1回答
我已经克隆了气流回购到当地，并试图构建在码头运行后，到Azure。
我对这个过程不太确定。我搞错了
错误气流-构建-映像11/12运行if [ apache-airflow == ".“；然后bash /script/docker/编译_www_assets.sh；fi；if [2.5s*]
我在main分公司。
docker build . -f Dockerfile --tag airflow-image-20210913:0.0.1
控制台错误：
admin@Laptop-1:~/airflow$ docker build . -f Dockerfile --
浏览 4提问于2021-09-09得票数 0
我试图通过我的windows浏览器访问它，但失败了。我犯了什么错？
我在windows 10上使用WSL2，使用ubuntu 20。我在windows主机文件中安装了一个apache服务器和一个laravel应用程序，我在windows主机文件中添加了以下内容：
127.0.0.1 law.dev
::1 law.dev
这是law.conf文件，位于/etc/apache2/sites-available。
ServerName law.dev
DocumentRoot /var/www/law/public
Options Indexes Mul
浏览 0提问于2021-03-31得票数 3
回答已采纳
1回答
我正在尝试安装ubuntu与Windows一起。我是安装在一个不同的驱动器，没有窗口在它。我已经对驱动器进行了分区(我正在安装ubuntu )，所以一半用于ubuntu，另一半用于windows的额外存储。
我已经在/dev/sda上到处阅读了安装引导加载程序的内容，但是这有一个问题。我的/dev/sda是一个用于备份的外部驱动器。
我的Windows驱动器是/dev/sdb，在is /dev/sdd上安装ubuntu的驱动器。我应该在哪一个上安装引导加载程序？
以下是我的驱动器在菜单中的显示方式：
/dev/sda Seagate Expansion Desk (2.0 TB)
/dev/
浏览 0提问于2020-07-30得票数 0
我使用pip命令在ubuntu上部署了Airflow 2.0。已从1.10.13迁移到2.0。但是在db inint之后，我得到了警告。请告诉我为什么会收到这些警告。我试过运行示例dags，它们运行得很成功。
WARNI [airflow.providers_manager] The provider for package 'apache-airflow-providers-http' could not be registered from because providers for that package name have already been registere
浏览 1提问于2020-12-28得票数 3
我在Ubuntu 16.04上安装了气流。我有如下文件：
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law o
浏览 0提问于2017-02-23得票数 1
我们正在尝试使用下面的git集线器作为引用来实现dag依赖项插件。
https://github.com/ms32035/airflow-dag-dependencies
但我们正面临一个错误：
**cannot import name 'conf' from 'airflow'**
试着检查下面的页面，但是没有帮助
https://github.com/apache/airflow/blob/v1-10-stable/airflow/upgrade/rules/fix_conf_not_importable_from_airflow.py
目前我们在气流2.
浏览 2提问于2021-08-18得票数 1
回答已采纳
我正在尝试用Dockerfile中的扩展图像修改Airflow docker-compose设置，以便在容器上安装dbt，但docker-compose文件似乎忽略了Dockerfile:不同的气流容器启动并正常运行，但没有一个容器(完全)安装了dbt。我得到以下错误： root@42b2358a7792:/opt/airflow# dbt --version
Traceback (most recent call last):
File "/home/airflow/.local/bin/dbt", line 5, in <module>
from
浏览 88提问于2021-07-28得票数 0
我正在使用puckel airflow图像，并通过编辑dockerfile升级了airflow版本，其中包括google并安装了apache- airflow -providers google 2.2.0作为python依赖项，以及google或gcs作为airflow依赖项。 `docker build --rm --build-arg AIRFLOW_DEPS="google" --build-arg AIRFLOW_DEPS="google" --build-arg PYTHON_DEPS="httplib2==0.18.1" --bu
浏览 12提问于2021-04-17得票数 0
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark 当我启动When服务器时，它无法导入提供程序： [2021-01-19 18:49:46,871] {providers_manager.py:279} WARNING - Exception when importing 'airflow.providers.apache.spark.hooks.spark_jdbc.SparkJDBCHook' from &
浏览 16提问于2021-01-20得票数 3
我正在尝试安排一个ETL管道，在我的本地机器上运行气流。我正在使用apache.airflow网页中的“标准”docker-compose.yaml文件(这一个是：)，我唯一的修改是将本地文件系统的部分安装到docker上，并使用自定义映像来安装一些python库(比如selenium)。这个设置对于我的一些管道是很好的，但是我有一个涉及到用selenium进行网络抓取，而我无法开始工作。
我得到一个DAG导入错误：
Broken DAG: [/opt/airflow/dags/brand_delta/my_dags/amazon_italy_dag.py] Traceback (most r
浏览 17提问于2022-12-02得票数 0
我试着用码头运行气流图像。不久前它正常工作。但是，我在localhost上运行了其他应用程序而没有使用VisualStudio(使用VisualStudio)，当我在之后重新运行我的气流时，localhost不再工作了。
我试图重新安装Docker和AirFlow imagem，但没有成功。
我正在使用空气流量2.1.4码头图像，可在Apache网站上找到。
我的AirFlow设置为在localhost:8080上运行。有没有办法知道另一个应用程序是否正在使用8080？
我不知道我能在这里发布什么必要的信息来澄清我的问题。我相信，检查是否有其他绑定在localhost:8080上运行的应用程序
浏览 3提问于2021-09-20得票数 0
回答已采纳
1回答
我正在尝试在red hat来宾虚拟机上安装Apache airflow 2.1.0。我是一个新手与空气流动，因为我想学习如何使用它来创建ETL。我被airflow with服务器卡住了。 airflow db init工作正常。 Initialization done. 我在db初始化后创建了一个管理员用户。然后，airflow webserver命令出现问题。 [priya@localhost ~]$ airflow webserver -D
____________ _____________
____ |__( )_________ __/__ /_____
浏览 183提问于2021-06-29得票数 0
第一次尝试将运行在码头的气流与谷歌云连接起来。我有两个问题：
首先，气流和谷歌云之间的联系不起作用。
其次，另一种方法是使用apache-airflow-providers-google，但是一旦安装，我就无法在DAG中导入这个模块。
以下是详细的步骤。任何帮助都将不胜感激。
问题1
初始设置
去找码头工人--Compose.yaml
mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
docker-compose up airflow-init #初
浏览 9提问于2022-02-14得票数 1
2回答
我正在设置一个分布式气流集群，其中除了芹菜工作人员以外的其他一切都在一个主机上运行，处理工作在多个主机上进行。气流2.0设置使用在气流文档中提供的yaml文件进行配置。在我的初始测试中，当我在同一台主机上运行所有东西时，我让体系结构工作得很好。问题是，如何在远程主机上启动芹菜工人？
到目前为止，我试图创建一个修整版本的上述对接-写作，在这里，我只开始芹菜工人在工人主机，而不是其他。但我在数据库连接方面遇到了一些问题。在经过修剪的版本中，我更改了URL，以便它们指向运行db和redis的主机。
dags、日志、插件和postgresql db位于所有主机都可以看到的共享驱动器上。
我应该如何进行
浏览 19提问于2021-06-30得票数 7
回答已采纳
我试图在windows 10上安装Apache气流2.2.4。当我完成并运行气流时，这里是它给我带来的错误。
Traceback (most recent call last):
File "/home/david/.local/bin/airflow", line 5, in <module>
from airflow.__main__ import main
File "/home/david/.local/lib/python3.6/site-packages/airflow/__init__.py", line 34, in
浏览 29提问于2022-03-26得票数 0
我正在尝试安装apache-airflow
pip install apache-airflow==1.10.10
得到了错误。
am Files (x86)\Windows Kits\10\include\10.0.17763.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.17763.0\cppwinrt" /Tcsrc/spt_setup.c /Fobuild\temp.win-amd64-3.7\Release\src/spt_setup.obj
spt_setup.c
sr
浏览 4提问于2020-12-19得票数 1
我现在已经研究了几个小时，但我不能确定到2017年10月，你是否可以在Windows上运行airflow。我已经使用Python包"pip install airflow“安装了它，但我无法初始化它，甚至无法看到版本，我假设它不能在Windows上运行。
浏览 0提问于2017-10-25得票数 3
回答已采纳
我们正试图将MongoHook和GCSToLocalFilesystemOperator导入到我们的气流项目中：
...per ，“提供程序包不再包含在气流中，但是您可以使用特定的后端包单独使用pip安装它们”。
我在这件事上运气不好。对于我们的DockerFile，我们开始使用从puckel/码头-气流回购在GitHub上。
我尝试将这两行添加到我们的requirements.txt中
apache-airflow-backport-providers-mongo
apache-airflow-backport-providers-google
...and我尝试将这些行
浏览 0提问于2020-11-16得票数 3
在AirFlow2.0中，您可以通过运行CLI命令airflow tasks states-for-dag-run来获取dag中任务的状态。(请参阅此处的文档：https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#state_repeat1) Airflow 1.10.12中的等价物是什么？我似乎在the 1.10.12 docs中找不到它。
浏览 66提问于2021-06-17得票数 1
回答已采纳
Airflow模块附带一个主pip包apache-airflow和多个子包，只安装我们需要的(查看文档)
我想测试是否安装了一个子包(例如，获取一个bash命令以了解是否安装了apache-airflow[mysql] )。
要知道是否安装了apache-airflow，我可以执行pip show apache-airflow，如果已安装，则获取0作为退出代码，否则获取1。如果我执行pip show apache-airflow['mysql']，我总是得到1作为退出代码，无论是否安装了子包。
我找不到任何解决方案。有什么想法吗？
浏览 19提问于2017-07-04得票数 4
回答已采纳
请参阅：
。
考虑到这个概念，并试图应用于Apache气流。我在Windows Linux子系统(WSL)上运行气流。我还在Windows10上安装了和.py文件，我想使用Airflow来执行.py文件。
如果我在Ubuntu中执行以下操作：
/mnt/c/path/to/windows_python/python.exe C:\\path\\to\\my\\python\\file\\my_file.py
my_file.py使用我安装的Python 10运行。但是，如果在DAG中使用BashOperator进行相同的调用，则会看到"Bash命令失败“错误。DAG文件中的任务如下所示
浏览 0提问于2019-08-14得票数 0
回答已采纳
我有以下版本的compose： docker-compose version 1.25.4, build 8d51620a
docker-py version: 4.1.0
CPython version: 3.7.5 没有可能更新docker-compose，因为它属于asustor NAS server -至少目前我不知道如何将它更新到docker compose 2.0。如果我愿意的话，我的.yaml文件就可以工作了--我在ym本地PC上检查过了。我知道我需要更改我当前的yaml文件以适应docker-compose 1.25，这就是它在下面的样子。谁能告诉我我应该在其中做些什么来避免
浏览 54提问于2021-09-18得票数 0
我希望为编辑一些代码，因为我需要使用Google、Python、>= 15，并且在我从1.10.15迁移到2.0期间，需要对google的后端提供程序Ads <8.0。
链接的源代码直接指向apache/airflow/providers，这对于来说似乎是一样的。
因此，对于每个包正在安装哪些代码，或者现在是否相同，我感到有点困惑。
浏览 5提问于2022-05-10得票数 0
回答已采纳
一个Apache Airflow安装能否用于处理多个环境？例如：Dev、QA1、QA2和Production (如果是，请指导)，或者我是否需要为每一个单独安装？考虑到所有环境的维护，最好的设计是什么？
浏览 0提问于2018-05-29得票数 0
我的Mac机器上都安装了python2.7和3.7。我在.bash_profile文件中使用以下命令设置了python3默认值
alias python=python3
alias pip=pip3
当我点击下面的命令时
pip install apache-airflow
上面写着
Requirement already satisfied: apache-airflow in /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages (1.10.3)
但是当我点击"airflow ve
浏览 1提问于2019-05-14得票数 2
我已经成功地启用了MWAA环境(气流版本: 2.0.2)，并为MSSQL、MySQL和Oracle安装了python依赖项。但是这3个数据库的连接并没有添加到Web的下拉列表中。有什么想法吗？
我已经检查了Cloudwatch上的日志，以了解调度程序的需求安装，它说所有安装都成功了，如下所示：
Successfully installed apache-airflow-providers-microsoft-mssql-1.1.0 apache-airflow-providers-mysql-1.1.0 apache-airflow-providers-oracle-1.1.0 c
浏览 2提问于2021-06-22得票数 1
我最近把气流从1.10.15升级到2.2.4。使用sudo安装。升级后升级DB。气流正在运行，但也有导入错误。
我有多个带有行from airflow.operators.mssql_operator import MsSqlOperator的DAG，但是一旦调度程序和and服务器启动，我将得到以下错误：
Broken DAG: [/opt/airflow/dags/admissions.py] Traceback (most recent call last):
File "/opt/airflow/dags/admissions.py", line 7, in <
浏览 16提问于2022-03-28得票数 0
回答已采纳
我正在开发一个使用DockerOperator与Apache Airflow一起调度和编排的ETL流程。我在一台Windows笔记本电脑上工作，所以我只能从docker容器内部运行Apache Airflow。我可以在我的项目根目录下，使用下面docker-compose.yml文件中指定的卷，在我的windows笔记本电脑上安装一个包含配置文件(名为configs )的文件夹到气流容器(名为webserver )中。docker-compose.yml文件中的相关代码如下所示：
version: '2.1'
webserver:
build: ./do
浏览 3提问于2020-01-29得票数 1
我遇到了airflow ( v1.9.0dev0+apache.incubating )的问题，在调度程序获得作业之前，一切看起来都很正常，日志如下：
[2017-03-15 15:54:18,075] {jobs.py:1329} INFO - Waiting up to 5s for processes to exit... Traceback (most recent call last): File "/usr/local/bin/airflow", line 4, in <module>
__import__('pkg_resource
浏览 1提问于2017-03-16得票数 1
我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件，可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE？
我的docker-compose.yaml文件：
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license a
浏览 17提问于2021-09-27得票数 4
回答已采纳
1回答
我正在尝试获得一个阿帕奇气流图像来安装h2o，通常我只需要运行pip install h2o，它就能工作。 根据this的回答，我需要扩展图像，我就这么做了。 airflow/Dockerfile FROM apache/airflow:2.1.2
USER root
RUN apt-get update \
&& apt-get install -y --no-install-recommends \
build-essential h2o \
&& apt-get autoremove -yqq --purge \
&
浏览 15提问于2021-08-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
