Airflow with Kubernetes Executor -错误:只读文件系统：'/airflow/dags/git/test.csv
Airflow with Kubernetes Executor是一种在Kubernetes集群中使用的Airflow执行器。它允许在容器化的环境中运行Airflow任务，并提供了强大的任务编排和调度功能。
错误信息"只读文件系统：'/airflow/dags/git/test.csv'"表示试图对只读文件系统进行写操作，具体指向了文件路径为"/airflow/dags/git/test.csv"的文件。
在Airflow中，DAG（Directed Acyclic Graph）定义了任务的依赖关系和执行顺序。通常，DAG定义的任务将从某个源（如代码仓库）中加载相关的文件。根据错误信息，试图在"/airflow/dags/git/test.csv"路径下写入文件，但由于文件系统被设置为只读，所以导致了该错误。
解决此问题的方法是检查文件系统的权限配置以及文件的读写权限。确保"/airflow/dags/git/test.csv"文件所在的文件系统具有可写权限。如果是在Kubernetes环境下，可以检查相关的持久卷声明（Persistent Volume Claim）是否正确配置了读写权限。另外，还需要确保Airflow容器具有足够的权限来写入文件。
推荐的腾讯云相关产品是TKE（Tencent Kubernetes Engine），它是腾讯云提供的托管式Kubernetes服务。TKE提供了高度可扩展和可靠的Kubernetes集群，能够为Airflow with Kubernetes Executor提供强大的计算和存储资源。
更多关于TKE的信息和产品介绍可以参考腾讯云官方文档：
注意：本答案中没有提及任何其他云计算品牌商，仅提供了相关的技术概念和推荐的腾讯云产品。
相关·内容
我正在使用气流稳定舵图和Kubernetes Executor，新的pod正在为dag调度，但它与dag_id的故障无法找到问题。我正在使用git-sync来获取dags。下面是错误和kubernetes配置值。有人能帮我解决这个问题吗？
错误：
[2020-07-01 23:18:36,939] {__init__.py:51} INFO - Using executor LocalExecutor
[2020-07-01 23:18:36,940] {dagbag.py:396} INFO - Filling up the DagBag from /opt/airflow/dags/dag
浏览 9提问于2020-07-02得票数 6
我正在尝试使用Kubernetes Executor在单独的pod中处理我创建的dags！
我们有一个步骤是同步git来访问dags，首先我在airflow.cfg中放了以下参数，但在这些条件下我不能处理简单的python操作符(它不会创建pod)。有没有人能做到这一点？git sync的设置是否正确？
Airflow.cfg：
# For either git sync or volume mounted DAGs, the worker will look in this subpath for DAGs
dags_volume_subpath =
# For DAGs mounted
浏览 21提问于2019-08-16得票数 0
回答已采纳
我的公司使用git-sync将压缩的dags同步到airflow。我们使用气流舵面图来展开气流。我想知道我是否可以让airflow只拾取特定文件夹中的压缩dags，比如git分支中的dags-dev，而不是所有的压缩dags？ 下面是一些可能有用的参考资料。 气流舵图的值文件。https://github.com/helm/charts/blob/master/stable/airflow/values.yaml 我们的dags代码如下所示： dags:
doNotPickle: true
git:
url: <git url>
浏览 66提问于2020-08-27得票数 7
在的项目之后，我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv，它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/logs>中。我也可以在webserver中看到新添加的DAGS。但是，当我从UI执行DAG时，调度程序会为该任务触发一个新的POD，但是新的工作荚无法运行
Unable to mount volumes for pod "tut
浏览 2提问于2019-08-01得票数 2
回答已采纳
当尝试使用KubernetesExecutor运行dag时，在员工荚中获取异常时，在启动后立即终止：
我有一个问题，为什么调度程序将LocalExecutor作为一个env变量发送到pod describe result中，这是正确的行为吗？
请查找所有所需文件：
airflow.cfgworker dag describeworker dag记录dag文件
工人吊舱描述结果：
Name: tutorialv01printhello-50d3b9099ea64c19a51e2fb035eef8ac
Namespace: default
Priority: 0
No
浏览 1提问于2020-08-06得票数 4
回答已采纳
对于dags和日志，可以选择在volumeMount的kubernetes部分下安装airflow.conf。
[kubernetes]
airflow_configmap = airflow_config
worker_container_repository = airflow
worker_container_tag = runner2
worker_container_image_pull_policy = IfNotPresent
delete_worker_pods = true
dags_volume_claim = airflow-dags-pvc
dags_volume_su
浏览 2提问于2019-08-07得票数 3
回答已采纳
我正在使用带有KubernetesExecutor的apache airflow。我在Minikube中运行设置，它工作得很好，这意味着只要DAG触发，它就会为标记中的每个任务生成pod，并在任务完成后删除pod。
与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。ContainerCreating -> Running -> Completed -> Error -> Terminating。Airflow UI具有该任务的空日志，因此无法检查导致问题的原因，并且依赖任务的其余部
浏览 22提问于2019-07-16得票数 2
当我把我的气流设置在库伯奈特斯水下，我遇到了一些问题。我参考了博客。我的处境改变了一些环境。我认为一切正常，但我手动或计划地运行dag。工人荚工作很好(我认为)，但web-ui总是不会改变状态，只是运行和排队.我想知道是怎么回事..。
这是我的设定值。
版本信息
AWS EKS ( kubernetes version: 1.21 )
Airflow ( 2.2.3 )
Python 3.8
container.yaml
# Licensed to the Apache Software Foundation (ASF) under one *
# or more contributo
浏览 38提问于2022-02-23得票数 1
回答已采纳
我在的Kubernetes上运行Airflow。我在AWS环境中运行它。无论是否装载用于日志存储的任何外部卷，都存在此错误。我尝试将日志部分的配置设置为指向我创建的EFS卷。PV通过PVC挂载，但我的容器由于以下错误而崩溃(调度程序和web)：
*** executing Airflow initdb...
Unable to load the config, contains a configuration error.
Traceback (most recent call last):
File "/usr/local/lib/python3.6/logging/config
浏览 21提问于2020-08-21得票数 4
目标
我想在库伯奈特斯上部署气流，在那里豆荚可以访问相同的DAG，在一个共享的持久卷中。根据文档()，我似乎必须设置并将这些值传递给Helm：extraVolume、extraVolumeMount、persistence.enabled、logsPersistence.enabled、dags.path、logs.path。
问题
在安装正式Helm图表时传递的任何自定义值都会导致类似于以下内容的错误：
Error: YAML parse error on airflow/templates/deployments-web.yaml: error converting YAML to JSO
浏览 6提问于2019-10-09得票数 4
在将Postgres数据库与气流连接时，我参考了和。
特别是，我将这一行添加到文件airflow.cfg中。
sql_alchemy_conn = postgresql+psycopg2://airflowadmin:airflowadmin@localhost/airflowdb
其中，airflowadmin既是postgres用户的用户名，也是密码，airflowdb是创建的postgres db，airflowadmin拥有所有特权。
现在，当我用airflow db init初始化数据库时，我仍然认为sqlite是链接的数据库。全部产出：
DB: sqlite:////home/us
浏览 3提问于2021-09-07得票数 1
回答已采纳
我想在Minikube上本地部署Airflow，并为DAG处理装载一个本地文件夹。
Airflow的部署方式如下：
helm install $AIRFLOW_NAME apache-airflow/airflow \
--values values.yml \
--set logs.persistence.enabled=true \
--namespace $AIRFLOW_NAMESPACE \
--kubeconfig ~/.kube/config
values.yml如下所示：
executor: KubernetesExecutor
config:
浏览 4提问于2021-09-16得票数 0
我使用这个舵图来部署气流。
Apache气流版本：2.0.0
Kubernetes版本：v1.19.4
发生了什么：当我尝试使用kubernetes执行任务时，我得到了这个错误
[2021-01-14 19:39:17,628] {dagbag.py:440} INFO - Filling up the DagBag from /opt/airflow/dags/repo/bash.py
Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 8, in <mod
浏览 2提问于2021-01-14得票数 3
回答已采纳
强文本我已经安装了气流在码头和使用库伯内特斯执行器无法触发达格。Dag运行处于排队状态。KubernetesExecutor正在创建pod，但是它说是无效的图像。如果我描述这个吊舱，它使用的是本地执行器，而不是kubernetes执行器。请帮帮忙
附加日志文件以供参考
**kubectl describe pod tablescreationschematablescreation-ecabd38a66664a33b6645a72ef056edc
Name: swedschematablescreationschematablescreation-ecabd38a66664a3
浏览 2提问于2020-05-11得票数 0
4回答
我的气流服务是以kubernetes部署方式运行的，它有两个容器，一个用于webserver，一个用于scheduler。我正在使用KubernetesPodOperator运行一个带有in_cluster=True参数的任务，它运行良好，甚至可以显示kubectl logs pod-name和所有日志。
但是，airflow-webserver无法获取日志：
*** Log file does not exist: /tmp/logs/dag_name/task_name/2020-05-19T23:17:33.455051+00:00/1.log
*** Fetching from: ht
浏览 2提问于2020-05-19得票数 4
回答已采纳
1回答
我目前正在尝试设置气流在库伯奈特环境中工作。为了使气流有用，我需要能够使用Git-同步功能，以便DAG可以从Pod中分开存储，因此在Pod降级或重新启动时不会被重置。我正试图用ssh来设置它。
我一直在寻找关于气流配置的良好文档，或者关于如何正确设置这个配置的教程，但是这是徒劳的。我非常感谢在这里提供一些帮助，因为我在这方面已经挣扎了一段时间。
以下是我如何设置相关配置，请注意，出于安全原因，我有一些链接和一些信息：
git_repo = https://<git-host>/scm/<project-name>/airflow
git_branch = develop
浏览 6提问于2020-06-03得票数 2
我有多个dag使用芹菜执行程序，但我想使用Kubernetes Executor运行一个特定的dag。我无法推断出一个好的和可靠的方法来实现这一点。
我有一个声明要使用CeleryExecutor的airflow.cfg。我不想改变它，因为除了一个dags之外，所有的dags都需要它。
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
我的dag代码：
from da
浏览 2提问于2019-05-27得票数 6
我刚在一个服务器上安装了气流1.10
sudo -E pip-3.6 install apache-airflow[celery,devel,postgres]
在那之后我可能也做了这个
sudo -E pip-3.6 install apache-airflow[all]
但是无论如何，当我运行airflow version时，我会得到以下输出
[ec2-user@ip-1-2-3-4 ~]$ airflow version
[2018-08-29 16:09:59,088] {{__init__.py:51}} INFO - Using executor SequentialExecuto
浏览 0提问于2018-08-29得票数 8
1回答
我使用的是头盔图，使用安装了kubernetes的v1.10.8 puckle/docker-airflow映像，并在舵图中使用该映像，但我一直在使用
File "/usr/local/bin/airflow", line 37, in <module>
args.func(args)
File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb
db.initdb(settings.RBAC)
File
浏览 4提问于2020-02-08得票数 13
回答已采纳
1回答
我试图在服务上部署一个气流，并使用以下命令从GitHub加载DAG：
helm install airflow bitnami/airflow -n d --set git.dags.enabled=true --set git.dags.repositories[0].repository=https://github.com/lazkamal/aiflow_dags.git --set git.dags.repositories[0].name=ayyoub-repo --set git.dags.repositories[0].branch=main
但是得到这个错误：
Error: t
浏览 17提问于2022-02-24得票数 0
helm install airflow-staging airflow-stable/airflow --version “7.14.0” --namespace staging --set airflow.config.AIRFLOW__KUBERNETES__GIT_BRANCH=master --set dags.git.ref=“https://github.com/pedaling/class101-airflow.git” --values staging-values.yaml
它产生了这个错误--
错误:下载“7.14.0”版本的“气流-稳定/气流”失败(提示:运行hel
浏览 1提问于2021-04-16得票数 1
1回答
我目前正在使用docker-compose up来运行我从docker得到的apache airflow镜像。但是，当我尝试运行我的pythonOperator(包含其他库的python脚本)时，在构建airflow时出现错误。 我的docker-compose.yml： version: '3'
services:
postgres:
image: postgres:9.6
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGR
浏览 10提问于2020-09-09得票数 2
回答已采纳
我试图设置远程日志在气流stable/airflow头盔图表上的v1.10.9，我使用库伯奈茨执行器和puckel/docker-airflow图像。这是我的values.yaml文件。
airflow:
image:
repository: airflow-docker-local
tag: 1.10.9
executor: Kubernetes
service:
type: LoadBalancer
config:
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY: airflow-dock
浏览 0提问于2020-02-13得票数 1
回答已采纳
我对airflow是个新手，我只是按照教程来运行dag。实际上我成功地完成了，但问题是当我尝试通过输入命令行(如airflow pause dag_id )来暂停dag时，它抛出AttributeError: 'NoneType' object has no attribute 'is_paused'
回溯是：
File "/anaconda3/bin/airflow", line 32, in <module>
args.func(args)
File "/anaconda3/lib/python3.6/site
浏览 0提问于2018-09-07得票数 4
3回答
我尝试了气流教程DAG，它与调度器一起工作，我可以看到由计划运行生成的日志。但是，如果我使用命令行测试，我没有看到输出：
airflow test my_tutorial_2 templated 2018-09-08
[2018-09-10 15:41:43,121] {__init__.py:51} INFO - Using executor SequentialExecutor
[2018-09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/
浏览 1提问于2018-09-10得票数 3
回答已采纳
我正在尝试测试气流KubernetesPodOperator，遵循本指南和官方存储库。
我能够部署Kubernetes集群(./script/ci/kubernetes/kube/Deploy.sh -d persistent_mode)，但调度程序和postgres容器之间似乎存在问题。调度程序无法从日志成功连接到postgres：
$ kubectl logs airflow-698ff6b8cd-gdr7f scheduler
`[2019-02-24 21:06:20,529] {settings.py:175} INFO - settings.configure_orm():
浏览 1提问于2019-02-24得票数 0
我正在使用这个https://github.com/tuanavu/airflow-tutorial git repo，在码头容器中运行airflow，但同时我还想安装额外的要求。 我正在尝试安装git以及我在airflow-tutorial目录中创建的Dockerfile的一些其他依赖项。并在文件中添加了以下行。 RUN apt-get update && \
apt-get install -y git
RUN pip install dataclasses 然后尝试用docker-compose up --build构建它 但它总是失败，错误是 Modu
浏览 28提问于2020-06-19得票数 0
使用repo 和8.1.3版本的airflow -稳定/airflow安装了kubernetes中的airflow。所以我安装了Airflow v2.0.1。我使用外部postgres数据库和kubernetes executor对其进行了设置。
我注意到的是，当气流相关的豆荚完成后，它们会进入"NotReady“状态。这发生在启动时的update-db pod和kubernetes执行器启动的pod中。当我进入airflow并查看任务时，有些是成功的，有些可能是失败的，但无论哪种情况，相关的pods都处于"NotReady“状态。在values文件中，我设置了下面的值，认为它
浏览 19提问于2021-05-25得票数 0
回答已采纳
我们将airflow架构从Celery迁移到Kubernete Executor。 我正在使用bash命令运行下一个dag，而主链中的前一个dag已经完成： my_task_1 = bash.BashOperator(
task_id="my_task_1",
dag=dag,
bash_command='airflow dags trigger dag_2_id'
) 但遗憾的是，我想不出如何从Kubernetes内部运行CLI命令。提前感谢您的支持。
浏览 12提问于2021-10-17得票数 0
我在本地机器上使用docker-compose运行AirFlow： version: '2'
services:
postgresql:
image: bitnami/postgresql:10
volumes:
- postgresql_data:/bitnami/postgresql
environment:
- POSTGRESQL_DATABASE=bitnami_airflow
- POSTGRESQL_USERNAME=bn_airflow
- POSTGRESQL_PASSWORD=b
浏览 66提问于2021-08-04得票数 0
回答已采纳
1回答
我需要运行以下dag -
dag = DAG('dummy_for_testing',
default_args=default_args,schedule_interval=None)
t1 = BashOperator(
task_id='print_date',
bash_command='date',
dag=dag)
t2 = BashOperator(
task_id='print_host',
bash_command='hostname',
qu
浏览 10提问于2019-04-12得票数 0
1回答
我正在尝试使用带有Redis的Docker从LocalExecutor迁移到气流2.1.3中的CeleryExecutor。我为webserver、调度器、worker、redis和数据库制作了单独的容器。问题:任务是排队的，但没有执行。
docker-compose.yml:
version: "3.3"
services:
redis:
image: redis:6.0.9-alpine
healthcheck:
test: ["CMD", "redis-cli", "ping"]
int
浏览 5提问于2022-03-14得票数 0
我们正在运行一个JDBCOperator任务来刷新黑斑羚的亚稳态。返回代码Negsignal.SIGKILL会导致任务失败。下面是来自气流用户界面的日志：
[2021-09-08 16:47:32,659] {logging_mixin.py:120} INFO - Running <TaskInstance: XXX.XXX-refresh-impala 2021-09-08T12:22:00+00:00 [running]> on host boblivefjanonsalesorderaddressboblivefjanonsalesorderaddressref
[2021
浏览 2提问于2021-09-08得票数 0
回答已采纳
我让not服务器正常工作，并且我的airflow-scheduler.service文件启动了调度器，它找到了我的dags等。但是，任务没有运行：
我看到一条关于/bin/sh的错误消息
ERROR - failed to execute task Command 'exec bash -c run'
我有我的sysconfig文件：
#!/bin/bash
PATH=/opt/anaconda/anaconda3/envs/airflow_env/bin/airflow
AIRFLOW_CONFIG=/mnt/var/airflow/airflow.cfg
AIRFLOW_H
浏览 3提问于2017-10-31得票数 9
我正在创建一个数据管道，通过BigQuery运算符或谷歌云库从Bigquery获取数据。但是我总是得到一个错误。下面是大查询运算符的dag：
from airflow import DAG
from datetime import datetime, timedelta
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
from airflow.contrib.operators.bigquery_check_operator import BigQueryCheckOperator
from r
浏览 13提问于2021-05-13得票数 0
我在kubernetes集群上部署了气流实例，使用带Kubernetes执行器的bitnami舵机图表。如果我试图执行一个花费超过5分钟的任务，Scheduler会自动终止该任务。
我已经试过了，但没有用。
调度程序日志：
[2022-08-05 18:27:20,117] {kubernetes_executor.py:147} INFO - Event: process1800.404b6cc740064e90955e28dd736f899e had an event of type MODIFIED
[2022-08-05 18:27:20,118] {kubernetes_execut
浏览 12提问于2022-08-05得票数 0
我无法列出我创建的dag newely.Getting导入Error.Kindly帮助我解决下面的错误
:/$ airflow list_dags
[2019-12-27 21:07:50,125] {__init__.py:51} INFO - Using executor SequentialExecutor
[2019-12-27 21:07:50,127] {dagbag.py:403} INFO - Filling up the DagBag from /home/muniaraj/airflow/dags
[2019-12-27 21:07:50,134] {dagbag.py:2
浏览 2提问于2019-12-27得票数 2
谁能告诉我如何在本地气流部署中配置kuberenetes执行器。我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。
[kubernetes]
# Path to the YAML pod file that forms the basis for KubernetesExecutor workers.
pod_template_file = /home/caxe/airflow/logs/yamls/pod_template.yaml
worker_container_repository = apac
浏览 4提问于2022-01-21得票数 1
这可能是一个很难解决的问题，但我就靠你了！这个问题已经困扰我好几天了，我似乎不能自己解决这个问题。我们的Airflow实例是使用Kubernetes Executor部署的。Executor启动Worker Pods，而Worker Pods又用我们的数据转换逻辑启动Pod。worker pods和operator pods都运行良好，但Airflow在采用状态时遇到问题。阶段：“已完成”pods。它试了又试，但都无济于事。
所有的pod都运行在airflow-build Kubernetes命名空间中。
Airflow工作器是使用此模板创建的：
pod_template_file.yaml:
浏览 1提问于2021-03-23得票数 0
我正在设置一个新的气流服务器使用对接-合成和气流图像puckel/对接-气流。BashOperators和PythonOperator工作得很好，但是当我尝试使用DockerOperator时，我得到了名为“docker”的PythonOperator No模块。
如何更改我的码头组合文件，以便在我的码头内使用码头？
我试图在google上查找错误消息，但建议的解决方案都没有奏效。
下面是我正在使用的WebServer的停靠组合
webserver:
image: puckel/docker-airflow:1.10.1
build:
context: https:
浏览 5提问于2019-05-11得票数 2
我有一个正在运行的MiniKube，我通过docker-compose这样部署Airflow： ---
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed
浏览 40提问于2021-09-10得票数 0
回答已采纳
3回答
我跟踪了关于插件的。
我也在网上找到了：
但最重要的答案也帮不了我。
这里是我的项目的简化版本：
airflow_home
├── dags
│ └── etl.py
└── plugins
├── __init__.py
└── operators
├── __init__.py
└── dump_file.py
插件/操作符/dump_file.py
from airflow.models import BaseOperator
from airflow.utils.decorators import apply_defaults
浏览 1提问于2019-08-06得票数 0
我将postgres作为独立的服务运行在远程实例(gcp)上的独立码头容器中-参见下面的docker撰写文件。
Postgres实际上正在工作--如果我通过容器访问它，我可以在其中连接并执行操作(创建db，用户.)。
但是，当我试图通过dbeaver连接到postgres时，总是会得到一个连接尝试超时的错误。
在这里，我的dbeaver配置: Host: 172.17.0.1端口: 5432 DB -用户名-密码: postgres (如在坞撰写文件中定义的那样)
在gcp中建立了防火墙规则。
version: '3.7'
services:
postgres:
浏览 1提问于2021-11-10得票数 0
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。我已经尝试了所有被描述的解决方案，我仍然得到了以下错误，
*** Log file does not exist: /usr/local/airflow/logs/example_python_operator/print_the_context/2020-03-30T16:02:41.521194+00:00/1.log
*** Fetching from: http://examplepythonoperatorprintthecontex
浏览 3提问于2020-03-30得票数 3
回答已采纳
1回答
我有一个问题，启动我的气流发展环境。我用码头设置气流。在VSCode中启动气流驱动容器时，由于已有的pid文件，airflow_worker容器将停止工作。
VSCode版本:1.72.1开发容器版本:v0.255.3本地操作系统版本:WindowsVersion10.0.22000构建22000远程操作系统版本:WSLUbuntu20.04.5LTS远程扩展/连接类型：
在气流工人容器内的日志：
[2022-10-13 13:51:36 +0000] [33] [INFO] Starting gunicorn 20.1.0
[2022-10-13 13:51:36 +0000] [33] [
浏览 14提问于2022-10-20得票数 0
回答已采纳
我在AWS EKS上安装了气流，一切都很顺利。现在我试着给我的伙伴们增加松弛的警惕性。我的dag目录如下所示：
所以我尝试使用alert.py，将它插入到DAG中。
from utils.alert import SlackAlert
而web显示了一个错误
Broken DAG: [/opt/airflow/dags/repo/dags/sample_slack.py] Traceback (most recent call last):
File "<frozen importlib._bootstrap>", line 219, in _call_w
浏览 4提问于2022-05-25得票数 0
回答已采纳
我正在使用稳定/气流舵图，并希望调试git-clone容器的初始化。根据自述文件，这个容器需要一个密钥，我创建的密钥如下： kubectl create secret generic rein-ai-secret --from-file=id_rsa=/home/juanpa/.ssh/airflow-key --from-file=known_hosts=/home/juanpa/.ssh/known_hosts --from-file=id_rsa.pub=/home/juanpa/.ssh/airflow-key.pub 我使用的是一个非常简单的config.yaml airflow:
浏览 17提问于2019-09-30得票数 1
我在Kubernetes上运行气流，并使用“Kubernetes运算符”。当我运行BashOperator或时，可以使用以下方法运行精细：
executor_config = {
"KubernetesExecutor": {
"image": "image_with_airflow_and_my_code:latest"
}
}
当我尝试使用KubernetesPodOperator运行run时，它会失败
例如：
k = KubernetesPodOperator(namespace='defau
浏览 7提问于2019-10-10得票数 1
我想在本地挂载远程目录的数据。
docker run -d -it --name redis \
--mount src=airflow-dags,target=/app/dags,type=volume,volume-driver=vieux/sshfs \
-p 6379:6379 \
redis
这是我的船坞-合成人。
version: '3'
x-airflow-common:
&airflow-common
image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.3}
# build: .
env
浏览 19提问于2022-08-18得票数 0
我想通过一个持久的卷向所有Kubernetes气流吊舱(web，调度器，工作人员)提供DAG，
kubectl create -f pv-claim.yaml
pv-索赔.，包含：
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: airflow-pv-claim
annotations:
pv.beta.kubernetes.io/gid: "1000"
pv.beta.kubernetes.io/uid: "1000"
spec:
storageClassName
浏览 0提问于2019-01-31得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
