Airflow Kubernetes执行器日志
是指在使用Airflow调度工具时，使用Kubernetes执行器来运行任务时生成的日志信息。Airflow是一个开源的任务调度和工作流管理平台，而Kubernetes是一个用于容器编排和管理的开源平台。
使用Airflow的Kubernetes执行器可以将任务以容器的形式运行在Kubernetes集群中，执行器会生成各个任务的日志信息，用于记录任务的执行情况和输出结果。这些日志信息对于调试和监控任务的执行非常重要。
Airflow Kubernetes执行器日志的分类可以根据不同的任务进行区分，每个任务都有对应的日志文件。常见的日志分类包括任务启动日志、任务执行日志、任务错误日志等。
优势：
- 可扩展性：使用Kubernetes执行器可以轻松地扩展任务的运行能力，根据任务的需求自动调度和分配资源。
- 弹性和高可用性：Kubernetes执行器可以自动重新启动失败的任务，并且可以在集群中动态调整资源分配，提高任务的可靠性和可用性。
- 灵活性：Kubernetes执行器可以与其他Kubernetes生态系统工具和服务集成，如监控、日志管理、服务发现等，提供更全面的功能支持。
应用场景：
- 大规模数据处理：Airflow Kubernetes执行器可以用于处理大规模的数据任务，如数据清洗、数据分析、机器学习等。
- 定时任务调度：Airflow Kubernetes执行器可以用于定时执行各种任务，如定时备份、定时报表生成等。
- 弹性计算：使用Kubernetes执行器可以根据任务的需求自动调整资源分配，实现弹性计算，提高计算效率和成本效益。
推荐的腾讯云相关产品： 腾讯云提供了一系列与Kubernetes相关的产品和服务，可以与Airflow Kubernetes执行器结合使用，提供更全面的解决方案。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云容器注册中心（Tencent Container Registry，TCR）：https://cloud.tencent.com/product/tcr
- 腾讯云容器镜像服务（Tencent Container Image Service，TCIS）：https://cloud.tencent.com/product/tcis
- 腾讯云云原生应用平台（Tencent Cloud Native Application Platform，TCAP）：https://cloud.tencent.com/product/tcap
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
使用repo 和8.1.3版本的airflow -稳定/airflow安装了kubernetes中的airflow。所以我安装了Airflow v2.0.1。我使用外部postgres数据库和kubernetes executor对其进行了设置。
我注意到的是，当气流相关的豆荚完成后，它们会进入"NotReady“状态。这发生在启动时的update-db pod和kubernetes执行器启动的pod中。当我进入airflow并查看任务时，有些是成功的，有些可能是失败的，但无论哪种情况，相关的pods都处于"NotReady“状态。在values文件中，我设置了下面的值，认为它
浏览 19提问于2021-05-25得票数 0
回答已采纳
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。
import datetime
import airflow
from airflow.contrib.operators import kubernetes_pod_operator
YESTERDAY = datetime.datetime.now() - datetime.timedelta(day
浏览 0提问于2020-09-21得票数 0
4回答
我的气流服务是以kubernetes部署方式运行的，它有两个容器，一个用于webserver，一个用于scheduler。我正在使用KubernetesPodOperator运行一个带有in_cluster=True参数的任务，它运行良好，甚至可以显示kubectl logs pod-name和所有日志。
但是，airflow-webserver无法获取日志：
*** Log file does not exist: /tmp/logs/dag_name/task_name/2020-05-19T23:17:33.455051+00:00/1.log
*** Fetching from: ht
浏览 2提问于2020-05-19得票数 4
回答已采纳
我们决定在Kubernetes上运行Airflow。我们希望使用Kubernetes的力量，但要以平衡的方式。我们在DAG中有一些非常小的任务，例如创建一个目录。KubernetesExecutor为每个任务旋转一个pod，这需要很长的时间，因此对于许多短任务来说是过度杀伤力。
我的问题是，是否可以将Airflow配置为为整个DAG旋转一个Kubernetes pod，而不是每个任务一个pod？(最好不要芹菜)
浏览 0提问于2021-04-08得票数 0
我正在尝试将在kubernetes中运行的airflow部署从CeleryExecutor迁移到KubernetesExecutor。在我的本地开发环境中(在minikube上运行)一切都很顺利，但是我需要在生产环境中加载一个sidecar容器来运行一个代理，该代理允许我连接到我的sql数据库。经过一些谷歌搜索后，似乎在$PYTHONPATH上的某个airflow_local_settings.py文件中定义函数应该是实现这一点的方法。
首先，我尝试在每个示例的配置映射中定义它。例如：
apiVersion: v1
kind: ConfigMap
metadata:
name: airfl
浏览 3提问于2020-04-07得票数 1
我得到了这个守护进程，但是当试图运行它时，它会堆在Queued运行上。然后，当我尝试手动运行时，会得到错误：
错误：
Only works with the Celery, CeleryKubernetes or Kubernetes executors
代码：
from airflow import DAG
from airflow.providers.postgres.hooks.postgres import PostgresHook
from airflow.operators.python import PythonOperator
from datetime import date
浏览 8提问于2022-05-10得票数 0
我试图设置远程日志在气流stable/airflow头盔图表上的v1.10.9，我使用库伯奈茨执行器和puckel/docker-airflow图像。这是我的values.yaml文件。
airflow:
image:
repository: airflow-docker-local
tag: 1.10.9
executor: Kubernetes
service:
type: LoadBalancer
config:
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY: airflow-dock
浏览 0提问于2020-02-13得票数 1
回答已采纳
我无法查看我在Kubernetes上部署的Airflow实例中记录的任何日志。
例如，我正在使用logging.info('Log Started')记录一些东西，但它从来没有出现在UI中。即使在只有日志的测试Dag中，我也看不到任何日志。
目前正在使用Airflow 2.0.2发行版，并使用Kubernetes executor通过其最新的Helm图表进行安装。
我还必须在helm文件中将"AIRFLOW__KUBERNETES__DELETE_WORKER_PODS"设置为false才能看到其中的一些日志，因为我的工作人员正在完成工作，但我看不到任何我试图在
浏览 1提问于2021-07-01得票数 2
我正在使用带有KubernetesExecutor的apache airflow。我在Minikube中运行设置，它工作得很好，这意味着只要DAG触发，它就会为标记中的每个任务生成pod，并在任务完成后删除pod。
与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。ContainerCreating -> Running -> Completed -> Error -> Terminating。Airflow UI具有该任务的空日志，因此无法检查导致问题的原因，并且依赖任务的其余部
浏览 22提问于2019-07-16得票数 2
我已经开始使用KubernetesExecutor，并使用AWS设置了一个PV/PVC来为我的dags存储日志。我还使用s3远程日志记录。
在一个守护程序完成后，所有的日志记录都非常正常。但是，我希望能够看到我的作业的日志，因为它们正在运行很长时间。
当我执行到调度程序pod中时，当执行器pod正在运行时，由于共享的EFS，我能够看到当前正在运行的作业的.log文件。但是，当我cat日志文件时，只要执行器仍在运行，我就不会看到日志。但是，执行程序完成后，我可以在cat文件和气流UI中看到完整的日志。
奇怪的是，在运行过程中，当我执行到executor pod中，并且在共享EFS中执行完全相同的
浏览 3提问于2021-01-28得票数 1
我正在尝试使用community helm chart和apache/airflow:2.1.2镜像在我的k8s集群上部署apache-airflow airflow使用kubernetesExecutor作为其执行器，我在管理日志方面遇到了一些麻烦 我正在使用elasticsearch进行远程日志记录(logstash+filebeat用于日志聚合) 我可以看到日志显示在我的elasticsearch集群中，其中包含所有重要字段(log_id、offset)，但是当我尝试在我的airflow-web ui上查看它们时，我可以看到容器遇到了以下错误 Traceback (most recen
浏览 34提问于2021-08-13得票数 0
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。我已经尝试了所有被描述的解决方案，我仍然得到了以下错误，
*** Log file does not exist: /usr/local/airflow/logs/example_python_operator/print_the_context/2020-03-30T16:02:41.521194+00:00/1.log
*** Fetching from: http://examplepythonoperatorprintthecontex
浏览 3提问于2020-03-30得票数 3
回答已采纳
在气流中，我使用KubernetesExecutor作为执行器。我的DAG代码
from datetime import datetime, timedelta
from airflow import DAG
from airflow.providers.cncf.kubernetes.operators.spark_kubernetes import SparkKubernetesOperator
from airflow.providers.cncf.kubernetes.sensors.spark_kubernetes import SparkKubernetesSensor
dag
浏览 32提问于2022-01-29得票数 1
我有多个dag使用芹菜执行程序，但我想使用Kubernetes Executor运行一个特定的dag。我无法推断出一个好的和可靠的方法来实现这一点。
我有一个声明要使用CeleryExecutor的airflow.cfg。我不想改变它，因为除了一个dags之外，所有的dags都需要它。
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
我的dag代码：
from da
浏览 2提问于2019-05-27得票数 6
3回答
我尝试了气流教程DAG，它与调度器一起工作，我可以看到由计划运行生成的日志。但是，如果我使用命令行测试，我没有看到输出：
airflow test my_tutorial_2 templated 2018-09-08
[2018-09-10 15:41:43,121] {__init__.py:51} INFO - Using executor SequentialExecutor
[2018-09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/
浏览 1提问于2018-09-10得票数 3
回答已采纳
我在的Kubernetes上运行Airflow。我在AWS环境中运行它。无论是否装载用于日志存储的任何外部卷，都存在此错误。我尝试将日志部分的配置设置为指向我创建的EFS卷。PV通过PVC挂载，但我的容器由于以下错误而崩溃(调度程序和web)：
*** executing Airflow initdb...
Unable to load the config, contains a configuration error.
Traceback (most recent call last):
File "/usr/local/lib/python3.6/logging/config
浏览 21提问于2020-08-21得票数 4
2回答
我已经使用stable/airflow舵图在Kubernetes上部署了一个Airflow实例。我稍微修改了puckel/docker-airflow镜像，以便能够安装Kubernetes executor。所有任务现在都在我们的Kubernetes集群上成功执行，但这些任务的日志无处可寻。
我要将日志上载到我们的Azure Blob存储帐户。我已经这样配置了我的环境变量：
AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER="wasb-airflow"
AIRFLOW__CORE__REMOTE_LOG_CONN_ID="wasb_defaul
浏览 46提问于2019-11-29得票数 0
对于dags和日志，可以选择在volumeMount的kubernetes部分下安装airflow.conf。
[kubernetes]
airflow_configmap = airflow_config
worker_container_repository = airflow
worker_container_tag = runner2
worker_container_image_pull_policy = IfNotPresent
delete_worker_pods = true
dags_volume_claim = airflow-dags-pvc
dags_volume_su
浏览 2提问于2019-08-07得票数 3
回答已采纳
在的项目之后，我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv，它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/logs>中。我也可以在webserver中看到新添加的DAGS。但是，当我从UI执行DAG时，调度程序会为该任务触发一个新的POD，但是新的工作荚无法运行
Unable to mount volumes for pod "tut
浏览 2提问于2019-08-01得票数 2
回答已采纳
我在Kubernetes中部署的Airflow实例中设置了在STMP电子邮件配置中构建的Airflow。我已经能够看到来自电子邮件服务器的日志，这些日志表明我正在成功登录，但当我的DAG成功时，我不会收到电子邮件。我在我的DAG中设置了'email_on_success': True。 我不确定是否或在哪里可以找到airflow试图发送这些电子邮件的日志。我检查了see服务器、调度程序和worker pod日志，但什么也没看到。
浏览 20提问于2019-02-06得票数 2
我正在尝试使用celery Executor在kubernetes ( Azure Kubernetes Service)上部署Airflow。然而，一旦任务完成，当我试图访问它的日志时，我得到了以下错误： *** Log file does not exist: /opt/airflow/logs/maintenance/clean_events/2021-08-23T14:46:18.953030+00:00/1.log
*** Fetching from: http://airflow-worker-0.airflow-worker.airflow.svc.cluster.local:
浏览 76提问于2021-08-24得票数 1
回答已采纳
我的公司使用git-sync将压缩的dags同步到airflow。我们使用气流舵面图来展开气流。我想知道我是否可以让airflow只拾取特定文件夹中的压缩dags，比如git分支中的dags-dev，而不是所有的压缩dags？ 下面是一些可能有用的参考资料。 气流舵图的值文件。https://github.com/helm/charts/blob/master/stable/airflow/values.yaml 我们的dags代码如下所示： dags:
doNotPickle: true
git:
url: <git url>
浏览 66提问于2020-08-27得票数 7
我正在使用气流稳定舵图和Kubernetes Executor，新的pod正在为dag调度，但它与dag_id的故障无法找到问题。我正在使用git-sync来获取dags。下面是错误和kubernetes配置值。有人能帮我解决这个问题吗？
错误：
[2020-07-01 23:18:36,939] {__init__.py:51} INFO - Using executor LocalExecutor
[2020-07-01 23:18:36,940] {dagbag.py:396} INFO - Filling up the DagBag from /opt/airflow/dags/dag
浏览 9提问于2020-07-02得票数 6
1回答
我正在尝试第一次尝试气流，并尝试将其连接到本地的SQLite数据库。但我似乎不知道该怎么做。
我在上阅读过，将executor设置为LocalExecutor，将sql_alchemy_conn设置为sqlite:////home/myName/Programs/sqlite3/DatabaseName.db，但它似乎不起作用，因为它抛出了一个
Traceback (most recent call last):
File "/usr/local/bin/airflow", line 21, in <module>
from airflow import
浏览 0提问于2018-12-18得票数 3
回答已采纳
1回答
我使用的是头盔图，使用安装了kubernetes的v1.10.8 puckle/docker-airflow映像，并在舵图中使用该映像，但我一直在使用
File "/usr/local/bin/airflow", line 37, in <module>
args.func(args)
File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb
db.initdb(settings.RBAC)
File
浏览 4提问于2020-02-08得票数 13
回答已采纳
我在kubernetes集群上部署了气流实例，使用带Kubernetes执行器的bitnami舵机图表。如果我试图执行一个花费超过5分钟的任务，Scheduler会自动终止该任务。
我已经试过了，但没有用。
调度程序日志：
[2022-08-05 18:27:20,117] {kubernetes_executor.py:147} INFO - Event: process1800.404b6cc740064e90955e28dd736f899e had an event of type MODIFIED
[2022-08-05 18:27:20,118] {kubernetes_execut
浏览 12提问于2022-08-05得票数 0
我对Kubernetes有些陌生，我正在尝试学习如何将airflow部署到Kubernetes。 我的目标是尝试在Kubernetes上部署一个“开箱即用”(或至少更接近于此)的airflow部署。我已经通过Terraform (在EKS上)创建了Kubernetes集群，并希望将airflow部署到该集群。我发现与其他解决方案相比，Helm可以帮助我更轻松地部署airflow。 以下是我到目前为止所尝试的(代码片段，而不是完整的代码)： provider "kubernetes" {
host = data.aws_eks_clust
浏览 27提问于2020-12-09得票数 2
回答已采纳
我想确定是否可以使用python包来实现对执行器/health端点的监视。我们的服务部署在Kubernetes上，日志记录在splunk中，Kubernetes是使用splunk可观察性监视的
浏览 10提问于2022-03-10得票数 1
version: "3.7"
services:
postgres:
image: "postgres:13"
container_name: "postgres"
environment:
- POSTGRES_USER=airflow
- POSTGRES_PASSWORD=airflow
- POSTGRES_DB=airflow
ports:
- "5431:5431"
浏览 13提问于2022-08-12得票数 0
回答已采纳
强文本我已经安装了气流在码头和使用库伯内特斯执行器无法触发达格。Dag运行处于排队状态。KubernetesExecutor正在创建pod，但是它说是无效的图像。如果我描述这个吊舱，它使用的是本地执行器，而不是kubernetes执行器。请帮帮忙
附加日志文件以供参考
**kubectl describe pod tablescreationschematablescreation-ecabd38a66664a33b6645a72ef056edc
Name: swedschematablescreationschematablescreation-ecabd38a66664a3
浏览 2提问于2020-05-11得票数 0
Apache Airflow版本: v2.1.1
Kubernetes版本(如果使用kubectl )(使用kubectl版本)：-客户端版本:version.Info{主要：“1”，次要：“21”，GitVersion:"v1.21.2"，GitCommit:"092fbfbf53427de67cac1e9fa54aaa09a28371d7"，GitTreeState:"clean"，BuildDate:"2021-06-16T12:52:14Z"，GoVersion:"go1.16.5"，编译器：“gc”，平台
浏览 2提问于2021-07-14得票数 3
我在我的ubuntu机器上本地运行气流，我的airflow.cfg文件在目录：/home/airflow/airflow中，所以我为我的dags创建了一个子目录，即/home/airflow/airflow/dags/，并在那里创建了一个dag。
我为检查示例输出而创建的dag是：
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.bash import BashOperator
default_args = {
'owner': '
浏览 15提问于2022-11-13得票数 0
1回答
我试图在气流中使用一个名为“秘密”的模块，在气流中将秘密传递给KubernetesOperator。它应该作为from airflow.contrib.kubernetes.secret import Secret导入
但是我得到了一个错误ModuleNotFoundError: No module named 'airflow.contrib.kubernetes'
我尝试过安装airflow软件包pip install apache-airflow[kubernetes]，但这并没有帮助。
浏览 10提问于2022-05-12得票数 0
回答已采纳
import os
import logging
from flask.appbuilder.security.manager import AUTH_OAUTH
from airflow.www.security import AirflowSecurityManager
AUTH_TYPE = AUTH_OAUTH
AUTH_ROLES_SYNC_AT_LOGIN = True
AUTH_USER_REGISTRATION = True
log = logging.getLogger(__name__)
log.setLevel(os.get
浏览 12提问于2022-08-10得票数 0
在我的terraform文件中有类似这样的内容：
main.tf
module "airflow_tenant_one" {
source = "../modules/airflow_tenant"
name = "one-airflow"
project = var.project
cluster_name = var.cluster_name
region = var.region
kuberne
浏览 3提问于2020-08-27得票数 0
1回答
我已经成功地在Kubernetes (webserver和调度器)中设置了一个气流部署，配置了Kubernetes执行器和一个带有气流元数据的Postgres模式。
我试图使example_bash_operator DAG正常工作，但是由于以下SQLAlchemy异常，工作吊舱不断失败：
2021-01-07 10:29:33,091] {cli_action_loggers.py:105}警告-没有这样的表记录操作(sqlite3.OperationalError)：日志SQL:插入日志(dttm、dag_id、task_id、事件、execution_date、所有者、额外)值(?，？
浏览 0提问于2021-01-07得票数 1
回答已采纳
1回答
我有一个在kubernetes (EKS)和remote worker中运行的设置--在不同位置的防火墙后面构建一个VM。
EKS中的Problem气流网络服务器在试图获取远程工作人员的日志时遇到了403个禁止错误。
构建版本
气流- 2.2.2OS -LinuxUbuntu20.04LTS
Kubernetes
6379PostgreSQL (芹菜后端)上暴露的1.22 (EKS)Redis (芹菜代理)- 5432上公开的服务端口
气流ENV配置设置
AIRFLOW__API__AUTH_BACKEND: airflow.api.auth.backend.basic_auth
AI
浏览 12提问于2022-09-23得票数 1
回答已采纳
当我尝试运行这个任务时，我得到了以下错误：
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow import DAG
from datetime import datetime, timedelta
default_args = {
"owner": "airflow",
"depends_on_past": False,
"start_date": dateti
浏览 1提问于2019-11-26得票数 0
在Airflow 1.1.14上遇到KubernetesPodOperator的奇怪问题。 从本质上说，对于某些工作，Airflow正在与它创建的吊舱失去联系。 [2021-02-10 07:30:13,657] {taskinstance.py:1150} ERROR - ('Connection broken: IncompleteRead(0 bytes read)', IncompleteRead(0 bytes read)) 当我用kubectl logs检查kubernetes中的日志时，我可以看到作业在连接中断错误之后继续执行。 连接断开错误似乎发生在Airfl
浏览 38提问于2021-02-10得票数 0
回答已采纳
你能帮帮我吗？
我正在尝试在vpc中启动Kubernetes (AWS)中的Apache airflow。我使用helm stable/airflow 7.1.1
一切开始都很顺利。但是为了访问web界面，我需要通过入口ELB公开它。我有这个设置。气流规则如下所示：
apiVersion: v1
items:
- apiVersion: extensions/v1beta1
kind: Ingress
metadata:
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kuber
浏览 8提问于2020-05-30得票数 2
回答已采纳
在将Postgres数据库与气流连接时，我参考了和。
特别是，我将这一行添加到文件airflow.cfg中。
sql_alchemy_conn = postgresql+psycopg2://airflowadmin:airflowadmin@localhost/airflowdb
其中，airflowadmin既是postgres用户的用户名，也是密码，airflowdb是创建的postgres db，airflowadmin拥有所有特权。
现在，当我用airflow db init初始化数据库时，我仍然认为sqlite是链接的数据库。全部产出：
DB: sqlite:////home/us
浏览 3提问于2021-09-07得票数 1
回答已采纳
1回答
这听起来可能很蠢但是..。
我试图在windows机器上运行airflow。我知道airflow不能在windows上工作，所以我想我应该使用docker。
因此，在windows中安装了docker之后，我打开cmd并键入：
docker pull puckel/docker-airflow:1.10.9
docker container run --name airflow-docker -it puckel/docker-airflow:1.10.9 /bin/bash
该图像已经包含python和airflow ( )。
airflow initdb
airflow webserver
浏览 1提问于2020-04-03得票数 1
回答已采纳
我已经安装了气流与塞利执行器有两个工人，一个调度程序和一个网络服务器。我用systemd启动所有这些组件。所有组件都可以很好地启动，我可以在web中看到DAG。当我执行任何DAG时，第一个任务本身甚至没有启动就会失败。从工人那里开始工作似乎有些问题。下面是我在日志中看到的日志。
工作人员错误日志：
ct 21 19:17:23 mydomain.mycompany python[9780]: [2019-10-21 19:17:23,425: DEBUG/MainProcess] Task accepted: airflow.executors.celery_executor.execute_
浏览 4提问于2019-10-21得票数 0
2回答
部署只读文件系统错误
、、、、
在Kubernetes (正是这个版本的气流)上部署气流时，我在将权限写入文件系统时遇到了错误。
在吊舱的日志上显示的错误是：
sed: couldn't open temporary file /usr/local/airflow/sed18bPUH: Read-only file system
sed: -e expression #1, char 131: unterminated `s' command
sed: -e expression #1, char 118: unterminated `s' command
Initialize database...
浏览 0提问于2018-04-02得票数 22
回答已采纳
我们正在运行一个JDBCOperator任务来刷新黑斑羚的亚稳态。返回代码Negsignal.SIGKILL会导致任务失败。下面是来自气流用户界面的日志：
[2021-09-08 16:47:32,659] {logging_mixin.py:120} INFO - Running <TaskInstance: XXX.XXX-refresh-impala 2021-09-08T12:22:00+00:00 [running]> on host boblivefjanonsalesorderaddressboblivefjanonsalesorderaddressref
[2021
浏览 2提问于2021-09-08得票数 0
回答已采纳
我最近开始了一个概念验证，以扩展我们的气流，使用KubernetesPodOperator在我们的kubernetes环境中旋转一个吊舱，该环境也托管我们的气流。这一切都正常；但是，我注意到我们获得的日志包含运行任务实例和任务实例成功的信息；但是，来自容器的stdout不会被捕获到日志文件中。 如果我将KubernetesPodOperator设置为离开pod，然后我可以从容器中执行kubectl日志并获取标准输出信息，则可以访问此信息。 日志输出示例： [2020-11-17 03:09:16,604] {{taskinstance.py:670}} INFO - Dependencies
浏览 17提问于2020-11-17得票数 3
我已经在kubernetes中部署了airflow，如以下链接所述：https://github.com/apache/airflow/tree/master/chart 要访问airflow UI，我可以执行以下操作： kubectl port-forward svc/airflow2-webserver 8080:8080 --namespace default 但是我想把它暴露在一个url中。我找到了这个指南：https://godatadriven.com/blog/deploying-apache-airflow-on-azure-kubernetes-service/ 在底部:
浏览 33提问于2020-09-05得票数 1
回答已采纳
我的DAG在堆栈驱动程序中陷入运行状态，并显示日志消息"had a event of type Pending“。我的DAG在没有卷装载的情况下工作正常，但看起来卷装载有问题。你能帮帮忙吗？ 我正在尝试将"/data/storage“路径挂载到容器中的"/storage”位置。 from airflow import DAG
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow.contrib.kubernetes.volume
浏览 8提问于2020-03-31得票数 0
回答已采纳
我正在尝试为我的项目设置气流集群，我使用芹菜执行器作为执行器。除此之外，我还使用Rabbitmq作为排队服务，postgresql作为数据库。现在，我有两个主节点和两个工作节点。所有的服务都已经启动并运行，我能够用气流网络服务器和调度器配置我的主节点。但是对于我的工作节点来说，我遇到了一个问题，在这个问题上我得到了一个错误：
气流命令错误:参数GROUP_OR_COMMAND:芹菜子命令只适用于从它们派生的CeleryExecutor、CeleryKubernetesExecutor和执行器，您当前的执行器: SequentialExecutor，子类来自: BaseExecutor，参见上
浏览 11提问于2022-05-26得票数 1
谁能告诉我如何在本地气流部署中配置kuberenetes执行器。我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。
[kubernetes]
# Path to the YAML pod file that forms the basis for KubernetesExecutor workers.
pod_template_file = /home/caxe/airflow/logs/yamls/pod_template.yaml
worker_container_repository = apac
浏览 4提问于2022-01-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
