Airflow -无效的JSON配置，必须是字典
Airflow是一个开源的任务调度和工作流管理平台，用于在云计算环境中管理和执行数据处理任务。它提供了一个可视化的用户界面，使用户能够定义、调度和监控复杂的工作流。
对于"无效的JSON配置，必须是字典"的问题，这通常是由于Airflow的配置文件中的JSON配置格式不正确导致的。在Airflow中，配置文件通常是一个JSON格式的字典，用于指定各种配置选项。如果配置文件的格式不正确，就会出现"无效的JSON配置"的错误。
要解决这个问题，可以按照以下步骤进行操作：
- 检查配置文件的格式：确保配置文件是一个有效的JSON格式，即包含大括号{}，并且键和值之间使用冒号:进行分隔，键值对之间使用逗号进行分隔。
- 检查配置项的命名和值：确保配置项的命名和值都是有效的JSON格式。例如，字符串值必须使用双引号括起来，布尔值必须是小写的true或false。
- 使用JSON验证工具：可以使用在线的JSON验证工具，如JSONLint，来验证配置文件的格式是否正确。将配置文件的内容复制到验证工具中，如果出现任何错误或警告，就需要进行相应的修复。
- 检查Airflow版本和文档：确保使用的是最新版本的Airflow，并参考官方文档中关于配置文件格式的说明。不同版本的Airflow可能有不同的配置要求，所以需要查看相应版本的文档。
在腾讯云中，可以使用腾讯云容器服务（Tencent Kubernetes Engine，TKE）来部署和管理Airflow。TKE是一种高度可扩展的容器化应用管理平台，可以轻松地在云上创建、部署和管理容器化的应用程序。您可以使用TKE来创建一个包含Airflow的容器集群，并使用TKE的负载均衡、自动伸缩等功能来管理和扩展Airflow的实例。
更多关于腾讯云容器服务的信息，请参考：腾讯云容器服务产品介绍
希望以上信息能够帮助您解决Airflow配置文件的问题，并了解如何在腾讯云上使用容器服务来部署和管理Airflow。
相关·内容
使用airflow版本2.1.2
我正在尝试airflow文档中的以下API调用，但它对我无效：
ENDPOINT_URL="http://localhost:8080/"
curl -X GET \
--user "admin:hello" \
"${ENDPOINT_URL}/api/v1/pools"
结果：
{
"detail": null,
"status": 401,
"title": "Unauthorized",
"type&
浏览 4提问于2021-07-30得票数 1
1回答
我创建了一个变量(从Airflow UI)： Key: env_variables
Value: {'xx': 'yy`} 并尝试使用var.json.env_variables.xx内部bash操作符进行访问。但是"xx“的值是动态的，我是从REST API传递的，并使用dag_run.conf['param']访问它(dag_run.conf['param']应该返回xx)。最终，我想运行var.json.env_variables.xx。如何在Airflow中实现内部bash运算符？我正在尝试运行下面的代码，但它显示Jin
浏览 58提问于2021-09-23得票数 0
回答已采纳
我使用constraints https://raw.githubusercontent.com/apache/airflow/constraints-2.0.1/constraints-3.7.txt在RHEL7上安装和设置了带有Celery、Rabbitmq和Postgresql9.6的Airflow 2.0.1。所以我不是在使用Docker容器，实际上是在构建一个有3个节点的集群。 我为PSQL创建了数据库和用户名，并为Rabbitmq创建了用户和设置权限，并能够在15672端口访问其WebUI。我能够运行airflow WebUI服务器和计划程序，并访问airflow WebUI没有
浏览 27提问于2021-03-23得票数 0
1回答
所以我对气流，DAG，整个九个都很陌生。
因此，我有一个任务，我需要电子邮件一些数据给一个名单的收件人。
现在，我有一个python函数，它可以发送电子邮件，我本来打算把这个函数分配给我的DAG中的一个任务。
然而，在给我的任务中，我被告知一个管理员应该能够触发DAG，这样更多的接收者可以通过气流配置json传递他们的电子邮件来接收数据。我想这意味着，airflow.cfg。
我一直在谷歌上寻找建议，但似乎大多数人在他们的airflow.cfg文件中设置了电子邮件部分，以便在进程中出现错误时只发送电子邮件给他们，而不是发送给收件人列表。
我想知道：
-If通过我的airflow.cfg文件传递
浏览 2提问于2021-07-12得票数 3
回答已采纳
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。我已经尝试了所有被描述的解决方案，我仍然得到了以下错误，
*** Log file does not exist: /usr/local/airflow/logs/example_python_operator/print_the_context/2020-03-30T16:02:41.521194+00:00/1.log
*** Fetching from: http://examplepythonoperatorprintthecontex
浏览 3提问于2020-03-30得票数 3
回答已采纳
我知道如何使用变量动态地运行DAG的任务，在为同一个DAG触发多次运行之前，它运行得很好。
也就是说，一旦在data/to/load/ dir下创建了一个包含文件的新目录，我在某个地方编写了一个脚本，它将触发airflow variables -set dir data/to/load/$newDir，然后是airflow trigger_dag dyn_test。现在，假设在data/to/load/下创建目录"a“和"b”(类似的时间)，这将使airflow variable + airflow trigger_dag调用两次，变量集调用上有两个不同的输入(一个后缀为
浏览 4提问于2019-04-14得票数 1
1回答
运行deps时会出现此错误。我是不是在dockerfile中遗漏了一些东西来提供对dbt_modules的访问？我似乎找不到它的位置，甚至在文档中也找不到dbt_modules。我为几个yml文件提供了代码。提前感谢
回溯
2022-06-07 04:34:59.121970 (MainThread): Running with dbt=0.21.1
2022-06-07 04:34:59.972911 (MainThread): You have an incompatible version of 'pyarrow' installed (6.0.1), please in
浏览 7提问于2022-06-07得票数 1
回答已采纳
1回答
我有个工作助理。我们尝试使用环境变量(“怪异”函数)。但我不喜欢将数据作为字典传递( {'col'：mass} )。当我使用变量时，我可以将字典分解为变量- Variable.get("mass", deserialize_json=True)，然后调用类似于- def prettily(var1, var2)的函数。
如何使用“漂亮”函数和环境变量(config.get(env，‘Mass“))？
我的DAG：
import logging
from datetime import datetime
from airflow import DAG
from a
浏览 1提问于2022-06-24得票数 1
回答已采纳
首先，我连接了气流PostgresOperator并创建了数据集，现在我想将它发送到GCS操作符连接，但是总是看到我无效的dsn:无效连接选项"extra__google_cloud_platform__key_path“。
我怎么换衣服？？
我的气流连接
还有我的达格斯
postgres_to_gcs_task = PostgresToGCSOperator(
task_id = 'postgres_to_gcs_task',
postgres_conn_id='postgres_to_gcs',
sql = 'SELE
浏览 6提问于2022-09-08得票数 0
我是在一个设置，我有一个码头集装箱运行气流在库伯内特斯部署。我要做的是将dags定义文件打包到包含气流安装(用于版本控制)的码头容器中，然后让定义ConfigMap目录的dags_folder指定目录(在airflow - docker中)，其中包含dags定义文件。
Dockerfile (气流是k8s命名空间)
RUN mkdir /home/airflow/ \
&& mkdir /home/airflow/dags \
&& chown airflow:airflow /home/airflow \
&& chow
浏览 2提问于2019-10-09得票数 0
我在3个ec2节点上安装了气流: set服务器、调度程序和工作人员，在所有3个节点上都设置了相同的配置，DB的配置是下一个sql_alchemy_conn = postgresql+psycopg2://airflow:password@rdsdatabaseaddreess.com/airflow。之后，我重新启动了service airflow并执行命令airflow initdb。
ec2-user@ip-10-0-0-143 airflow]$ /usr/local/bin/airflow initdb
DB: sqlite:////airflow/airflow.db
[2019-1
浏览 0提问于2019-11-21得票数 2
2回答
我不介意是YAML、JSON、.ini还是其他什么。
用户应该能够通过以下配置文件在调用函数时更改值：
import tensorflow as tf
# config file reading happens here (expected scenario):
f = read_the_config_file()
reduction = f["reduction"] # retrieved the reduction value
# pass `reduction` to the loss function:
loss = tf.keras.losses(reducti
浏览 7提问于2021-07-11得票数 1
这是在apache-airflow UI中运行程序时显示的错误日志。
ERROR [airflow.models.dagbag.DagBag] Failed to import: /d/Program Files/meta airflow/dags/csv-json.py
Traceback (most recent call last):
File "/home/siva/.local/lib/python3.6/site-packages/airflow/models/dagbag.py", line 331, in _load_modules_from_file
浏览 14提问于2022-04-28得票数 0
回答已采纳
我想知道是否有可能在Airflow上设置KubernetesExecutor，但在EC2上运行and服务器和调度程序？ 这意味着任务将在Kubernetes pod(在我的例子中是EKS)上运行，但基本服务在常规EC2上运行。 我试图找到关于这个问题的信息，但失败了…… 以下引用自Airflow的docs，这就是我问这个问题的原因 KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kuber
浏览 16提问于2021-11-23得票数 0
回答已采纳
我找不到任何关于如何使用通过"-c“传递的JSON变量进行回填工作的工作文档。
我一直在打印我的python任务**kwargs来找出答案，但我仍然无法确定它。provide_context=True
有谁能给我指个方向吗？
所以，我想做的是：
airflow backfill mydag -c '{"override":"yes"}' -s 2018-12-01 -e 2018-12-12
我有一个PythonOperator：
PythonOperator(
task_id = 'task_identifier'
浏览 0提问于2018-12-14得票数 2
我是JSON的新手，不明白为什么这会失败。根据在线验证工具，JSON是有效的，但是NSJSONSerilization说这个字符串是无效的。为什么是无效的？
NSString* JSON = @"{\"Questionnaire\":{\"questionnaireid\":1,\"modifiedDate\":\"2012-12-28 15:27:00\"}}";
if (![NSJSONSerialization isValidJSONObject:JSON]) {
return nil;
}
NSEr
浏览 0提问于2013-02-21得票数 0
回答已采纳
1回答
我对气流很陌生。不过，我尝试删除气流中的某些DAG (手动删除，只使用底部)，但删除后得到消息(因此物理DAG不再存在)。
中断DAG: /usr/local/airflow/dags/reports_general/templates/data_quality_report_airflow__.py无效控制字符位于:第2行第116列(char 118)
有人知道怎么解决吗？
浏览 3提问于2022-03-13得票数 0
如何解决这个问题？？我不知道该怎么办..。
我的达格斯
def _game():
game_df = pd.DataFrame(columns=['match', 'puuid']
input_data = {'match':match100,'puuid':game_content['puuid']}
game_df = game_df.append(input_data, ignore_index=True)
return game_df
def _game_score():
浏览 18提问于2022-09-19得票数 0
Requirement：我试图避免使用Variable.get()，而使用Jinja模板化的{{var.json.variable}}
我将JSON格式的变量定义为下面的示例，并将它们作为snflk_json存储在秘密管理器中
snflk_json
{
"snwflke_acct_request_memory":"4000Mi",
"snwflke_acct_limit_memory":"4000Mi",
"schedule_interval_snwflke_acct":"0 12 * *
浏览 9提问于2022-12-02得票数 0
我有一个共享的网络文件夹。
\\pa02ptsdfs002.corp.lgd.afk\files\Public\chris\temp
共享文件夹中有一个文件，我希望该文件对我的文档化应用程序是可见的。最终目标是让我的应用程序获取并处理这个文件，然后将其放入数据库。
我有一个Dockerfile和docker-compose.yml，我想我需要添加一个包含共享文件夹位置的卷(我不确定这是否是正确的方法，这就是我需要帮助的地方！)
到目前为止，我已经尝试在yml中添加一个卷，这会在我编写-d时抛出一个错误。
airflow:
build: ./airflow
浏览 0提问于2021-04-21得票数 1
在apache气流配置中，我试图将顺序执行器更改为芹菜执行器，并在坞-组合文件中使用环境变量：
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed the d
浏览 5提问于2021-11-22得票数 0
回答已采纳
我尝试配置Airbnb AirFlow来使用CeleryExecutor，如下所示：
我将airflow.cfg中的executer从SequentialExecutor更改为CeleryExecutor
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
但我得到以下错误：
airflow.configuration.AirflowConfigException: e
浏览 0提问于2016-04-24得票数 15
对于任何在airflow中使用过GreatExpectations的人，有没有人知道是否可以通过airflow GreatExpectationsOperator发送evaluation_parameters？我目前正在尝试此操作，并收到错误消息： airflow.exceptions.AirflowException:传递给GreatExpectationsOperator的参数无效(task_id: my_task)。无效参数为：**kwargs：{'evaluation_parameters'：{}} 谢谢,
浏览 40提问于2021-08-19得票数 0
2回答
我意识到这是互联网上成千上万篇文章的翻版，但我只找到了版本<2.0的解决方案，而这些解决方案并不适用于>2.0。
基本上，我已经在Ubuntu系统上安装了Apache气流。根据我从命令行看到的，所有安装都很好，我首先创建了一个用户：
airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin
然后从这里开始启动the服务器和调度程序：
airflow webserver -p 8585 > ${AIRF
浏览 11提问于2022-06-13得票数 0
回答已采纳
Airflow版本: 2.1.1 我正在尝试使用config触发dag，并在json下面传递 {"load_type":"full"} 但是它抛出了一个错误，说“无效的JSON配置，必须是一个字典” 我也尝试用3个空格、2个空格等来格式化json {
"load_type":"full"
} 但它并没有起作用。在这个版本之前，我使用的是2.0.2，并且我能够在触发dag的同时发送json。 任何帮助都将不胜感激。谢谢
浏览 14提问于2021-07-15得票数 3
回答已采纳
Airflow scheduler正在根据airflow.cfg文件中的设置从正确的文件夹中提取dags。但是，Airflow ui the服务器正在从错误的文件夹中选取dags。我通过查看运行airflow via服务器的终端的stdout实现了这一点：[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags
注意，我的airflow.cfg文件有：
# The folder where your airflow pipelines
浏览 1提问于2018-10-08得票数 6
回答已采纳
我试图为我的作曲家配置秘密管理器(ver 1.16，气流1.10)，但我有一个奇怪的情况，如下所示。在我的作曲家中，我使用了一个variable.json文件来管理气流中的变量
# variable.json
{
"sleep": "False",
"ssh_host": "my_host"
}
然后，我使用这个来配置秘密管理器。按照说明，我用一个节secrets覆盖配置
backend: airflow.providers.google.cloud.secrets.secret_manager.CloudSecr
浏览 6提问于2022-04-13得票数 1
1回答
我从一个名为puckel/ docker -airflow的docker镜像运行airflow。当我使用以下docker命令启动容器时，我将我的本地dags文件夹与容器airflow文件夹同步： docker run -d -p 8080:8080 -v <local_path>:/usr/local/airflow/dags puckel/docker-airflow webserver 在我的DAG上，我有一个调用名为start_script的函数的PythonOperator，这个函数基本上是读取和初始化文件来提取一些信息(例如密码)。函数如下： def start_scr
浏览 90提问于2021-01-16得票数 2
回答已采纳
1回答
我使用下面的命令创建了一个管理用户，它是成功创建的，因为我收到了一条消息- admin。我还可以在ab_user表(postgreSQL)中看到记录。但是，当我试图在气流WebUI上使用凭据(我确保没有输入错误的凭证)登录时，我会得到错误无效的登录。
你知道我做错什么了吗？
airflow create_user -r Admin -u test_admin -f admin -l test-p test122 -e test.test@gmail.com
注意:我在rbac = true文件中设置了airflow.cfg。
浏览 3提问于2021-02-19得票数 0
我对Kubernetes有些陌生，我正在尝试学习如何将airflow部署到Kubernetes。 我的目标是尝试在Kubernetes上部署一个“开箱即用”(或至少更接近于此)的airflow部署。我已经通过Terraform (在EKS上)创建了Kubernetes集群，并希望将airflow部署到该集群。我发现与其他解决方案相比，Helm可以帮助我更轻松地部署airflow。 以下是我到目前为止所尝试的(代码片段，而不是完整的代码)： provider "kubernetes" {
host = data.aws_eks_clust
浏览 27提问于2020-12-09得票数 2
回答已采纳
我在试着装上我的气流装置。我的任务是保持环境不变，只需将其移动到码头容器中。我们目前已经在anaconda环境中安装了Airflow和所有的依赖项。所以我所做的就是创建一个自定义的docker镜像来安装anaconda并创建我的环境。问题是，我们当前的环境使用systemd服务来启动airflow，而Docker需要它通过airflow命令"airflow webserver/scheduler/worker“来运行，当我这样运行它时，我得到了一个错误。我在启动调度器后得到错误。 我们的DAG需要一个自定义存储库来帮助与我们的数据库服务器进行通信。在该存储库中，我们使用pathlib
浏览 85提问于2021-01-12得票数 3
回答已采纳
我运行一个DAG，它提取MySQL数据并将其加载到气流中的BigQuery中。我粗略地收到了以下错误：
/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927: PendingDeprecationWarning:无效的参数被传递给MySqlToGoogleCloudStorageOperator。在气流2.0中，对传递这些论点的支持将被删除。无效的论点是：
*args：()
**kwargs：{‘谷歌_云_存储_连接_id’：'podioGCPConnection'} category=PendingDep
浏览 1提问于2018-01-03得票数 2
回答已采纳
1回答
嗨，我正在尝试测试气流API，为此我试图更改默认配置
[api]
auth_backend = airflow.api.auth.backend.deny_all
在指导下
为了测试API调用y，我尝试将airflow.api.auth_backend设置为默认，ej
[api]
auth_backend = airflow.api.auth.backend.default
但是，当我运行我的气流对接，并输入到气流网络服务器容器，我看到我的更改在配置文件中。我在/opt/airflow/airflow.cfg上看到我的文件和我的更改，但是当我运行命令时
airflow config get-v
浏览 20提问于2021-07-22得票数 1
我正在尝试实现自定义XCOM后端。
这些是我所做的步骤：
在主气流dir (AIRFLOW_HOME).Created中创建“”目录--这些"custom_xcom_backend.py“文件位于：
from typing import Any
from airflow.models.xcom import BaseXCom
import pandas as pd
class CustomXComBackend(BaseXCom):
@staticmethod
def serialize_value(value: Any):
if isinsta
浏览 9提问于2022-02-11得票数 2
我正在使用puckel airflow图像，并通过编辑dockerfile升级了airflow版本，其中包括google并安装了apache- airflow -providers google 2.2.0作为python依赖项，以及google或gcs作为airflow依赖项。 `docker build --rm --build-arg AIRFLOW_DEPS="google" --build-arg AIRFLOW_DEPS="google" --build-arg PYTHON_DEPS="httplib2==0.18.1" --bu
浏览 12提问于2021-04-17得票数 0
我工作的本地窗口机与unbuntu安装。
$cat pv.yml:
apiVersion: v1
kind: PersistentVolume
metadata:
name: airflow-volume
labels:
type: local
spec:
#we use local node storage here!
#kubectl get storageclass
storageClassName: standard
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
hostP
浏览 2提问于2021-06-14得票数 1
我正试图使用Helm图表部署气流，用于个人POC，但我在部署过程中遇到了一些问题，无法找到明确的指示来解决我的问题--这就是我在这里寻求帮助的原因。
围绕问题的背景
POC的一些背景----我想部署一个K8S集群，托管气流，将它连接到一个git，这个git承载了dages，并且拥有从K8S气流托管的外部的亚稳态和缓存。
我已经成功地部署了气流到当地的Kubernetes集群使用种类和气流的默认舵图。在舵图上，我指定要使用的执行器模式必须是KubernetesExecutor。
我还配置了气流，将DAG与bitbucket存储库同步。
问题和目前的执行情况
I在将气流与外部服务连接时遇到问题--
浏览 11提问于2022-02-22得票数 2
回答已采纳
我在aws的kubernetes中运行airflow 1.9。我希望将日志发送到s3，因为气流容器本身的寿命不长。
我已经阅读了描述这个过程的各种线程和文档，但我仍然不能让它工作。首先，测试向我演示s3配置和权限是有效的。它在我们的一个worker实例上运行。
使用airflow写入s3文件
airflow@airflow-worker-847c66d478-lbcn2:~$ id
uid=1000(airflow) gid=1000(airflow) groups=1000(airflow)
airflow@airflow-worker-847c66d478-lbcn2:~$ env |gr
浏览 0提问于2018-02-24得票数 2
3回答
我试图在气流中使用Hdfs传感器操作符来触发基于文件到达给定路径的下一个任务。但是，当我部署这个守护进程时，得到的错误为
破坏的DAG: /usr/局部/气流/dags/test_Sensensordag.py无效语法(client.py，第1473行)代码：
from airflow import DAG
from airflow.sensors.hdfs_sensor import HdfsSensor
from datetime import datetime
default_args = {'owner': 'airflow',
浏览 5提问于2020-03-24得票数 1
1回答
我正在尝试建立使用VS代码使用远程容器插件的气流调试环境。我到目前为止所做的：
在docker-compose up 10.13.6上使用Desktop社区2.4实现图像apache/airflow:2.2.4
使用远程容器插件附加到正在运行的airflow-scheduler容器。
用以下方法编写launch.json文件
"version": "0.2.0",
"configurations": [
{
"name": "Airflow Test",
"type&
浏览 7提问于2022-04-13得票数 0
回答已采纳
1回答
我正在尝试从UI创建一个带有包含外来字符的值的Airflow变量。虽然已成功创建Airflow变量，但该值显示为无效，并且内容/值已删除。以下是变量值的示例： {
"greeting": "你好"
} Airflow是否支持值包含外来字符的Airflow变量？airflow.cfg中是否有配置更改，可以在不更改气流代码的情况下实现这一点？ 提前谢谢你。
浏览 15提问于2019-12-28得票数 1
我第一次尝试在我的笔记本电脑上配置Airflow (不使用docker，只遵循文档)。我的目标是设置一个简单的ETL作业。 我已经用一个PythonOperator编写了最简单的DAG： from datetime import timedelta
from view import spotify_etl
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
default_args = {
浏览 42提问于2020-11-08得票数 0
回答已采纳
1回答
从气流传递参数到对数
、、、、
我已经配置logstash来侦听默认气流日志路径上的日志。我想将elasticsearch中的索引创建为{dag_id}-{task_id}-{execution_date}-{try_number}.所有这些都是气流的参数。这些是airflow.cfg中修改过的值。
[core]
remote_logging = True
[elasticsearch]
host = 127.0.0.1:9200
log_id_template = {{d
浏览 5提问于2020-03-30得票数 2
我正在PythonOperator中创建一些BashOperators，但它不起作用。任务t1从上下文中读取conf参数，并返回一个值，第二个任务t2是Python运算符，它使用xcom读取值，我可以读取值，但for循环中的任务没有创建。
是否可以在PythonOperator中创建BashOperator？
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
fr
浏览 4提问于2018-01-11得票数 2
目标
目标是获得一个非常简单的气流码头，我只是想安装几个非常基本的pip软件包从requirements.txt。Tan运行了一个包含numpy和熊猫部件的python脚本。
命令
docker build -t my38 .
docker-compose up airflow-init
docker-compose up -d
文件
气流/码头文件
FROM apache/airflow:latest-python3.8
COPY requirements.txt .
RUN pip install -r requirements.txt
气流/要求
apache-airflow==2.4.
浏览 8提问于2022-09-23得票数 0
回答已采纳
我正在使用正式的气流舵机来尝试新的LocalKubernetesExecutor功能。然而，我也希望做到以下几点：
允许helm打开postgresql 该容器的凭据、用户名和数据库。
我真的不知道怎么做。我尝试重写文件部分postgresql：
postgresql:
enabled: true
postgresqlPassword: airflow
postgresqlUsername: airflow
但它似乎什么也没做。我获取了创建的连接并解码了base64字符串：
kubectl get secret airflow-airflow-metadata -o json
浏览 8提问于2022-11-20得票数 0
Airflow将在AIRFLOW_HOME环境变量path中创建unittest.cfg文件。 我的问题是:为什么我要通过环境变量AIRFLOW_CONFIG指向airflow.cfg，那么我如何才能在同样的情况下指向unittest.cfg？ 我之所以要这样做，是因为我不想在AIRFLOW_HOME目录中有任何配置文件。 另外，如果有人知道得更好，请你解释一下unittest.cfg是用来做什么的，因为我找不到关于它的文档。
浏览 21提问于2019-03-08得票数 6
回答已采纳
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
但是DAG会被以下消息卡住：
是否可以读取外部文件并使用它在Composer中动态创建任务？当我只从一个气流变量读取数据时，我可以这样做，但是当我读取一个外部文件时，守护进程会陷入isn't available in the web server's DagBag object状态。我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。
我正在使用composer-1.8.2-airflow-1.10.2。
我读到了一个类似问题的答案：
但是，我并不试图根
浏览 1提问于2020-01-10得票数 1
1回答
我正试图从气流中触发詹金斯的工作。我增加了连接细节-主机作为"“。添加用户名、密码和端口详细信息。连接Id是‘气流_Jenkins’。Jenkins多分支管道作业名为“Airflow_Audit。当我试图运行以下错误的任务时：
{init.py:1580} 2020-04-08 11:41:25,535 {logging_mixin.py:95} INFO - 2020-04-08 11:41:25,535 {jenkins_hook.py:44} INFO -尝试连接到 2020-04-08 11:41:25,540 错误-HTTPConnectionPool(主机=‘https’
浏览 3提问于2020-04-08得票数 2
1回答
我在哪里可以找到airflow.cfg文件，以设置电子邮件警报在MWAA？在Airflow中，我们在airflow.cfg文件中设置，但是亚马逊管理的Apache Airflow是无服务器的，那么配置可以在哪里更改？我是否还需要像我们在S3位置中提到的dags目录那样，在s3位置创建我自己的.cfg文件
浏览 0提问于2021-10-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
