设计建议从Airflow调用Cloud Build以执行采用参数的python函数
Airflow是一个开源的任务调度和工作流管理平台，可以帮助用户在分布式环境中构建、调度和监控工作流。Cloud Build是腾讯云提供的一种托管式的持续集成/持续部署（CI/CD）服务，可用于自动化构建、测试和部署应用程序。
在设计中，可以通过Airflow调用Cloud Build来执行采用参数的Python函数。以下是一些建议：
- 安装和配置Airflow：首先，需要安装和配置Airflow，确保其能够正常运行。
- 创建DAG（Directed Acyclic Graph）：在Airflow中，使用DAG来定义工作流。可以创建一个新的DAG，将其命名为相关的任务，例如"invoke_cloud_build"。
- 定义Python函数：在创建的DAG中，可以定义一个Python函数，该函数将作为任务被执行。该函数可以接受参数作为输入，并执行相应的操作。例如，可以定义一个名为"execute_with_parameters"的Python函数，接受参数并执行特定的操作。
- 定义Airflow任务：在创建的DAG中，可以定义一个Airflow任务，该任务将调用Cloud Build并执行指定的Python函数。任务可以使用Airflow提供的
BashOperator或PythonOperator来执行相应的操作。BashOperator：可以使用BashOperator来调用Cloud Build的命令行接口。例如，可以编写一个bash命令来调用Cloud Build命令行工具，并传递必要的参数来执行Python函数。PythonOperator：可以使用PythonOperator来直接调用Cloud Build的API，并传递必要的参数来执行Python函数。需要在任务中导入适当的Cloud Build SDK，并使用相关的函数调用API。
- 设置任务依赖关系：在DAG中，可以设置任务之间的依赖关系，确保它们按照正确的顺序执行。例如，在调用Cloud Build之前，可能需要执行一些前置任务来准备环境。
- 配置调度和监控：可以配置Airflow的调度程序，以便按照所需的频率和时间表执行DAG。同时，可以配置监控和告警机制，以便在任务失败或错误时及时通知。
推荐的腾讯云相关产品和产品介绍链接地址：
请注意，以上答案仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
我正在尝试将一个表从BigQuery导出到Google数据库。
我找到了一个叫BigQueryToMySqlOperator的操作符(在这里有文档，)
当我将包含此任务的DAG部署到composer时，任务总是由于错误而失败。
Traceback (most recent call last):
File "/opt/python3.8/lib/python3.8/site-packages/airflow/models/taskinstance.py", line 1113, in _run_raw_task
self._prepare_and_execute_t
浏览 2提问于2021-07-23得票数 0
回答已采纳
我在“”的示例中有以下代码：
import os
from airflow import models
from airflow.providers.google.cloud.operators.bigquery import (
BigQueryCreateEmptyDatasetOperator, BigQueryDeleteDatasetOperator,
)
from airflow.utils.dates import days_ago
PROJECT_ID = os.environ.get("GCP_PROJECT_ID", "project_id
浏览 2提问于2020-06-19得票数 0
我需要从Composer中执行数据融合管道，为此使用Data：
from airflow.providers.google.cloud.operators.datafusion import (
CloudDataFusionCreateInstanceOperator,
CloudDataFusionCreatePipelineOperator,
CloudDataFusionDeleteInstanceOperator,
CloudDataFusionDeletePipelineOperator,
CloudDataFusionGetInstance
浏览 6提问于2021-10-15得票数 0
回答已采纳
在我的气流数据集中，我一直在使用连接到Cloud实例。
但是，在将从1.18.4更新到1.18.6之后，我的DAG开始遇到一个奇怪的错误：
[2022-04-22, 23:20:18 UTC] {cloud_sql.py:462} INFO - Downloading cloud_sql_proxy from https://dl.google.com/cloudsql/cloud_sql_proxy.linux.x86_64 to /home/airflow/dXhOYoU_cloud_sql_proxy.tmp
[2022-04-22, 23:20:18 UTC] {taskinstanc
浏览 15提问于2022-04-22得票数 5
我正在寻求一些设计建议和使用Cloud Build来执行一个接受args的python函数的示例。 我在GCP上有一条使用Airflow的数据管道。某些文件需要在加载到BigQuery之前进行清理。我有一个Python函数来完成这项工作。我想要的是在Cloud Build镜像上运行该函数，并从我的管道中传递函数args。 到目前为止，我有一个Cloud Build触发器，它安装并运行一个没有参数的简单Python函数。 从我的研究中，我发现了两个选择，cloudbuild_v1库和Cloud Build Airflow operator。 我想要关于我应该使用哪个选项的建议，或者是否应该考虑
浏览 10提问于2020-10-13得票数 0
回答已采纳
我有一个运行中的Apache AirFlow，它是从docker编写开始的。此外，我有一个码头-撰写项目，我想管理与AirFlow。
示例_workers/docker-Compose.yml：
version: '3'
services:
my_app:
build:
context: ./my_app/
environment:
TEST: 1
INDOCKER: 1
restart: "no"
volumes:
- ./my_app:/my_app
depend
浏览 18提问于2022-05-19得票数 0
我正试图篡改airflow，我的Dockerfile是这样的
FROM python:3.5.2
RUN mkdir -p /src/airflow
RUN mkdir -p /src/airflow/logs
RUN mkdir -p /src/airflow/plugins
WORKDIR /src
COPY . .
RUN pip install psycopg2
RUN pip install -r requirements.txt
COPY airflow.cfg /src/airflow
ENV AIRFLOW_HOME /src/airflow
ENV PYTHONPATH &
浏览 6提问于2020-04-21得票数 2
回答已采纳
1回答
我正在尝试为GCS桶上存在的Parquet文件在Big Query中创建一个外部表。但是，我在气流中运行下面的代码时出错了：
错误：
ERROR - 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/project_dev/datasets/dataset_dev/tables?prettyPrint=false: When defining a table with an ExternalDataConfiguration, a schema must be present on either the Table or
浏览 2提问于2021-10-20得票数 0
回答已采纳
1回答
我正在以一种复杂的方式运行一系列相互依赖的任务。我想将这些依赖关系描述为DAG (有向无环图)，并在需要时执行该图。 我一直在关注airflow，并写了一个虚拟脚本： from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
def cloud_runner():
# my typical usage here would be a http call to a service (e.g. gcp cloudrun)
浏览 64提问于2021-10-16得票数 0
1回答
我试图使用Google Reporting v1beta1导入Android统计数据。为此，我使用系统管理员创建的service_account。但是，当脚本发送查询加载数据时，会出现将Google与Play控制台连接的错误，但是管理员说，与Google链接的帐户是错误的。我在谷歌搜索，但找不到同样的问题。请帮帮我！
剧本：
from google.oauth2 import service_account
from googleapiclient.discovery import build
from google.oauth2.credentials import Credentials
浏览 14提问于2022-06-03得票数 2
我的DockerFile FROM puckel/docker-airflow
...
# rest of file 查看puckel/docker-airflow的源DockerFile，我看到有几个args可以在构建时配置，这是我想要做的： # contents of puckel/docker-airflow
...
# Airflow
ARG AIRFLOW_VERSION=1.10.6
ARG AIRFLOW_USER_HOME=/usr/local/airflow
ARG AIRFLOW_DEPS=""
ARG PYTHON_DEPS=""
浏览 18提问于2020-01-07得票数 2
回答已采纳
我已经部署了apache气流使用码头-合成使用扩展映像，以包括需求。我可以在气流UI中看到雪花提供商包已经安装(apache-气流提供者-雪花)，但是由于某些原因，我得到了一个DAG导入错误：
from airflow.providers.snowflake.hooks.snowflake import SnowflakeHook
ModuleNotFoundError: No module named 'airflow.providers.snowflake'
我已经登录到docker，使用了气流用户，并成功地导入了这个包。
Dockerfile：
FROM apache/a
浏览 7提问于2022-05-10得票数 0
1回答
我把达格安排在气流中10分钟什么也不做。
这是我的dags代码：
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date':datetime.now(),
浏览 2提问于2018-01-05得票数 0
回答已采纳
Google cloud平台中的Notebooks对于云中的Python开发来说已经很棒了，但最后一个缺失的部分只是按计划运行现有的notebooks。有一百万种不同的工具(Airflow、造纸厂、Google Cloud Jobs、Google Cloud Scheduler、Google Cloud Cron Jobs)，作为一个不熟悉Cloud的人，很容易迷失方向。有什么建议吗？谢谢你们！
浏览 16提问于2021-07-29得票数 1
1回答
当我尝试从版本composer-1.7.2-airflow-1.10.2到Composer -1.12.0-气流-1.10.10(或任何其他可用的)更新我的composer环境(在GCP上)时，我总是会得到以下错误：
UPDATE operation on this environment failed Just now with the following error message:
Failed to update image version.
The Cloud Build image build failed: Build failed; check build logs for d
浏览 0提问于2020-09-18得票数 2
回答已采纳
1回答
云存储库导入错误
、、
我想创建一个气流DAG来将文件传输到云存储，但是我在导入Google库时遇到了问题。我想使用的库：
from airflow.providers.google.cloud.operators.gcs import GCSCreateBucketOperator, GCSDeleteBucketOperator
from airflow.providers.google.cloud.operators.gcs import GCSCreateBucketOperator
from airflow.providers.google.cloud.transfers.gcs_to_local impo
浏览 9提问于2022-11-09得票数 0
回答已采纳
我试图在实例上部署一个气流。
初始化操作(用于初始化云VM的Shell脚本)中有一些特定的内容需要更改，以便部署脚本。我想知道我能不能用地形来处理这件事。
这是我的地形剧本。
provider "google" {
region = "${var.region}"
project = "${var.project_name}"
credentials = "${file("${var.credentials_file_path}")}"
zone = "${v
浏览 2提问于2018-02-26得票数 3
回答已采纳
我正在使用python以及airflow和gcp python库。我使用airflow dags自动化了将文件发送到gcp的过程。代码如下：
for fileid, filename in files_dictionary.items():
if ftp.size(filename) <= int(MAX_FILE_SIZE):
data = BytesIO()
ftp.retrbinary('RETR ' + filename, callback=data.write)
f = client.File(client
浏览 0提问于2020-04-23得票数 1
1回答
管道必须是列表式气流
、、、
在气流中写入DAG来提取平衡之和但得到误差
import logging
import json
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow import AirflowException
# Connection
from airflow.pro
浏览 1提问于2022-11-28得票数 1
4回答
我正在使用airflow cli的backfill命令手动运行一些回填作业。
airflow backfill mydag -i -s 2018-01-11T16-00-00 -e 2018-01-31T23-00-00 --reset_dagruns --rerun_failed_tasks
dag间隔是每小时一次，它有大约40个任务。因此，这种回填工作需要一天以上的时间才能完成。我需要它在没有监督的情况下运行。然而，我注意到，即使一个任务在回填间隔中的一个运行中失败，整个回填作业也会停止，并出现以下异常，我必须再次手动重新启动它。
Traceback (most recent c
浏览 5提问于2018-09-20得票数 5
我正在尝试从云存储中读取数据，并将数据写入BigQuery表。使用Pandas库读取GCS中的数据，并使用client.load_table_from_dataframe方法写入数据。我在Google cloud composer中以python操作符的身份执行此代码。当我执行代码时，出现了下面的错误。 [2020-06-23 17:09:36,119] {taskinstance.py:1059} ERROR - 'str' object has no attribute 'to_api_repr'@-@{"workflow": "D
浏览 14提问于2020-06-24得票数 0
回答已采纳
我无法执行第二个arg语句： "python", "-c", "from main import foo;print(foo('hello'))" 我正在使用气流操作符CloudBuildCreateBuildOperator触发云构建。触发DAG和Cloud Build返回均成功。 根据Cloud Build返回的日志消息，安装requirements.txt文件的第一个参数似乎可以工作： Requirement already satisfied: setuptools>=40.3.0 in /usr/local/li
浏览 19提问于2020-10-14得票数 0
回答已采纳
1回答
Im将数据从postgresql(本地)加载到google云存储，使用的是靠码头的气流，但我得到了类似于这个的错误
Broken DAG: [/opt/airflow/dags/postgres_to_bigquery.py] Traceback (most recent call last):
File "/home/airflow/.local/lib/python3.7/site-packages/airflow/models/baseoperator.py", line 408, in apply_defaults
result = func(self, *
浏览 10提问于2022-10-04得票数 0
我正在使用GCP Composer (Airflow)运行一些计划任务。以及使用AWS SES SMTP服务器发送通知电子邮件。
根据GCP Composer的文档https://cloud.google.com/composer/docs/secret-manager#configuring_your_environment_with和https://cloud.google.com/composer/docs/configure-email#configure_third-party_smtp_services，我将气流配置覆盖设置如下
secrets
backend airflo
浏览 2提问于2021-08-06得票数 1
我正试图在AWS EC2实例上安装气流。网络上的各种来源似乎都很好地记录了这个过程，但是，在我'pip install‘风流之后遇到了一个问题；当我执行命令'airflow initdb’时，我得到了以下错误：
[2019-09-25 13:22:02,329] {__init__.py:51} INFO - Using executor SequentialExecutor
Traceback (most recent call last):
File "/home/cloud-user/.local/bin/airflow", line 22, in &
浏览 0提问于2019-09-25得票数 2
回答已采纳
我在docker hub的apache/airflow:latest上创建了一个镜像，用于复制本地dags和插件。在构建本地气流镜像之后，我运行命令docker run -it local_airflow:latest list_dags来列出最近复制的dags，但是我得到了输出： Unable to load the config, contains a configuration error.
Traceback (most recent call last):
File "/usr/local/lib/python3.6/logging/config.py", li
浏览 136提问于2020-09-03得票数 1
回答已采纳
面对气流中的问题。简而言之:我试图从1.10.14版本移到2.2.2ver。然而，当我想要将BigQueryOperator替换为BigQueryExecuteQueryOperator时，我试图增加文档是如何被告知的工作时间，但仍然看到了这个问题。
当作业运行超过1分钟时，我观察到了这个问题，同时，在旧的Bigquery操作符中，在气流1.10.14上配置相同配置的google云连接中，我还没有看到过这种问题。
mobile_push_stat = BigQueryExecuteQueryOperator(
task_id="mobile_push_stat&
浏览 22提问于2021-12-06得票数 1
2回答
我在Google Cloud Composer上使用apache airflow (v1.10.2)，我想查看airflow数据库的模式。我在哪里能够找到这方面的信息？
浏览 0提问于2020-07-07得票数 2
我正试图在GCP上安装google-cloud-bigquery==1.5.0 PyPI软件包，因为最近已经创建了一个新的环境。我知道这个错误：
Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339-0.7
+ [[ -z fail ]]
+ python3 -m pipdeptree --warn fail
Warning!!! Possibly conflicting dependencies found:
* google-cloud-tr
浏览 2提问于2020-10-24得票数 0
2回答
首先，我对码头，气流和堆叠溢流相当陌生。
我有一个在Ubuntu (20.04.3) VM上的Docker中运行的气流实例。
我正在尝试将Openpyxl安装在build上，以便将它用作pd.read_excel的引擎。
下面是带有install命令的Dockerfile：
FROM apache/airflow:2.2.4
ENV AIRFLOW_HOME=/opt/airflow
USER root
RUN apt-get update -qq && apt-get install vim -qqq
COPY requirements.txt .
RUN pip in
浏览 20提问于2022-03-02得票数 2
回答已采纳
我正在使用python3 API google-cloud-language 1.3.0中的composer-1.8.3-airflow-1.10.3。
它过去很好，但从过去两周开始，它报道了ImportError:无法从grpc.experimental导入名称'aio‘
我已经检查了软件包的文档，看起来google-cloud-language现在需要grpcio>=1.29.0。然而，根据Composer版本列表，即使是最新版本的composer，它的PyPI包grpcio也停留在1.23.0上。
我试图把它的版本强加给1.29.0，但失败了。
有人能查一下这个问题吗？
浏览 5提问于2020-09-02得票数 0
编辑1:这个问题与字段"initialization_actions"有关。最初我在那里放了一个字符串，现在我给了它它想要的对象：
from google.cloud.dataproc_v1beta2 import NodeInitializationAction
CLUSTER_CONFIG = {
...
"initialization_actions": NodeInitializationAction({
"executable_file": <string>})]
}
不幸的是，它仍然在抱怨
浏览 4提问于2021-07-06得票数 1
回答已采纳
我刚刚在Python3和Composer image版本composer-1.4.0-airflow-1.10.0上设置了一个Cloud Composer Environment。否则，所有设置都是“常用的”；即没有配置覆盖。
我正在尝试测试一个非常简单的DAG。它在我的本地Airflow服务器上运行没有问题，但在Cloud Composer上，web服务器的任务信息视图显示消息Dependencies Blocking Task From Getting Scheduled
依赖关系是Unknown，原因如下：
All dependencies are met but the task in
浏览 19提问于2018-12-20得票数 3
我正在尝试使用ExternalTaskSensor，它被困于戳另一个DAG的任务，这个任务已经成功地完成了。
在这里，第一个DAG "a“完成它的任务，然后通过ExternalTaskSensor触发第二个DAG "b”。相反，它被困在a.first_task上。
第一次DAG：
import datetime
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
dag = DAG(
dag_id='a',
default_ar
浏览 8提问于2017-10-18得票数 21
回答已采纳
1回答
无法导入气流供应商软件包
、、、
我无法为谷歌导入气流提供商软件包。我用的命令是
pip3 install apache-airflow-backport-providers-google
它给了我错误
ERROR: Could not find a version that satisfies the requirement apache-airflow-backport-providers-google (from versions: none)
ERROR: No matching distribution found for apache-airflow-backport-providers-google
由于这个原因
浏览 4提问于2020-08-12得票数 5
回答已采纳
我试图在subdag创建时从父进程访问一些xcom数据，我在互联网上搜索以实现这一点，但是我没有找到任何东西。
def test(task_id):
logging.info(f' execution of task {task_id}')
def load_subdag(parent_dag_id, child_dag_id, args):
dag_subdag = DAG(
dag_id='{0}.{1}'.format(parent_dag_id, child_dag_id),
default_args=
浏览 0提问于2019-02-18得票数 8
回答已采纳
我有一个在EC2上运行the服务器/调度器的气流实例。我希望将一个MySQL RDS实例连接为后端元数据数据库，而不是本机SQLite。我用pymysql驱动程序替换了Airflow.cfg中通过sql_alchemy连接到数据库以连接到RDS的一行：
#sql_alchemy_conn = sqlite:////home/cloud-user/airflow/airflow.db
sql_alchemy_conn = mysql+pymysql://admin:<PASSWORD>@airflow-db.xxxxxxxxxxxx.us-east-1.rds.amazonaws.c
浏览 2提问于2019-09-30得票数 1
1回答
我卸载了airflow 1.10.12，并使用python 3.6.9安装了airflow 2。当我在没有自定义DAG的情况下启动When服务器时，我收到警告： [2021-01-12 11:38:58,095] {dagbag.py:440} INFO - Filling up the DagBag from /dev/null
[2021-01-12 11:38:59,049] {providers_manager.py:283} WARNING - Exception when importing 'airflow.providers.google.cloud.hooks.da
浏览 85提问于2021-01-12得票数 2
1回答
我们的Airflow部署的docker镜像过去需要大约5分钟来构建，突然之间需要一个多小时。尽管如此，我们已经有几个月没有重建我们的形象了，所以不确定这个问题是什么时候出现的……
看起来https://stackoverflow.com/questions/65122957/resolving-new-pip-backtracking-runtime-issue是罪魁祸首。在构建过程中，我们看到了很多类似如下的警告：
=> => # Downloading google_cloud_os_login-2.3.1-py2.py3-none-any.whl (42 kB)
浏览 1提问于2021-10-12得票数 3
1回答
在创建虚拟环境后，我们已经在linux环境中安装了airflow。它是以root用户身份安装的。所有已安装的文件都是使用root权限创建的。 在dag中，我们使用BashOperator，其中python脚本被称为bash命令。此脚本应以不同的用户'ABC‘运行。我不能用这个用户触发气流。 在运行dag时，默认以root身份触发airflow，这会导致python脚本以root身份运行，并且脚本会因为文件夹结构的权限问题而失败。 Airflow不应以root用户身份触发。 我们不能使用用户而不是root来安装airflow吗？对于这种情况，请建议应遵循的最佳实践。
浏览 31提问于2019-06-18得票数 0
回答已采纳
升级到airflow2.0.2-python3.7映像后收到一个导入错误。软件包似乎已安装，不确定是什么导致了问题，以及如何修复它。尝试卸载和重新安装软件包，但这也不起作用。
{providers_manager.py:299} WARNING - Exception when importing 'airflow.providers.google.common.hooks.leveldb.LevelDBHook' from 'apache-airflow-providers-google' package: No module named 'airfl
浏览 6提问于2021-04-21得票数 3
回答已采纳
我想从airflow.providers.google.cloud.sensors.bigquery导入BigQueryTableExistenceAsyncSensor
这是我的代码：
from airflow import DAG
from util.dags_hourly import create_dag_write_append #this is class that I created, no issues with other DAG
from airflow.providers.google.cloud.sensors.bigquery import
BigQueryTabl
浏览 12提问于2022-10-25得票数 0
回答已采纳
我有两个例子的码头文件，一个是工作的，另一个不是。两者之间的主要区别是基本图像。
简单的python基础图像停靠文件：
# syntax = docker/dockerfile:experimental
FROM python:3.9-slim-bullseye
RUN apt-get update -qy && apt-get install -qy \
build-essential tini libsasl2-dev libssl-dev default-libmysqlclient-dev gnutls-bin
RUN pip install poetry=
浏览 18提问于2022-09-08得票数 3
回答已采纳
我们在当前的composer环境1.16.0中运行了许多DataflowTemplateOperator作业(JDBC到BigQuery模板)，其中的气流为1.10.15。但是，在尝试在composer 1.17.6气流2.1.4下运行相同的DAG时，我们将得到以下错误：
[2021-12-07 03:08:56,478] {taskinstance.py:1465} ERROR - Task failed with exception
Traceback (most recent call last):
File "/opt/python3.8/lib/python3.8/sit
浏览 4提问于2021-12-07得票数 1
我想进口气流谷歌供应商。所以我安装了它。
pip3 install apache-airflow-backport-providers-google
我能够看到包目录下的所有钩子和所有东西。
/usr/local/lib/python3.7/dist-packages/airflow/providers/google/cloud/transfer
但是当我运行import命令时，它失败了。
from airflow.providers.google.cloud.transfers.sql_to_gcs import BaseSQLToGCSOperator
Error:
Traceback
浏览 1提问于2020-10-15得票数 0
我正在写一个Dag，当我试图从任务中提取Xcom值时，遇到了一个问题。
我想实现这样的目标
{{ dag_run.conf }}中获取手动触发的dag_run参数值的编写函数func
{"dlf_40_start_at":"2022-01-01"，"dlf_40_end_at":"2022-01-02"}，将该值推送到Xcom。
def func(**kwargs):
dag_run_conf = kwargs["dag_run"].conf
task_instance: TaskInstance
浏览 8提问于2022-02-11得票数 1
回答已采纳
2回答
我刚刚创建了一个新的Cloud Composer环境，在尝试向该环境(例如google-cloud-pubsub)添加一些PyPI包时出现错误。
这是关于环境的数据：
我在尝试添加google-cloud-pubsub时遇到的错误是这样的:安装PyPI包失败。
有人知道这件事吗？
谢谢:)
云构建：
+ python3 -m pip install -r requirements.txt
Collecting google-cloud-pubsub==1.2.0 (from -r requirements.txt (line 1))
Downloading https://files
浏览 35提问于2020-02-20得票数 0
回答已采纳
问题:使用airflow运行数据流作业时，出现以下错误，是否与我们在连接中提供的keypath有关。如果是，应该是正确的路径。错误：
File "/usr/lib/python2.7/site-packages/airflow/models.py", line 1374, in run
result = task_copy.execute(context=context) File "/usr/lib/python2.7/site-packages/airflow/contrib/operators/dataflow_operator.py", line 1
浏览 1提问于2017-06-14得票数 0
4回答
使用IDE工具调试气流任务？
、、、、
我的airflow DAG主要由PythonOperators组成，我想使用我的Python IDE调试工具来开发python“内部”Airflow。-我依赖airflow的数据库连接器，我认为将其从airflow中“移出”进行开发将是丑陋的。
我使用Airflow有一段时间了，到目前为止，我只通过CLI完成了开发和调试。这开始让人厌烦了。
有没有人知道如何设置PyCharm或其他集成开发环境，以便在运行airflow test ..时使用集成开发环境的调试工具集
浏览 0提问于2019-11-19得票数 10
下面的Airflow DAG(Cloud Composer)被消息卡住：
{base_task_runner.py:113} INFO - Job 5865: Subtask my_task
{gcp_dataflow_hook.py:121} INFO - Running command /home/airflow/gcs/dags/dataflow/pyfile.py --runner DataflowRunner......"
我在数据流中看不到提交的作业。你知道这里缺少什么吗？
task1 = DataFlowPythonOperator(
task_id = 'my
浏览 0提问于2020-12-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
