cloud composer中没有名为'gcp_sql_operator‘的模块
Cloud Composer是Google Cloud Platform（GCP）提供的一项托管式工作流程编排服务，用于创建、调度和监控基于Apache Airflow的工作流程。它提供了一个可扩展的平台，用于构建、部署和管理数据流和ETL（Extract, Transform, Load）工作负载。
在Cloud Composer中，'gcp_sql_operator'并不是一个内置的模块。然而，您可以使用其他可用的模块和操作符来与GCP的SQL服务进行集成。以下是一些相关的模块和操作符：
gcp_sql_operator的替代方案：您可以使用gcp_sql模块中的CloudSqlInstanceCreateOperator和CloudSqlQueryOperator来与GCP的SQL服务进行交互。CloudSqlInstanceCreateOperator用于创建Cloud SQL实例，CloudSqlQueryOperator用于执行SQL查询。- Cloud SQL：Cloud SQL是GCP提供的完全托管的关系型数据库服务。它支持多种数据库引擎，如MySQL、PostgreSQL和SQL Server。您可以使用Cloud SQL来存储和管理应用程序的结构化数据。
- 推荐的腾讯云相关产品：由于要求不能提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等品牌商，这里无法提供腾讯云相关产品的推荐。
请注意，以上提到的模块和产品链接地址仅为示例，具体的使用方法和适用场景取决于您的实际需求和环境。建议您参考相关文档和官方指南，以获得更详细和准确的信息。
相关·内容
我正在尝试构建一个连接到AWS RDS的google cloud composer，以执行计划ELT作业。但是，RDS在私有网络的内网，通过安全组中的白名单IP允许连接。 我曾尝试为google kubernetes引擎创建一个NAT网关，但在google cloud composer中找不到任何使用NAT网关的方法。有没有可能让google cloud composer中的工作人员在一系列公有ip中创建？
浏览 29提问于2019-02-26得票数 2
1回答
我需要使用存储库文件夹名运行DAG，并且需要从部署的另一个路径存储库中调用另一个目录中的其他模块。
因此，我有一个cloudbuild.yaml，它可以将脚本部署到DAG文件夹和Plugins文件夹中，但我仍然不知道如何从上的另一个路径获取其他模块。
这是我的桶存储路径
cloud-composer-bucket/
dags/
github_my_repository_deployed-testing/
test_dag.py
plugins/
github_my_repository_deployed-testing/
浏览 7提问于2022-11-16得票数 0
我想重新启动我前段时间在Symfony Cloud上托管的项目。部署过程中出现错误：
Executing build hook...
W: + curl -s https://get.symfony.com/cloud/configurator
W: + bash
W: + mkdir -p /app/.global/bin/
W: + cd /mnt/cache/app
W: + wget -nv -N https://get.symfony.com/cloud/stable/tools.tar.bz
浏览 9提问于2021-04-08得票数 0
Composer让我意识到一个软件包已经过时，需要升级。
1 package is not up to date:
- google/cloud (v0.49.0) latest is v0.69.0
这个包对我来说是未知的，但我正在与其他几个开发人员合作，所以我检查了：
$ composer why google/cloud
There is no installed package depending on "google/cloud"
长话短说，我很难移除这个包裹。例如，通过删除：
$ composer remove google/cloud
google/cloud
浏览 5提问于2018-06-22得票数 1
回答已采纳
我们目前正在为Cloud Composer上的气流(>2.0.1)开发自定义操作符和传感器。我们使用官方Docker镜像进行测试/开发 对于Airflow 2.0，推荐的方式不是将它们放在Airflow的插件目录中，而是将它们构建为单独的Python包。然而，当开发DAG并在Docker Airflow上测试它们时，这种方法似乎相当复杂。 要使用气流推荐方法，我们将为DAG和操作器/传感器使用两个单独的repos，然后将自定义操作器/传感器包挂载到Docker，以便在那里快速测试并在本地计算机上进行编辑。为了进一步在Composer上使用，我们需要将我们的包发布到我们的私有pypi代码
浏览 20提问于2021-07-16得票数 1
在01-15-14更新之前，安装工作正常。由于致命的python错误，更新失败。
手动下载和安装会产生相同的错误。以sudo身份运行install会产生相同的错误。
哪些步骤会重现该问题？
curl https://dl.google.com/dl/cloudsdk/release/install_google_cloud_sdk.bash | bash
% Total % Received % Xferd Average Speed Time Time Time Current
浏览 14提问于2014-01-17得票数 0
我正在尝试为一个contrib模块做一个补丁，这样它就可以使用一个新版本--它是“必需的”供应商库。
composer.json位于模块的目录中，如下所示：
"require": {
"wa72/htmlpagedom": "1.3",
"drupal/pdf_api": "^2.0"
},
我需要安装"wa72/htmlpagedom:^3“，所以我在模块的composer.json文件中更改了版本号
运行composer更新drupal/MODULE_NAME什么
浏览 0提问于2022-07-14得票数 0
我最近一直在尝试作曲家来管理我的管道，发现它的成本比我想象的要高得惊人，这是我从法案中得到的：
Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours
[Currency conversion: USD to AUD using rate 1.475] A$17.11
Cloud Composer Cloud Composer SQL vCPU time in South Carolina: 148.749 hours
[Currency conversion: USD to AUD using ra
浏览 1提问于2019-12-28得票数 2
回答已采纳
我正在尝试将evernote/evernote-cloud-sdk-php包集成到Laravel 5.1.30应用程序上。
我试着用composer require evernote/evernote-cloud-sdk-php dev-master和composer require evernote/evernote-cloud-sdk-php通过composer安装它，但没有成功。尽管我已经在我的"minimum-stability": "dev"中设置了composer.json，但我仍然得到
问题1
-evernote/evernote-云-sdk-p
浏览 2提问于2016-04-27得票数 1
回答已采纳
我计划使用Google Cloud Composer (Apache Airflow)来管理我们的数据管道。某些处理步骤是在Docker镜像中定义的，我希望触发该镜像以在Google Kubernetes引擎上运行。这些处理步骤通常是资源密集型作业，我想知道调度它们的最佳方法是什么。
我查看了Kubernetes运算符，以构建托管在Google Container Registry上的Docker映像。然而，据我所知，此工作负载将在现有的Cloud Composer Kubernetes集群中创建。因此，可用于运行工作负载的资源受到分配给Cloud Composer集群的资源量的限制。将大量资
浏览 6提问于2019-08-21得票数 1
回答已采纳
2回答
尝试使用Python来获取和迭代我拥有的云存储桶中的所有文件。我正在使用官方图书馆，google-cloud-storage。
使用gsutil，我可以运行像gsutil ls gs://my-composer-bucket/dags/composer_utils/这样的命令。google-cloud-storage库是否提供了与gsutil ls等效的方法？我想使用Python而不是gsutil (不想在GCloud映像中安装和验证GCloud SDK )。
我尝试了几种不同的东西，让我对气泡的工作方式感到困惑：
>>> dag_folder_blob = cloud_co
浏览 0提问于2019-04-11得票数 0
回答已采纳
现在，我正在使用google/cloud-firestore ^0.8.1，我想将这个库更新为最新版本(0.14.0)。我的composer.json现在看起来像：
"require": {
"grpc/grpc": "^1.10",
"google/protobuf": "^3.5",
"google/gax": "^0.31.3",
"google/cloud-firestore": "^0.8.1",
"firebase/php-jwt&
浏览 1提问于2018-08-31得票数 0
回答已采纳
1回答
我和作曲家有个drupal项目。随着其中一个drupal模块的出现，模块"entity_embed“出现了。当我尝试提交它时，它将不会提交文件夹的内容，从而生成如下所示的BitBucket视图：
我想这好像是个子模块。因为我的don服务器上没有任何工具(甚至连composer都没有)，所以我需要一个干净的存储库来提交，而不需要任何部署机制。所以我尝试手动添加文件，但是这不起作用(没有输出，同样的行为)。
我还尝试转到目录并执行
git add entity_embed/*
但这会导致错误消息。
fatal: Pathspec 'entity_embed/compose
浏览 2提问于2017-09-19得票数 0
回答已采纳
1回答
我试图通过Terraform提供一个Composer V2实例。Terraform版本: 1.1.3提供程序版本：
hashicorp/google：~> 3.87.0
我的tf代码如下：
resource "google_composer_environment" "cc_foo_uat_airflow" {
name = "cc-foo-uat-airflow"
region = var.region
project = var.project_id
provider = google-beta
config
浏览 5提问于2022-01-19得票数 1
当我尝试使用并将下面的任务粘贴到我的playbook.yml文件中时，我会得到一个错误。
playbook.yml
- name: Composer Install Site Dependencies
composer: command=install working_dir=/var/www/html
错误：
ERROR: composer is not a legal parameter in an Ansible task or handler
Ansible failed to complete successfully. Any error output should be
vi
浏览 3提问于2014-04-30得票数 2
回答已采纳
1回答
我创建了一个带有图像版本-> composer-2.0.13-airflow-2.2.5的Composer环境
当我尝试使用PyPi安装软件时，它失败了。详情如下：
Command :
gcloud composer environments update $AIRFLOW --location us-east1 --update-pypi-packages-from-file requirements.txt
requirement.txt
---------------
google-api-core
google-auth
google-auth-oauthl
浏览 4提问于2022-05-31得票数 0
回答已采纳
我正在尝试导入Google的文本到语音库
composer require google/cloud-text-to-speech
但是我得到了这个错误
Using version ^0.4.4 for google/cloud-text-to-speech
./composer.json has been updated
Loading composer repositories with package information
Updating dependencies (including require-dev)
Your requirements could not be resol
浏览 16提问于2019-07-14得票数 1
回答已采纳
我正在考虑在Cloud Run For Anthos上使用Cloud composer，以利用k8s的自动缩放和kubernetes executor，以及Cloud composer的混合/多云。这是一条可行的路径吗？如果是这样的话，会有关于这个设置的指南吗？或者有没有更简单更好的方法在GKE上设置气流？
浏览 14提问于2021-07-04得票数 0
回答已采纳
我有一个通过Terraform部署的GCP基础设施:桶、服务帐户、计算引擎、VPC、cloud、BigTable、BigQuery、Composer等等。
Terraform v0.11.10提供商"google“(2.15.0)
最近，客户要求我将我们仅有的一个terraform文件(例如main.tf)拆分到几个文件中。例如:一个用于存储桶的文件，另一个用于服务帐户的文件，另一个用于数据库服务的文件等等。
我只有一个terraform状态文件位于一个GCP桶中。
我怎么才能以最低的影响去做呢？地形状态呢？(还会有多个州文件吗？或者，即使我们将代码分开，也只保留一个TF文件?)
注意
浏览 5提问于2019-09-18得票数 57
回答已采纳
此方法在方法列表中列出：，但我收到错误“调用未定义的方法WebGuy::grabMultiple”，因此我尝试更新和构建，但没有成功。
下面是代码：
php composer.phar self-update
php composer.phar update
./codecept.sh build
这是我的acceptance.yaml：
class_name: WebGuy
modules:
enabled:
- MailCatcher
- Selenium2
- WebHelper
config:
Selenium2:
浏览 1提问于2016-02-01得票数 0
1回答
为Composer区分了两种日志：
Composer有以下气流日志：
气流日志：这些日志与单个DAG任务相关联。您可以在与Composer环境关联的文件夹中查看任务日志。您还可以在气流网络界面中查看日志。
流日志：这些日志是气流中日志的超集。要访问流日志，可以转到Google控制台中的Environment details页面的logs选项卡，使用Cloud，或者使用Cloud。
如文档所示，我可以在桶中看到气流日志，但它们不显示在GCP日志中，应该这样吗？事实上，当我查询resource.type="cloud_composer_environment"日志记录时，我
浏览 7提问于2022-01-12得票数 2
问题
composer require google/cloud-firestore
PHP Warning: PHP Startup: Unable to load dynamic library 'php_grpc.dll' (tried: ext\php_grpc.dll (Não foi possível encontrar o módulo especificado), ext\php_php_grpc.dll.dll (Não foi possível encontrar o módulo especificado)) in Unknown on li
浏览 10提问于2022-02-15得票数 -1
我正要写一篇关于Google Cloud Composer的论文，我遇到了一些不确定因素。 在Google Cloud Composer中，DAG是用python编写的。那么，这是否意味着我只能运行python函数，或者我也可以调用保存在google云中的java函数？ 如果我继续使用python，是否所有内容都必须放在一个文件中？我猜这是一个微不足道的问题，但在所有来自GCC的例子中，所有的东西都在一个文件中。此外，这里似乎没有源代码文件夹：https://cloud.google.com/composer/docs/concepts/cloud-storage 最后，我正在寻找我可以使用
浏览 12提问于2021-05-11得票数 0
我正在尝试使用drupal构建一个composer way服务器，有人告诉我，这是正确的方法。
我用来安装drupal的命令如下：
composer create-project drupal-composer/drupal-project:8.x-dev --stability dev mysite --no-interaction
然而，当我启动我的apache服务器时，我会发现大量关于缺少库、函数等的错误。我可以通过谷歌搜索每个库并安装所需的php库来解决这些错误--但是composer不是应该为我这样做吗？根据；
Composer是PHP中的依赖管理工具。它允许您声明项目所依赖的库，
浏览 0提问于2018-12-27得票数 2
回答已采纳
我刚接触Terraform，有没有什么直接的方法可以使用Terraform来管理和创建Google Cloud Composer环境？
我检查了GCP支持的组件列表，似乎到目前为止Google Cloud Composer还没有出现。作为一种变通办法，我正在考虑创建一个包含必需的gcloud composer cli命令的shell脚本，并使用Terraform运行它，这是一种正确的方法吗？请推荐替代方案。
浏览 4提问于2018-06-06得票数 1
我有一个在虚拟机中运行的airflow dag，但是为了促进事件驱动触发，我正在尝试在GCP中设置cloud composer。然而，我只在cloud composer中看到了安装pypi包的选项。 我需要rosbag包来运行我的bash脚本，在cloud composer中有什么方法可以做到这一点吗？或者在VM或容器中使用Kubernetes运行Airflow更好？
浏览 28提问于2021-09-21得票数 1
2回答
我试图为GCP云添加气流连接(应该从秘密管理器获取SA键)，但是在我的气流UI(版本2.1.4)中，我无法通过使用秘密管理器找到添加的选项。是因为版本问题吗？
如果是这样，我们可以通过命令行(Gcloud)或通过编程方式添加气流连接(通过使用秘密管理器)来添加它吗？
我尝试了通过命令行，但它抛出了以下错误：
gcloud composer环境运行project_id --位置欧洲--west2 2 connections add -- edw_test --conn-type=google_cloud_platform -conn--额外的{“extra__google_cloud_platf
浏览 10提问于2022-02-10得票数 0
回答已采纳
我尝试通过终端使用composer安装Google Cloud Client Library for PHP。
我的服务器中已经有了composer，并且我运行以下代码：
composer require google/cloud
但不幸的是，它失败了，并给出了这个返回错误：
Fatal error: Call to undefined function Symfony\Polyfill\Mbstring\iconv() in phar:///opt/cpanel/composer/bin/composer/vendor/symfony/polyfill-mbstring/Mbstring.p
浏览 1提问于2016-11-01得票数 1
当我在我的机器上安装灯时，我已经安装了php 5.6.27。几天前，我在我以前的php版本的旁边安装了php 5.3.29。之后，当我尝试在symfony2项目上运行composer更新时，我得到了一个错误：
Fatal error: Uncaught Error: Call to undefined function Composer\Console\json_decode() in /usr/share/php/Composer/Console/Application.php:145
Stack trace:
#0 /usr/share/php/Symfony/Component/Cons
浏览 0提问于2016-10-28得票数 0
我尝试将添加到我的Laravel 9中，得到了错误：
$ composer require superbalist/laravel-google-cloud-storage
Using version ^2.2 for superbalist/laravel-google-cloud-storage
./composer.json has been updated
Running composer update superbalist/laravel-google-cloud-storage
Loading composer repositories with package info
浏览 23提问于2022-06-16得票数 0
回答已采纳
我有一个关于GCP Cloud Composer的问题。
为了验证触发DAG (工作流)的函数，我想通过参考下面文章中的python代码来获取客户机ID。
当我运行程序时，我得到了一个错误。
出现的错误如下所示。
usage: id.py [-h] project_id location composer_environment
id.py: error: the following arguments are required: project_id, location, composer_environment
该错误的含义是参数project_id、location、composer_e
浏览 8提问于2021-02-28得票数 3
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持Airflow v1.9 (2019/01/16))。 在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行得很好。 然而，就目前而言，当我尝试创建一个新的cloud composer环境并部署以前工作良好的同一DAG时，我
浏览 65提问于2019-01-16得票数 1
1回答
我被推入了“美妙”的Composer世界，因为PHP库开始不提供手动下载和安装源代码的简单方法。
我们有一个非常大的系统，有几十年的代码，所以一些不可避免的事情会发生，例如：
为一个主要的migration版本准备升级我们需要在中为这两个版本建立库
在当前项目中使用新的库版本，而不中断依赖于旧库versionUpgrade 30以前的项目使用新的库版本的30个以前的项目
我将选择Google/Cloud，因为它有几个依赖项，比如guzzlehttp。
如果我这样做了：
cd /libraries/composer/google/cloud/0.179.0
composer require go
浏览 10提问于2022-05-12得票数 1
回答已采纳
1回答
我看到/module文件夹仍然存在，其中包含更新的模块文件夹。
📷
composer update已将站点更新为8.9
composer update不会更新仍显示在/modules中的任何模块(例如webform)
运行composer update时，Composer报告安装了Webform 8.5.16，但实际上它没有安装，而且站点仍然报告Webform 8.x-5.4-beta1
许多其他模块也没有更新。
/module中的模块是旧版本，而较新的版本在/module/cont肋骨中。
Drupal认为模块处于旧路径(例如/module/webform)
解决这个问题最安全的方法是
浏览 0提问于2020-06-05得票数 1
我试图正确地使用composer来安装一个名为nikic/php-parser的库。
感谢克莱夫的有益评论，我现在明白了，当一个Drupal 7模块附带一个composer.json文件时，该文件应该被合并到一个统一的composer.json-file中，从那时起，事情将或多或少地自动处理。
在Composer Manager项目页面上的说明中也提到了事情应该是这样的：
Composer Manager允许每个贡献模块随它自己的composer.json文件一起发布，并列出特定于模块的需求。然后将所有找到的模块的需求合并到统一的composer.json文件中。这会导致在所有模块之间共享一个
浏览 0提问于2019-02-13得票数 1
回答已采纳
我已经制作了一个DAG，它通过安装在MySQL上的Cloud SQL代理连接到Cloud SQL (SQL)。它读取表的列表并基于这些表生成多个任务。我已经成功地在本地计算机上的Airflow中运行了此DAG，但一旦我尝试将其部署为Cloud Composer实例，DAG似乎无法正确加载到Airflow Web UI中。DAG的唯一可用选项是刷新和删除，而不是所有其他选项。 调度器发现了DAG，我可以在日志中看到建立了到Cloud SQL的连接，正在检索表，但由于某种原因，Airflow web UI不喜欢它。日志中没有错误。 我知道这里描述的Composer的架构：https://clou
浏览 21提问于2019-09-21得票数 2
回答已采纳
我是google cloud composer的新手。我在谷歌云计算引擎中有一些代码，例如: test.py 目前，我使用Jenkins作为我的调度器--我运行的代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.test" | ssh user@instance-dp 我想从google cloud composer运行相同的代码。 我怎么才能做到这一点.. 基本上，我需要ssh到google cloud中的一个实例，并使用g
浏览 29提问于2019-06-19得票数 0
根据Cloud Composer文档，不支持Airflow RBAC功能。
我想知道是否有其他方法可以为访问Cloud Composer中的Airflow UI的用户启用DAG级别访问控制。
谢谢!
马可
浏览 4提问于2020-04-02得票数 1
我正在尝试设置Google cloud platform Airflow managed service ( cloud composer)，它应该能够在我的本地Hadoop集群的工作流中触发任务，而不是在google Cloud上。我找不到关于这方面的太多信息。Cloud composer文档介绍了如何在Google云中的共享VPC上触发作业，而不是使用本地VPC。任何帮助都将不胜感激。
浏览 1提问于2019-02-06得票数 1
当我在StackDriver上创建时间序列时，我有一个问题。
基本上，我是通过从这个站点执行API来创建时间序列的。
对于资源类型，我将其设置为` `cloud_composer_environment‘。
JSON看起来像这样
"resource": {
"type": "cloud_composer_environment",
"labels": {
"project_id": "MY PROJECT ID",
"e
浏览 0提问于2019-01-21得票数 1
在气流调度器中，有心跳和max_threads之类的东西。
参见。
如果我使用的是Google Cloud Composer，我需要担心/设置这些值吗？
如果不是，Google Cloud Composer使用的值是什么？
浏览 0提问于2019-07-10得票数 1
1回答
什么代表了云构建中的一个步骤
、、、、
事实上，我是在管道上工作，所有的一切都好，直到那里，因为它已经工作了。但是，当我想解释时，我不清楚每个步骤在物理上代表什么，例如，一个步骤“可以”是cluster.Please中的一个节点，如果有人对它有了明确的解释，就向我们解释它。
步骤的示例1
文件配置云构建：
steps:
- name: "gcr.io/google.com/cloudsdktool/cloud-sdk"
args: ["bin/deploy-dags-composer.sh"]
env:
- 'COMPOSER_BUCKET=${_COMPOSER
浏览 1提问于2020-12-22得票数 0
回答已采纳
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。 Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的Google Cloud Storage存储桶中。Composer使用FUSE将目录映射到其所有Airflow worker pods上的路径/home/airflow/gcs/data。 在我的DAG中，我运行了几个Kubernetes pod，如下所示：
浏览 20提问于2021-11-04得票数 2
我试着用composer从github安装一个模块，但是每次遇到相同的错误，
[InvalidArgumentException]
Could not find a matching version of package Worldpay/Worldpay-Magento2-CG.
Check the package spelling, your version constraint and that the package i
s available in a stability which matches your minimum-stability (dev).
下面是我在
浏览 1提问于2019-05-15得票数 6
回答已采纳
有没有一种方法可以在不使用云函数的情况下通过监听GCS创建事件来触发cloud composer？ 我偶然看到了这篇文章：https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf，然而，我暂时为一个技术含量不高的团队工作。因此，我尝试在某个存储桶中创建文件时运行工作流，并尽可能减少可维护性要求。
浏览 20提问于2020-06-18得票数 1
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。
有人知道下面的gcloud cli命令出了什么问题吗？
dag_id: "airflow_monitoring" <br>
task_id: "echo1" <br>
execution_date: "2020-07-03" <br>
gcloud composer environments r
浏览 0提问于2020-07-04得票数 0
嗨，我已经尝试上传图像文件到谷歌云存储使用laravel。我已经通过composer集成了google，我试图与邮递员进行点击，我将获得网址并将其存储在我的数据库中，但是图像文件并没有被上传到google中的文件夹中，.i创建了一个名为“avatars”的文件夹。这是我的密码。这是我的控制器
public function updateAvatar (AvatarUploadRequest $request) {
$me = Auth::user();
$disk = Storage::disk('gcs');
$url = $disk->url(
浏览 1提问于2018-07-09得票数 1
回答已采纳
动机/用例
我维护模块包https://drupal.org/project/cfr，它目前需要安装composer_manager，在某些子模块的*.info文件中需要composer_manager。
现在，我还想支持通过composer安装所有模块的站点，例如使用https://github.com/drupal-composer/drupal-project。
但是，自动生成的composer.json文件现在需要composer_manager，因为它们是从*.info文件生成的。
在这种情况下，composer_manager是不可取的，甚至会与composer_autoloade
浏览 0提问于2019-02-24得票数 0
我有一个从云存储下载文件并保存到以下路径的DAG：/home/airflow/gcs/data/FILENAME.txt
然后，该文件会出现在/data下的Cloud Composer存储桶中。
但是，当我最初编写DAG时，我没有指定下载位置为：/home/airflow/gcs/data/，而只是让它在适当的位置下载文件。我想去删除那些文件，但我不知道在哪里可以找到它们。
未指定文件夹时，下载的文件在Cloud Composer中的位置？
浏览 1提问于2019-09-06得票数 0
我有一个应用程序引擎应用程序是用FlaskPython3.7编写的
我的用法是从Composer元数据DB (dag运行、dag成功、dag故障等)中获取信息，并在App应用程序中显示为仪表板(很少有图表)。
到目前为止已经完成的作业- - i能够在登录到其中一个工作节点之后对Composer元数据运行查询(因为工作节点已经运行了Cloud代理，该代理连接到运行在其他容器中的Cloud )。这是在创建与Composer相同的VPC下的Compute引擎，然后从Compute engine执行ssh到工作节点之一之后完成的。
现在的问题是如何使用Cloud ?从App应用程序连接VPC下的Com
浏览 1提问于2019-12-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
