我需要从我的Dags中的一个Google Cloud SQL数据库中检索数据。我尝试使用CloudSqlQueryOperator (https://airflow.readthedocs.io/en/latest/howto/connection/gcp_sql.html)，但我的SELECT查询不起作用。有没
浏览 11提问于2019-05-28得票数 1
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？您所提供的任何建议或文件都
浏览 4提问于2022-10-21得票数 1
我需要从Composer中执行数据融合管道，为此使用Data：
当我试图在编
浏览 6提问于2021-10-15得票数 0
回答已采纳
我试图从GCS中的CSV文件中加载数据，但是在气流中没有预定义的操作符。我使用PSQL钩子和GCS文件读取器构建了一个简单的操作符，但我想知道是否有更好的解决方案，因为现在自定义操作符的工作方式是在一个循环中逐行运行，一个接一个地使用打开的GCS文件的一系列“插入”语句。
浏览 12提问于2022-08-11得票数 1
回答已采纳
我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。请参阅以下参考资料-我已经创建了一个插件类，稍后将其导入到我的DAG脚本中。但是当我们使用通配符时，我们在if条件中有游标，并且我在get_tree_map方法中得到错误。1.10.6)- 中
此方
浏览 4提问于2020-05-13得票数 2
如何将BigQuery select语句结果转储到Google Cloud SQL数据库中。我知道的唯一方法是将结果转储到Google Cloud Storage，然后Cloud SQL可以从中读取。有没有更好的方法实现这一点？我希望这每天都会发生。
浏览 3提问于2016-10-25得票数 0
3回答
为此，我需要以编程的方式存储和检索气流变量，并将它们保存在某个地方。在中，编写了一个脚本将表转换为JSON，但是在使用以下命令时，composer/airflow输出数据的方式存在问题：
gcloud composer environments run `$COMPOSER_ENV' │ 'mysql' │ 'airflow-sqlp...rvi
浏览 2提问于2020-10-02得票数 1
我需要将bigquery数据(使用一些过滤器选择)加载到json格式的gcs存储桶中，然后进行压缩。当前的气流操作员正在将表格从bq导出到gcs，有没有办法将一些带有过滤器的选择数据从BQ推送到GCS？
浏览 15提问于2021-01-19得票数 1
在我的IPython笔记本中，在部署应用程序之前，我可以使用Google使用以下语句连接到云实例：输入上述内容后，我将在Google中获得通知
"listening on 127.0.0.1:3306 for pr
浏览 1提问于2018-03-14得票数 0
我有启用VPN连接，Google (PostgreSQL)数据库实例具有相同的VPN连接和SSL启用。云SQL既有公共IP地址，也有私有IP地址。公共IP i用于从外部连接数据库，如PgAdmin客户端工具，以及用于内部连接的私有IP (如数据流)。现在我想连接这个来自Composer的CloudSQL。使用PostgresOperator连接Cloud数据库。在气流->连接部分创建与Pupl
浏览 6提问于2019-09-17得票数 4
2回答
我有一个在Ubuntu (20.04.3) VM上的Docker中运行的气流实例。 AIRFLOW_CONN_GOOGLE_CLOUD_DEFAULT: &#
浏览 20提问于2022-03-02得票数 2
回答已采纳
我正在尝试在VS代码中设置一个本地开发环境，以便为Composer/Apache气流使用的包获得代码完成。文件如下：在VS代码中激活我的虚拟环境之后，我可以通过运行pip install -r requirements.txt将它安装到虚拟环境中，然后我在VS代码中为他们的文档BashO
浏览 12提问于2022-05-19得票数 5
回答已采纳
1回答
我试图在堆栈驱动程序控制台中显示Cloud的审计日志。我已经在IAM中为Cloud启用了审计日志。
@type: "type.googleapis.com/google.cloud.sql<
浏览 4提问于2021-04-16得票数 0
回答已采纳
1回答
在构建过程中，我们看到了很多类似如下的警告：
=> => # Downloading google_cloud_os_login-2.3.1-py2.py3-none-any.whl (42 kB)google_cloud_os_login的警告消息很困惑，因为挂起的构建步骤是我从RUN set -ex开始分享的那行代码，它看起来没有任何谷歌云安装？我们通过requirements.txt (-cor
浏览 1提问于2021-10-12得票数 3
我在各种ETL工作中使用气流，但我也开始大量使用。CREATE FUNCTION `my_project.my_udfs.normalize`(s STRING) ASTRIM(LOWER(s));
我是一个使用气流的更广泛<e
浏览 7提问于2022-02-25得票数 1
我正在看新的Google Cloud Datastore，看起来很棒。但有件事我不能理解...它应该替代Google App Engine数据存储吗？如何在GAE中使用它？它们之间的区别是什么？我在Java中有一个GAE应用程序，它使用3个实体，每个实体有数千行，我需要经常连接……
浏览 0提问于2013-05-22得票数 19
回答已采纳
2回答
我有几个基于Django (python)的后端web应用程序，我想以自动化的方式将数据导入Google。后端的关系数据库是MySQL，这些应用程序不是面向公共的，也不是Google中的。我们已经有谷歌的商业应用程序和一个谷歌大数据项目的建立。话虽如此，我可以手动地将表转储到CSV中，并导入到Big Query中，但是在将这种数据传递自动化到Google<
浏览 14提问于2016-07-14得票数 0
我已经在码头上的气流上安装了apache-airflow-providers-snowflake软件包，而且我收到了错误。没有名为雪花的模块--请参考附件(请检查提到的雪花钩子文件的错误)
经过分析，我发现雪花钩子操作符源代码是用文件名snowflake.py保存的，并在源代码中尝试导入雪花模块。因此，基本上，它是试图导入自己。get_count", python_callable=row_count)
浏览 1提问于2021-03-01得票数 4
2回答
我正在编写DAG代码，并希望执行一条UPDATE语句来选择性地设置特定行中某些字段的值。SQL语句很简单，但我不知道如何通过气流执行它。BigQueryUpdateTableOperator 上的文档表示整个数据集将被替换。我尝试了很长一段时间没有找到合适的接线员。我尝试将一个UPDATE语句放入BigQueryInsertJobOperator中，这导致了一个错误。
如何通过气流在UPDATE上执
浏览 9提问于2022-07-19得票数 0
回答已采纳
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。但要实现这一点，数据库必须位于GCP Cloud SQL中。我试图查看从外部PostgreSQL流到Cloud SQL PostgreSQL数据库有哪些选项，但我只能找到有关以一次性副本复制它的</em
浏览 26提问于2021-04-01得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
