我对Airflow是个新手，目前我被Bigquery操作符的问题所困扰。我正在尝试对给定数据集中的一个表执行一个简单的查询，然后将结果复制到同一数据集中的一个新表上。但是，我得到的不是复制数据，而是一个新的空表，其中包含我要查询的那个表的模
浏览 7提问于2020-09-11得票数 0
我在找像这样的东西 CreateBQTableOperator( output_table='my_other_table'
) 我正在寻找一个已经存在的运算符或这样的运算符的代码。在重新创建该表或将查询附加到当前表之前，操作员应采用另一个参数来决定是否<
浏览 28提问于2021-07-29得票数 0
回答已采纳
使用airflow，我从MySQL数据库中提取数据，使用python进行转换，并将其加载到Redshift集群中。编辑:这是一个关于气流的问题，是选择任务粒度以及如何在它们之间传递数据的最佳实践。这不是一个关于数据迁移或ETL的一
浏览 36提问于2017-01-10得票数 13
根据Airflow Docs here中提供的文档，可以将AutoMLImportDataOperator配置为输入源。但是，我很好奇如何使用BQ表，因为AutoML表本身就有相应的功能。
浏览 13提问于2020-03-25得票数 1
我正在写一个airfllow管道。我需要编写dag，这样它就可以将csv文件的内容加载到Bigquery表中，但是如果表中已经存在该内容，它就会丢弃该文件。我知道我们可以在正常的编程中计算文件的哈希，但不知道如何处理Airflow和Bigquery。有人知道怎么做吗？
浏览 0提问于2021-09-13得票数 0
2回答
我有一个文件夹，可以获得大量的JSON文件，但是每个JSON只有1条记录。UFDD100023004","Content Type":"Entertainment","Release Year":"2007","sports_event_ID":""}
我是Python和GCP的新手在这个问题上需要帮助:-如何将Python中的所有JSON文
浏览 15提问于2022-10-11得票数 0
我是airflow的新手，我想安排一个任务，让来自不同数据库记录计数的两个表必须检查它是否匹配。一个来源是GCP，另一个是Salesforce。所以我找到了BigQueryOperator来点击GCP端的查询并返回计数结果，但是我找不到任何看起来像SalesforceQueryOperator的运算符，我可以在气流任务中分配它。所以基本上，我说的
浏览 7提问于2021-02-12得票数 1
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProject,https:/
浏览 4提问于2018-08-09得票数 2
回答已采纳
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
我正在使用Airflow中的BigQueryCheckOperator来了解BQ表中是否存在数据，但Dag使用此ERROR - <HttpError 404 when requesting https://bigquery.googleapis.com/bigquery/v2/projects/失败
有人能告诉我如何解决这个问题吗？
浏览 0提问于2020-07-30得票数 0
我有一个简单的DAGfrom airflow.contrib.operators.bigquery_operator import BigQueryOperatorCREATE_IF_NEEDED', start >> bq_query >> end
执行bq_query任务时，SQL查询将
浏览 2提问于2018-05-24得票数 6
1回答
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
bigquery_to_gcs OperatorBashOperator:执行Cloud在Composer.Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与<em
浏览 2提问于2019-09-30得票数 0
回答已采纳
我试着用气流从BigQueryOperator中获取结果，但是我找不到方法去做。我尝试在next()成员(在1.10中可用)中调用bq_cursor方法，但是它返回None。我就是这么做的import logging
from airflow.contrib.operators importbigquery_operator
from airflow</e
浏览 0提问于2018-11-30得票数 5
回答已采纳
我正在创建一个数据管道，通过BigQuery运算符或谷歌云库从Bigquery获取数据。但是我总是得到一个错误。下面是大查询运算符的dag：from datetime import datetime, timedelta
from airflow.contrib.operators.bigquery_operato
浏览 13提问于2021-05-13得票数 0
1回答
我的下游气流BigQuery任务依赖于其他表(日期分区)中的特定分区。我知道BigQueryTableSensor操作符，它检查表是否存在。有没有一种简单的方法来检查该表中是否存在特定的分区？实际上，运算符应该等到这些分区存在后才能成功退出。
浏览 2提问于2020-08-17得票数 0
回答已采纳
2回答
我使用BigQuery SQL创建了一个数据管道。首先从云存储中导入CSV文件，然后进行不同的分析，包括利用BigQueryML地理函数进行预测建模和利用解析函数进行KPI计算。我能够成功地手动运行不同的查询，现在我想要自动化数据管道。
我的第一个选择是DataFlow SQL，但事实证明Dataflow SQL查询语法不支持地理函数。DataFlow python不是一种选择，因为完整的分析是用SQL完成的
浏览 3提问于2020-04-21得票数 2
回答已采纳
我在Google BigQuery上有大量的数据(几百千兆)，为了便于使用(许多查询后处理)，我使用了bigquery python包。问题是，每当我关闭笔记本电脑时，我必须再次运行所有查询，这是非常昂贵的，因为我的数据集大约是1Tera。我想到了Google Compute Engine，但这是一个糟糕的解决方案，因为如果我不停止它们，我仍然会为我的机器买单。我的最后一个解决方案
浏览 0提问于2018-08-06得票数 3
我正在尝试运行一个简单的select查询(从biqquery)，并使用Composer将结果集加载到另一个bq表中。然而，我在代码的最后一行得到了一个错误。损坏的DAG: /home/airflow/gcs/dags/es_tc_etl_wkf_mtly.py无效语法(es_tc_etl_wkf_mtly.py，第47行)import <e
浏览 1提问于2021-04-09得票数 0
在airflow中，我想将文件从GCS加载到现有的BigQuery表中。有一个操作符执行该GoogleCloudStorageToBigQueryOperator，它似乎每次都会创建一个新表。如果我指定了一个现有的表，它会抛出一个错误。如何配置它才能加载到现有的表中？
浏览 21提问于2020-04-27得票数 0
回答已采纳
我通过Airflow运算符在Postgres中执行了一个计划查询，以便从另一个表中插入一些聚合：SELECT ...FROM table2SELECT count(*)这些查询是同步<em
浏览 6提问于2020-05-19得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
