我在GCP composer上有一个每5分钟运行一次的Airflow DAG。我想创建一个BigQuery表，其中包含DAG开始运行的时间和一个标识它是成功运行还是失败运行的标志。例如，如果DAG在2020-03-23 02:30运行，但运行失败，则BigQuery表将具有time列2020-03-23 02:30和flag列1。如果运行成功，则表将具有time列2020-03-23 02:30和flag列0。该表将
浏览 23提问于2020-03-24得票数 0
回答已采纳
我们使用气流刷新我们的BigQuery表，每天/每周/每月。我遵循了这些解决方案
问题最近，我设置了一个外部Bigquery表，用于读取Google工作表中的一个选项卡。由于通行限制，我的气流DAG一直未能完成。我在气流连接范围中添加了以下内容：
此外，还将服务帐户的电子邮件地址添加到谷歌表格中，该表</e
浏览 2提问于2021-06-21得票数 7
我有一个气流DAG，它安排了一组BigQuery脚本(以及其他一些步骤)。我希望我的BigQuery表之一是基于一组可以很容易更改的Google输入。建立一个基于Google表的表是很容易的，但是如果我这样做的话，我的气流作业就会出错：
例外情况: BigQuery作业失败。，'message'：‘访问被拒绝: BigQuery</e
浏览 4提问于2021-02-19得票数 1
在Google BigQuery中，我使用气流触发负载作业。源文件由多个NDJSON文件组成。 autodetect=True,){
"c
浏览 8提问于2020-02-14得票数 0
我正在为分析团队开发数据目录，希望为他们提供气流作业信息的视图，包括dag id，执行，任务状态等存储到Bigquery表中，并暴露为仪表板视图。任何建议，我应该如何处理design.Should，我使用Airflow CLI或Bashoperator来创建文件并写入Bigquery。
谢谢
浏览 1提问于2021-06-01得票数 1
2回答
我试图使用气流在BigQuery中创建一个参数化查询。将在气流中设置的参数，并将更改在BigQuery中运行的查询中的值。例如，这是我的查询：
( destination_dataset_table='prod.table_resultWRITE_TRUNCATE’，allow_large_result
浏览 5提问于2020-12-02得票数 2
我想创建一个带有Airflow的BigQuery表(通过bigquery钩子或bigquery空表创建器)。不幸的是，不能使用范围分区来创建。Someone raised a PR，但为了最大限度地减少气流操作员界面，他们建议跳过它。他们给出了一个像这样的解决方案。我不清楚，在气流中，我如何使用范围划分相关的JSON。有人能给我
浏览 9提问于2020-10-28得票数 0
回答已采纳
我们使用GCP (气流管理)作为管弦乐工具，使用BigQuery作为DB。我需要从另一个表(位于bigquery中的两个表)将数据推入表中，但是方法应该被重新插入。因此，我编写了一个使用marge更新或插入的sql脚本。 marge脚本位于GCP编写器桶中，如何从存储桶读取sql脚本?读取sql文件后的，如何在bigquery ?上运行查询？
浏览 10提问于2022-03-17得票数 0
回答已采纳
我是新来的。我创建了下面的第一个守护程序，从google大查询表中选择数据&将其保存到pd数据中。需要以下建议
import pandas as pd
from airflow.contrib.operators import bigquery_operatorfrom #this will
浏览 4提问于2021-03-02得票数 0
我正在创建一个气流管道，其中我使用BigQueryOperator查询我的BigQuery表，并使用BigQueryToCloudStorageOperator将结果表导出为GCS。我需要将csv移动到mysql数据库，在那里它应该作为表存储在mysql数据库中。
我能得到任何关于如何实现这一点的建议或想法吗？谢谢!
浏览 1提问于2021-02-05得票数 0
我的情况如下：Google管理帐户A的BigQuery数据，并为Account A的云平台项目授予编辑器特权。帐户B在Google中有一个表，其中包含一些很酷的参考数据。帐户B登录到烧烤网络控制台，并创建一个表在Account A的BQ项目中，该项目由此表支持。
平安无事。这个服务帐户使用管理和查询BQ中的数据。当此服务帐户试图查询由
浏览 6提问于2016-11-02得票数 4
回答已采纳
我有一个气流DAG，它接受table用户的一个参数。 //OTHER CODE """
query_job = client.query(sql)
dataset和table都是通过
浏览 1提问于2022-03-24得票数 2
回答已采纳
我需要先从BigQuery读取来获取存储在特定表中的SQL字符串列表，然后循环遍历字符串数组，然后再次针对BigQuery运行以修复问题。对于运行这些SQL，我希望并行地运行它们，以加快速度。我的问题是，我知道如何从PythonOperator中的前面的操作符中获得结果，但是在PythonOperator调用的函数中初始化BigQueryExecuteQueryOperator不会将任务推送到气流中考虑到我使用的是<
浏览 17提问于2022-07-04得票数 0
回答已采纳
2回答
首先，我从生产数据库中使用MySQL查询获取所有数据，然后将这些数据作为NEW LINE DELIMITED JSON存储在Google云存储中，我想做的是：
所有这些都将安排在气流中。真正让我困惑的是数字2，我如何在Python中做到这一点？或者气流能自动做到这一点吗？
浏览 1提问于2019-03-26得票数 9
目前，我正在获得一个Querying tables partitioned on a field is not supported in Legacy SQL，如何使用Legacy查询分区表？
浏览 0提问于2018-12-11得票数 2
回答已采纳
我正在尝试查询表，并使用将结果存储在另一个BigQuery表中。但是，当我在查询部件中使用标准SQL时，它会引发无效的表名错误。如何在BigQuery API中使用标准SQL？我用的是气流BigQuery挂钩 'query': {
'destinationTable': {quer
浏览 1提问于2017-03-22得票数 7
回答已采纳
我试图使用一个气流任务将一个BigQuery表导出到，但是我得到了以下错误消息：这是我创建的气流任务"dataset_id&quo
浏览 9提问于2022-08-29得票数 0
回答已采纳
1回答
我想将有关DAGs执行状态的所有信息都审计到一个表BigQuery中，我想通过Dags中的python代码来实现这一点，因为已经编写的代码正在将数据加载到BigQuery表中(如下所示)。
浏览 2提问于2022-08-17得票数 0
1回答
它将在bigquery表加载后自动触发。我不想使用每周调度查询，这是手动任务，我希望这使它在将表加载到Bigquery表时自动触发调度。目前，我使用手动每周计划查询，我希望查询自动触发没有任何手动的东西。
我只是想考虑逻辑，但没有得到锦鲤。
浏览 10提问于2022-11-12得票数 0
1回答
我试图在google上的空气流编写器中执行以下DAG，并且一直得到相同的错误:未定义conn_id hard_coded_project_namefrom airflow.contrib.operators.bigquery_operatorimport BigQueryOperator
from airflow.
浏览 2提问于2021-11-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
