在BigQuery Clould中使用非默认工作表从谷歌工作表创建外部表

文章/答案/技术大牛

发布

1回答

google-sheets、google-bigquery

我正在从GoogleSheets电子表格的第二个选项卡创建一个BQ表。首先，我创建表定义文件，如下所示： bq mkdef \--source_format=source_format \path_to_schema_file> /tmp/mytable_def.json 然后，我手动修改mytable_def.json，以指示应该从第二个选项卡创建表： &q

浏览 15提问于2020-10-30得票数 0

回答已采纳

1回答

如何在BigQuery Clould中从谷歌工作表创建外部表时选择默认工作表(第一个工作表)以外的工作表？

google-sheets、google-cloud-platform、google-bigquery、external-tables、google-cloud-shell

我从BigQuery Cloud Shell中的Google Sheet链接创建了一个表定义文件，然后使用该表定义文件创建了一个外部表。Google sheet工作簿有多个工作表，但默认情况下，它基于第一个工作表创建外部表。我也想从其他工作

浏览 27提问于2020-02-20得票数 1

回答已采纳

2回答

通过Apps脚本的大查询API --我在一个较大的表上得到一个错误，但是在一个较小的表上工作。通过应用程序脚本有大小限制吗？

google-apps-script、google-bigquery、quota

我正在使用Apps脚本向BigQuery发送查询var request = { 'FROM bigquerytest-282720.testDataSet.smallTable(第35行，文件“

浏览 1提问于2020-07-09得票数 0

1回答

BigQuery CSV上传中出现双引号数据错误

google-apps-script、google-bigquery

将数据从Google Sheets上传到BigQuery时，"comments“字段包含如下数据function pushToBQ(projectId, datasetId, tableIdcsvdata += "\r\n"; BigQuery.Jobs.insert

浏览 0提问于2018-09-27得票数 0

2回答

如何将Google中的数据附加到BigQuery中？

google-bigquery

每天我都会把一些数据放到谷歌的表格中，今天的数据覆盖了昨天的数据。我根据这个Google创建了一个BigQuery表--初始连接工作，来自工作表的数据可以在BigQuery中正确查询。Q：明天谷歌表格中的数据将被覆盖。如何将中的日常数据从Google附加到BigQuery中，这样，我就可以像归档一样连续地<e

浏览 10提问于2022-05-30得票数 0

1回答

应用程序从BigQuery获取大量引文数据

sql、google-bigquery、google-patent-search

在一个Excel文档中有成千上万个像CN201510747352这样的数字。

浏览 2提问于2018-11-27得票数 0

2回答

如何在将文件从google drive导入bigquery时指定工作表

google-drive-api、google-bigquery

当我通过从google驱动器中的excel文件导入数据来在bigquery中创建一个新的表时，我无法指定我想要的数据来源的工作表。我已经来过这里了：有没有人遇到过同样的问题，你是怎么解决的？谢谢!

浏览 0提问于2018-03-02得票数 1

1回答

Cloud Composer中的限速API请求

google-cloud-platform、google-cloud-datastore、google-cloud-dataflow、google-cloud-composer

我正在计划一个项目，在这个项目中，我将使用(速率限制的) Reddit API，并将数据存储在GCS和BigQuery中。最初，可以选择Cloud Functions，但我必须创建一个Datastore实现来管理cron作业的请求和GAE的“伪”队列。在Dataflow中做每件事都没有意义，因为不建议进行外部请求(例如，访问Reddit API)并永久运行单个作业。我可以使用Cloud Composer从谷歌

浏览 1提问于2018-09-25得票数 0

1回答

将谷歌BigQuery表中的GCP数据加载到Snowflake

google-bigquery、snowflake-cloud-data-platform

我在谷歌BigQuery表/视图中有数据，在谷歌云存储存储桶中。我已经为这个存储桶创建了一个集成和外部阶段，并且可以在Snowflake中查看存储桶中的文件。现在如何将数据从谷歌BigQuery表加载到Snowflake表中？

浏览 13提问于2020-05-02得票数 0

1回答

如何使用GCP转换API在BigQuery中处理表？

google-cloud-platform、google-bigquery、translation

我的BigQuery中有一个表，如下所示いい天気です Inoue... ...我想使用GCP翻译API将article_title列翻译成英语，并将表转换为以下内容Good weather Inoue Mt.

浏览 6提问于2021-01-25得票数 0

回答已采纳

1回答

可以使用BigQuery在Bigtable之上运行吗？

google-bigquery、bigtable

我需要在Bigtable的基础上运行BigQuery，而不是作为导出。我发现的信息表明，它是在测试版，但只是作为一个导出功能。我想在不导出的情况下针对Bigtable数据运行BigQuery。重要的是，通过执行时间点导出，在实时运行时不会丢失数据。

浏览 0提问于2018-11-07得票数 2

2回答

BigQuery：“bq”和“bq”的区别

google-cloud-platform、google-bigquery

我有一个云存储桶，大约有18个表的外部分区的蜂巢宴会厅。对于大多数拼板文件，shell For循环构建外部表定义文件，然后调用'bq‘，并从这些defs生成数据集中的表。这个失败的未完成的表可以用'bq load‘的形式稍后被带到BQ中。我想知道这些工具之间的区别是什么，以及一个工具在使用一个工具或另一个工具时会产生什么影响。

浏览 19提问于2022-08-30得票数 0

2回答

BigQuery和Google之间的双向沟通？

google-sheets、google-bigquery

BigQuery和Google之间的双向沟通是可能的吗？换句话说，如果在Google中添加一行或修改条目，它将反映在BigQuery中相应的表中，反之亦然(没有模式更改)。

浏览 5提问于2020-10-29得票数 0

回答已采纳

2回答

在BigQuery中，google源表更新的日志看起来如何？

google-sheets、logging、google-cloud-platform、google-bigquery、google-cloud-pubsub

我在BigQuery中有几个表，它们都来自Google表。当Google表被更新时，BigQuery中的表也会自动更新。我正在试图了解此事件的日志在操作日志中的样子。我的最终想法是创建这些日志的接收器，以便创建Pub/Sub，并根据这些事件运行预定的查询。谢谢

浏览 3提问于2021-12-19得票数 0

1回答

创建由一个/多个列分区的BigQuery外部表

google-bigquery、google-cloud-storage

我正在将一个java应用程序从Hadoop/Hive移植到Google /BigQuery。应用程序将avro文件写入hdfs，然后在文件之上创建一个/多个分区的Hive外部表。我们现在处理hive的方式是生成ddl，然后使用rest调用执行它。我在BigQuery docs中找不到对创建外部表的支持，所以我转而使用</em

浏览 0提问于2018-08-17得票数 0

回答已采纳

1回答

如何从CMEK (客户管理密钥)保护的BigQuery表中创建Tableau中的数据源？

google-cloud-platform、google-bigquery、tableau-api

我的GCP项目中有一个BigQuery数据集。此外，我还使用了Tableau online.tableau.com的云版本案例1-谷歌管理的密钥-好的，我可以从受谷歌管理的密钥保护的BigQuery表中创建一个数据源到Tableau中(默认选项)情况2- CMEK -失败我能够从CMEK保护的BigQuery表中创建<

浏览 39提问于2020-10-14得票数 0

1回答

在大查询驱动的Google连接的工作表列之间插入手动列的可能性

sql、google-bigquery

我试图通过连接的工作表在大查询生成的提取列之间插入一个手动列。基本上，我已经有一个Google连接表，它通过SQL从大型查询中提取出来。但是，每当我试图在查询生成的列之间插入手动列时，它就会自动将手动列移到右侧的末尾或左侧的末尾。我不想要这个。我希望能够在Google表中生成的大型查询列之间插入一个手动列。难道不可能这样做吗？

浏览 6提问于2022-08-26得票数 1

1回答

创建外部表的BigQuery* Node.js接口*

node.js、google-bigquery、google-cloud-storage、google-cloud-platform、google-cloud-functions

我正在尝试使用node.js应用程序接口从谷歌云函数创建一个外部表。该函数将从GCS存储桶的变化中触发。我可以创建本机表，但不能创建外部表。在用于导入的node.js api中，configuration.load元数据没有将其指定为外部表的设置。到目前为止，这是我创建本机表的代码。我的问题是

浏览 1提问于2017-03-21得票数 1

2回答

将BigQuery联邦表作为数据源在数据流中读取会引发一个错误

google-bigquery、google-cloud-dataflow

我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误： 1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator- Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYG

浏览 5提问于2016-03-24得票数 4

回答已采纳

1回答

bigQuery谷歌硬盘将多个工作表放在一个工作表中

google-sheets、google-drive-api、google-bigquery

我已经创建了3个谷歌云bigQuery表映射到3个工作表在一个单一的谷歌工作表。我已经根据3个工作表名称命名了这3个表，并且可以对这些表运行SQL查询。我的问题是，查询的结果总是显示电子表格中第一个工作表中的记录，而不是第二个或第三个工作表

浏览 18提问于2018-02-21得票数 1

回答已采纳

点击加载更多