使用google源驱动器创建表模式并在bigquery表中加载数据

文章/答案/技术大牛

发布

2回答

通过Apps脚本的大查询API --我在一个较大的表上得到一个错误，但是在一个较小的表上工作。通过应用程序脚本有大小限制吗？

google-apps-script、google-bigquery、quota

我正在使用Apps脚本向BigQuery发送查询var request = { query: 'SELECT * ' +

浏览 1提问于2020-07-09得票数 0

1回答

如何刷新google drive数据源- Google Big Query

google-bigquery

我有一个关于刷新google大查询表的问题，其中的数据源是google drive。如何使用此google驱动器文件刷新我的大型查询表？谢谢

浏览 4提问于2018-03-22得票数 1

2回答

BigQuery和Google之间的双向沟通？

google-sheets、google-bigquery

BigQuery和Google之间的双向沟通是可能的吗？换句话说，如果在Google中添加一行或修改条目，它将反映在BigQuery中相应的表中，反之亦然(没有模式更改)。

浏览 5提问于2020-10-29得票数 0

回答已采纳

2回答

google-bigquery

我正在创建表格使用谷歌驱动器作为源和谷歌工作表作为格式。请告诉我，我需要做什么才能将工作表的第一行作为表列名称，而不是数据</em

浏览 8提问于2019-11-15得票数 0

1回答

出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。任何关于设计<e

浏览 0提问于2021-03-06得票数 1

1回答

想要在(BigQuery)上设置镜像的写首选项

google-cloud-platform

请参阅“从图像”选项设置高级选项中不可用的写入首选项。

浏览 0提问于2020-09-08得票数 0

1回答

数据管道-从网络驱动器读取数据的最佳方法

apache-spark、google-cloud-platform、google-cloud-storage、google-cloud-dataproc、data-pipeline

源:位于共享驱动器中的CSV文件(在Prem服务器上)。使用安全组控制对此共享驱动器和文件夹的访问。期望:将CSV数据加载到Google BigQuery表中。是否可以在Dataproc集群上挂载网络驱动器并让spark应用程序从挂载中读取。或者，如果我将GCP服务帐户作为安全组和ssh的成员添加到网络驱动器中，它仍然会请求密

浏览 4提问于2022-10-09得票数 3

1回答

如何在Bigquery控制台中激活表格预览菜单？

google-bigquery

在此之前，我启动了BigQuery试用帐户，并使用带有Drive & CSV的源代码创建了示例表。当我单击上传的表时，它会显示像模式和详细信息这样的表信息。

浏览 2提问于2021-11-24得票数 0

回答已采纳

1回答

允许数据流读取指向驱动器的BigQuery表吗？

google-drive-api、google-bigquery、google-cloud-dataflow

BigQuery可以作为联邦源从Google读取。见。我希望能够将BigQuery中的表读入指向驱动文档的数据流管道。将BigQuery连接到驱动器中的文件非常好：但是，当我尝试将该表读入数据流管道时，我(可以理解)得到以下错误：没有合适的凭证找到进入谷歌驱动器。请与表所有者联系以获得帮助。results = pipeline.a

浏览 0提问于2016-06-16得票数 8

回答已采纳

1回答

Google BigQuery和Google Bigtable之间有什么关系？

google-cloud-platform、google-bigquery、google-cloud-bigtable

基于许多来源，我了解到(BigQuery和Bigtable)都被认为是用于数据和的2不同的解决方案。例如，写道，如果我们需要大量数据的统计数据(例如，和、平均值、计数)，我们可以将bigQuery看作一个数据存储。相反，BigTable可以像通常的NoSql存储一样考虑。另一方面，我读过，其中提到：从这个片段中，我了解到BigQuery是一个用于从任何地方查询的工具，而不是用于数据存储的工具。你能澄清一下吗？

浏览 2提问于2020-03-03得票数 0

回答已采纳

1回答

如何使用AppScript将google工作表持久化为BigQuery中的表

google-apps-script、google-sheets、google-bigquery

我希望使用App将BigQuery中的Google内容保存为一个表。这个解决方案工作得很好，但是我们必须创建一个新的表A，每次我们在<e

浏览 3提问于2021-10-13得票数 1

1回答

位于上的谷歌BigQuery表没有在Power中上市

google-bigquery、powerbi、google-cloud-bigtable

我在Google BigTable上创建了一个实例，并在Google BigQuery上创建了一个外部表，并创建了一个能够从BigTable获取记录的外部表。我试图在BigQuery Power桌面中创建一个数据源，但是外部表没有列出，但是在BigQuery上创建的表被列出了

浏览 1提问于2020-07-17得票数 2

1回答

使用fs.createWriteStream将JSON数据写入bigquery表时，作业或表错误上未指定模式

node.js、google-cloud-platform、google-bigquery、fs

代码基本上是bigquery API文档的精确副本： const { BigQuery } = require("@google-cloud/bigquery");const dataset = bigquery.dataset("firebase_test_data"); })

浏览 45提问于2021-10-28得票数 0

回答已采纳

1回答

通过pandas_gbq将联邦数据源读入云datalab时遇到的问题

google-sheets、google-drive-api、google-bigquery、google-cloud-datalab

我在google中有数据，我已经将其设置为一个google BigQuery联邦数据源(外部数据源)。我想使用pandas_gbq在云datalab中导入这些数据当我从同一个项目导入通常的(非联邦的) BigQuery表时，在datalab实例中，所有这些表都可以正常工作。然后，我还必须手动允许这些表访问我的项目用于访问<

浏览 2提问于2017-09-11得票数 4

1回答

应为类型“str”，而应为“_SpecialForm[str]”

python-3.x、google-cloud-platform、google-bigquery、bq

我正在尝试创建一个BQ表模式，如下面的page所示但是我得到了所有mode="REQUIRED"的编译错误除了bq模块之外，我没有看到任何需要导入的特殊内容。ADS_TO_REMOVE_TABLE_NAME, bigquery.SchemaField("add_id", "STRING", mode="R

浏览 80提问于2021-09-12得票数 0

回答已采纳

2回答

您是否可以在同一个API调用中填充BigQuery表并设置表列模式？

google-apps-script、google-api、google-bigquery

我正在使用Google通过BigQuery迁移数据，我遇到了一个问题，因为我用来执行WRITE_TRUNCATE加载的SQL会导致目标表被用NULLABLE的列模式而不是以前的REQUIRED模式重新创建试图在使用元数据修补程序加载数据后将模式更改为必需模式会导致错误，即使列不包含任何空值。为了解决这个问题，我考虑删除表

浏览 0提问于2019-01-10得票数 1

1回答

在Google* Bigquery -PERMISSION_DENIED中执行传输:未找到具有Google Drive作用域的OAuth令牌*

google-bigquery

我正在尝试谷歌BigQuery中新的“转账”功能。我正在使用选项：'Scheduled Query‘无法启动表'xxx‘的作业，错误为PERMISSION_DENIED:拒绝访问: BigQuery BigQuery:

浏览 1提问于2018-05-23得票数 1

2回答

将CSV文件从Google加载到BigQuery

csv、google-drive-api、google-bigquery、google-cloud-storage

我希望将Google中的CSV数据完全下载到Bigquery中，就像它中的原生表一样。但是，当我想上传数据时，表类型选项不可用，我别无选择，只能使用“外部表”选项。这真的很不方便，因为我将来得到的数据量对于驱动器存储来说将变得太重要了。我的问题是:是否可以将CSV文件从驱动器加载到BigQuery作为本机<em

浏览 1提问于2018-04-27得票数 3

回答已采纳

1回答

将数据从Oracle自动加载到Google BigQuery

oracle、google-bigquery

日安，有没有一种将数据自动加载到谷歌BigQuery的方法，每24小时一次？我真的需要一些想法，我读了很多文章没有运气。

浏览 2提问于2018-03-08得票数 4

回答已采纳

1回答

Google BigQuery：“发生了一个内部错误.”基本查询期间

google-bigquery

我遵循了一个非常基本的设置，将数据加载到BigQuery中，到目前为止，似乎每个查询都失败了，出现了“内部错误，请求无法完成”。下面是我使用的过程： 1475159092288, 112194, 112196 1475159091885, 112195, 112196 1475159091776, 112195, 112198 1475159091689, 112195, 112196 将CSV上传到Google驱动器<

浏览 2提问于2016-12-19得票数 0

点击加载更多

通过Apps脚本的大查询API --我在一个较大的表上得到一个错误，但是在一个较小的表上工作。通过应用程序脚本有大小限制吗？

如何刷新google drive数据源- Google Big Query

BigQuery和Google之间的双向沟通？