当使用Firebase扩展“导出到BigQuery”时，导出是免费的还是作为流插入收费？

文章/答案/技术大牛

发布

1回答

firebase、google-bigquery

我想使用导出到BigQuery扩展，我想知道这个导出是否按“流插入”收费

浏览 4提问于2019-11-12得票数 2

回答已采纳

1回答

使用Firebase将集合导出到BigQuery扩展模块将Firestore数据以表格格式存储在BigQuery中

firebase、google-cloud-platform、google-cloud-firestore、google-bigquery、firebase-extensions

我正在尝试将现有数据和所有未来数据从Firestore数据库导出到BigQuery。问题是它没有我想要的表格格式的数据。我期望模式字段是集合属性。该表提供了以下模式：数据字段包含集合中每

浏览 3提问于2021-06-11得票数 2

2回答

从BigQuery连接到Cloud实例

google-bigquery

有一个选项可以将云mySQL实例从BigQuery连接起来。我只想知道如何将实例连接到BigQuery。

浏览 5提问于2020-01-13得票数 1

回答已采纳

4回答

将csv从gcs迁移到postgresql

python、postgresql、csv、google-cloud-platform、google-bigquery

我正在尝试使用python脚本将已经从BigQuery导出的csv文件从迁移到PostgreSQL Google实例。作为另一种选择，我可以使用psycopg2库并将csv文件的行流到SQL实例中。本质上，我在BigQuery中有一些原始数据，我们在导出到GCS之前对这些数据做了一些预处理，以准

浏览 2提问于2018-10-03得票数 6

回答已采纳

5回答

将数据从防火墙导入到bigQuery中

firebase、google-bigquery、google-cloud-firestore

我已将我的帐户升级为烈火，这是先决条件之一。我已经尝试遵循链接BigQuery到Firebase。仍然无法看到从消防站或消防基地-实时数据库到bigQuery的任何数据。我在bigQuery中看到了创建数据集的选项。但是，在创建dataset之后，它允许我从文件、云存储、bigQuery、google上传数据。但不是火药库数据库。请帮帮忙。

浏览 22提问于2017-11-16得票数 8

回答已采纳

2回答

云SQL转BigQuery的成本

google-cloud-platform、google-bigquery、google-cloud-sql

我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的</

浏览 2提问于2020-12-12得票数 0

1回答

不使用防火墙导出集合对BigQuery扩展进行分区的大查询表

google-cloud-firestore、google-bigquery

我使用Export Collections to BigQuery扩展和防火墙将数据导出到大型查询，我可以将数据导出到大型查询，但是即使在创建时配置扩展时已经启用了带有扩展的表，表也没有被分区

浏览 1提问于2021-03-22得票数 1

1回答

BigQuery导出CSV:我能控制输出分区吗？

google-bigquery

该语句将查询结果导出到GCS： uri='gs://<bucket>/<file_name>.*.csv', overwrite我似乎在BigQuery文档中找不到关于如何控制这个的任何信息。我可以将导出配置为单个文件吗？还是进入N个文件，每个文件最多100万行？还是N个文件最多50 to？

浏览 6提问于2021-12-23得票数 0

6回答

项目是链接的，而不是导出数据的。

firebase、google-analytics、google-bigquery、firebase-analytics

我已经将BigQuery集成到了我的firebase项目中。但是BigQuery的产品卡上显示着“项目是链接的，而不是导出数据的”。我正在使用BigQuery Sandbox自从我

浏览 23提问于2020-06-11得票数 4

3回答

如何保持Firebase数据库与BigQuery同步？

node.js、firebase、firebase-realtime-database、google-bigquery、google-cloud-functions

我们正在进行一个涉及大量数据的项目。现在我们最近读到了Google BigQuery的内容。但是我们如何将数据导出到这个平台呢？我们已经看到了将日志导入Google BigQuery的示例。但这不包含有关更新和删除数据的信息(仅插入数据)。所以我们的对象能够更新它们的数据。而且我们对BigQuery表的查询数量有限。如何在不超过BigQuery配额限制的

浏览 3提问于2017-04-06得票数 3

回答已采纳

1回答

提取Firebase* / BigQuery DAU、WAUs和MAU*

firebase、google-analytics、google-bigquery、firebase-analytics

我需要的结果是两方面的。我想为移动应用程序确定DAU、WAUs和MAU：( a) Google Analytics，以及b) Firebase Analytics。我的问题是： GA或Firebase对1,7,30天活跃用户的报告，据我所知，这与DAU/WAUs/MAU不同？还是看上去完全一样？这篇文章解释了另一种方法(我认为WAUs和7天活动用户不一定相同)，它使用自定义维度计算WAUs：目前，我的<

浏览 3提问于2017-01-11得票数 4

回答已采纳

2回答

可以下载整个大查询数据库吗？

google-bigquery

例如，是否可以下载整个bigquery-公共数据:芝加哥_出租车旅行？

浏览 5提问于2019-11-13得票数 0

回答已采纳

1回答

SSIS Excel目标为空

sql-server、excel、ssis、etl

我在通过SSIS将一个大型数据集(500k+)导出到Excel时遇到了问题，在那里输出文件将导出0行。在说我不应该把那么多记录导出到Excel之前，让我声明我知道，而且通常不会。使用Visual 2012 SSDT，下面是所涉及的组件。当包运行时，您可以看到从源流到目

浏览 1提问于2018-02-12得票数 0

2回答

无法将导出集合设置为BigQuery扩展。无法卸载:未能从服务帐户中删除IAM角色

firebase、google-cloud-firestore、google-bigquery、firebase-extensions

我试着将extension安装到BigQuery扩展，以便将防火墙收集数据发送到BigQuery。安装成功，但无法使查询工作。我现在有两个扩展实例，并尝试卸载失败，但出现了以下错误：未能从projects/myproject/instances/firestore-bigquery-export服务帐户中删除IAM角色有手动卸载的方法吗？有手动安装的方法吗？

浏览 3提问于2020-10-12得票数 0

2回答

BigQuery BQ.insert_rows_json和BQ.load_from_json？

python-3.x、google-bigquery、stream、google-cloud-functions、google-cloud-pubsub

我希望将数据流到BigQuery中，并且我正在考虑使用PubSub + Cloud函数，因为不需要进行转换(至少目前是这样)，而且使用云数据流似乎有点过分，只需将行插入到表中即可。我是对的？我的问题是：我是否需要将其作为json/ BigQuery (所有值都是字符串)推入到json/字典中，还是必须使用表的</em

浏览 10提问于2020-12-05得票数 1

回答已采纳

1回答

用数据流批量插入Bigquery

python、google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam

我正在使用apache管道，我想用python批量插入bigquery。我的数据来自Pub/Sub，它是无限的。作为我研究的结果，带有触发器的GlobalWindows应该可以解决我的问题。我尝试了我的管道窗口，但它仍然流insertion.My管道代码如下： p2 = (p | 'Read ' >> beam.io.ReadFromPubSub(subsc

浏览 0提问于2019-01-04得票数 4

1回答

Bigquery流插入，持久还是新的http连接在每个插入上？

ruby、google-bigquery、google-api-ruby-client

所以每当有请求的时候。它作为队列被推入 &然后一个新的工作人员试图插入到bigquery中。我认为这涉及在每次插入时打开到bigquery的新HTTPS连接。我设置的方式是:事件每1秒发布一次，或者当批处理大小达到1MB (1MB)时，以先发生者为准。这是针对每个工作人员的，因此Biquery可能通过多个HTTPS连接每秒接收数十个HTTP帖子。这是<em

浏览 0提问于2015-10-11得票数 0

回答已采纳

1回答

如何从颤振消防局获得计数和不同的字符串值？

firebase、flutter、google-cloud-firestore、charts

我正在通过UI上的单选按钮向它发送值。因此，这个字段只有一个字符串值，总共有4种可能性。UI-颜色，高度，宽度，风味恢复- field=类别，值=颜色或高度或宽度或风味如何创建独立的变量，捕获所有这些选项，然后对它们进行计数。帮帮忙，谢谢。我用的是颤振

浏览 0提问于2021-08-17得票数 1

回答已采纳

1回答

如何使用云函数将PubSub数据存储到大查询中？

google-cloud-firestore、google-bigquery、google-cloud-functions、google-cloud-sql、google-data-studio

我再一次请求你的帮助。为了在其中获取数据，我安装了Firebase扩展“到BigQuery的流集合”，以将数据发送到"BigQuery“。从那以后，我只需点击几个按钮就可以自动将数据从Big

浏览 2提问于2021-11-02得票数 0

回答已采纳

3回答

在Google平台上运行BigQuery查询的最佳位置是什么？

google-app-engine、google-cloud-platform、google-bigquery

我有一些文件，其中包含了我需要插入到Google BigQuery中的数千行，因此，由于执行时间超过了AppEngine中的60多个请求限制，所以我在一个任务队列中移动了BQ查询。目前，它的工作非常好，但我不知道这是否是最好的地方提出烧烤查询。我之所以这样说，是因为这些要求需要3分钟才能完成，我认为这有点慢。你认为有一个更快/更好的地方来查询烧烤吗？PS:我正在使用发送查询。

浏览 0提问于2018-05-11得票数 0

回答已采纳

点击加载更多