如何收听添加到我的Cloud Firestore的新文档，并将此新数据附加到BigQuery表中？

文章/答案/技术大牛

发布

1回答

firebase、google-cloud-firestore、google-bigquery、google-cloud-functions、google-cloud-storage

我只想捕获添加到Firestore集合中的新文档。这些文档中还嵌套了一些子集。我的目标是为这些子集合中的每一个创建BigQuery表。目前，我每天都会完整导出Firestore，并将其加载到GCP存储桶中。然后，我通过云函数(策略: WRITE_TRUNCATE)从这些导出创建BigQuery表。我想对我<em

浏览 13提问于2020-06-23得票数 0

2回答

从firestore导入大查询

google-bigquery、google-cloud-firestore、database-backups

我正在考虑将BigQuery作为一个解决方案，但我不确定它在导入方面的功能(并且找不到文档)。我的问题是，每次导入是否会获得完整的数据集(本质上是复制当天未更改的任何数据)，或者我是否可以将其配置为只导入更新的字段？我是否必须编写完整的ETL

浏览 3提问于2018-12-01得票数 0

1回答

使用Cloud终端将修复数据库数据复制到Bigquery

firebase、google-cloud-firestore、google-bigquery、google-cloud-shell、google-cloud-shell-editor

有人知道我如何使用Cloud终端手动地将数据从Firestore数据库复制/传输到Bigquery吗？我过去就这样做过，但是我找不到我使用的文档/视频。我发现很多信息表明，一旦Bigquery连接到Firebase，它应该是自动的，但我的不是。当我在Cloud终端中运行代码从Firebase中提取数据时，集

浏览 4提问于2021-12-05得票数 0

1回答

使用运行时生成的集合设置Firestore安全规则

firebase、google-cloud-firestore、firebase-security

每当新用户注册到我的应用程序时，我的Firestore数据库都会创建一个新的Collection。集合的名称是新用户的用户名。我想让这个集合中的文档具有受限的写访问权限。service cloud.firestore { match /databases/{database}/documents

浏览 0提问于2018-07-17得票数 0

1回答

将firestore导出导入到Big Query时，我是否可以影响自动生成的模式

google-bigquery、google-cloud-firestore

我使用Google Cloud UI运行从Firestore到BigQuery的常规导入。我的其中一个集合包含具有可选字段的数据，并且这些字段通常不能在BigQuery中查询。我假设自动模式生成从firestore数据中提取一个样本来生成模式。这里的文档：https://cloud.google.com/bi

浏览 7提问于2019-04-25得票数 0

2回答

仅从消防局导出原始数据

firebase、google-cloud-firestore、google-bigquery

我愿意将我以前和将来所有的消防站文档作为表格格式导出到大查询中。示例:如果我在消防局中有一个User集合，如： "name": "Jon",} -----------------这并不是以上述格式导出数据；而是跟踪每个insert/update/delete事件。在dataset中手动创建一个表并从

浏览 5提问于2021-10-12得票数 1

回答已采纳

1回答

Python/Pandas/BigQuery:如何使用大量新的时间序列数据有效地更新现有表？

python、pandas、google-bigquery、google-cloud-platform、gsutil

我有一个程序可以从远程数据库下载时间序列(ts)数据，并将数据保存为csv文件。新ts数据被追加到旧ts数据。随着下载更多数据，我的本地文件夹继续增长和增长。下载新的ts数据并保存后，我想将其上传到Google BigQuery表中。做这件事最好的方法是什么？我当前的工作流程

浏览 2提问于2017-06-28得票数 0

回答已采纳

1回答

是否有方法将策略标记附加到Bigquery表？

python、google-bigquery、access-control

我一直试图使用GCP的Python库将策略标记附加到现有的BigQuery表，但似乎找不到一种方法。但我似乎不能贴上政策标签。我找到了，但我不确定tableID是在哪里指定的，或者如何使用此方法附加策略标记？提前感谢您的帮助！

浏览 19提问于2022-08-02得票数 0

1回答

使用Java将数据从谷歌云存储加载到BigQuery

google-app-engine、google-cloud-storage、google-bigquery

我想从Google Cloud Storage上传数据到BigQuery，但我找不到任何描述如何做到这一点的Java示例代码。有没有人能给我一些提示，告诉我怎么做？我真正想做的是将数据从Google App Engine表传输到BigQuery (并每天同步)，这样我就可以做一些分析了。我使用Google App Engine中的Google Cloud Stor

浏览 1提问于2012-05-20得票数 3

回答已采纳

3回答

如何在云函数存储触发器中获取经过身份验证的Firebase用户的uid

android、firebase、google-cloud-firestore、google-cloud-functions、firebase-storage

背景：我正在使用Firebase Cloud Functions、新的Firestore数据库和带有安卓客户端的存储桶。我想要完成的事情：当用户将图片上传到存储桶中时，我想使用云函数来获取存储桶中图像位置的文件路径/链接，并将此字符串作为新文档存储在名为"pictures“的新集合下，该集合位于Firestore</e

浏览 56提问于2018-07-05得票数 1

回答已采纳

5回答

将数据从防火墙导入到bigQuery中

firebase、google-bigquery、google-cloud-firestore

我已将我的帐户升级为烈火，这是先决条件之一。我已经尝试遵循链接BigQuery到Firebase。仍然无法看到从消防站或消防基地-实时数据库到bigQuery的任何数据。我在bigQuery中看到了创建数据集的选项。但是，在创建dataset之后，它允许我从文件、云存储、bigQuery、google上传数据。但不是火药库数据库。请帮帮忙。

浏览 22提问于2017-11-16得票数 8

回答已采纳

1回答

使用Python客户端将CSV追加到BigQuery表

python、python-3.x、google-bigquery、python-bigquery

我每周都有一个相同格式的新CSV文件，我需要使用Python客户端将其附加到BigQuery表中。我成功地使用第一个CSV创建了表，但是我不确定如何继续添加后续的CSV。我找到的唯一方法是google.cloud.bigquery.client.Client().insert_rows()方法。请参见接口链接here。这将要求我首先以字典列表的形

浏览 98提问于2019-09-09得票数 0

回答已采纳

5回答

XCode，Swift (域= NSPOSIXErrorDomain，代码= 22)

xcode、video、swift、resourcebundle

我的朋友带着一个小请求来找我，要求我创建一个视频组合应用程序。我认为这是一个很好的借口来尝试Swift，这就是我所做的。(该应用程序不打算在应用程序商店发布，只可通过Testflight发布)An error was encountered while running(Domain = NSPOSIXErrorDomain, Code = 22) 将带有.mp4视频文件的目录添加到我的项目"Bund

浏览 3提问于2014-09-14得票数 16

回答已采纳

1回答

在Dataflow SQL中将流数据与动态BigQuery表连接

google-bigquery、google-cloud-dataflow

我有一个Dataflow SQL作业，它将流PubSub与BigQuery表连接起来，并将结果写入BigQuery表。当我将一个新记录(新sales_region)添加到我的表'us_state_salesregions‘中时，新的sales_region在结果表中是不可见的。只有在创建新的<

浏览 8提问于2021-05-11得票数 0

1回答

如何创建一个表来查看最新的GCS Bucket文件？

google-bigquery

我正在尝试找出一种在数据集中创建表/视图的方法，以查看特定的GCS Bucket，并查看最新的文件，因为文件每天都会上载到GCS Bucket文件夹中。这可以使用通配符吗?或者最好的方法是什么？要做到这一点，有没有什么文档可以参考？提前感谢！梅基德

浏览 31提问于2021-10-13得票数 0

回答已采纳

1回答

只需将云SQL中的新数据导入BigQuery？

mysql、google-bigquery、google-cloud-sql

我的情况是：如何<

浏览 2提问于2020-08-18得票数 0

2回答

将CSV文件从Google加载到BigQuery

csv、google-drive-api、google-bigquery、google-cloud-storage

我希望将Google中的CSV数据完全下载到Bigquery中，就像它中的原生表一样。但是，当我想上传数据时，表类型选项不可用，我别无选择，只能使用“外部表”选项。这真的很不方便，因为我将来得到的数据量对于驱动器存储来说将变得太重要了。我的问题是:是否可以将CSV文件从驱动器加载到BigQuery作为本机表，还

浏览 1提问于2018-04-27得票数 3

回答已采纳

3回答

每当使用云函数添加新记录时，我是否可以将Firestore中的数据填充到Google Sheet中？

google-sheets、google-cloud-firestore、google-cloud-functions

我正在尝试建立这个应用程序，我计划将我的数据存储在Firestore数据库中。我的客户需要Google表格中的数据。我是否可以使用Cloud Function将Firestore中的记录直接填充到Google工作表中，并且无论何时将新记录添加到Firestore中</

浏览 36提问于2019-09-20得票数 1

1回答

向Google Cloud* SQL数据库添加列*

python、google-cloud-sql

这也可能是一个“如何在Alembic迁移中使用SSL证书”的问题，但无论哪种方式-我都找不出一种合理的方法来简单地编辑Google Cloud SQL表中的列。有针对BigQuery的文档，但没有针对基本MySQL实例的文档。对于记录，不合理的方法包括创建一个包含新列的新表，复制整个

浏览 14提问于2021-02-23得票数 0

3回答

带有默认值的附加列加载BIGQUERY文件

google-cloud-platform、google-bigquery

根据Google给出的例子，我按照指南(链接和代码)将CSV文件加载到BigQuery(BQ)表中。const {B

浏览 1提问于2020-12-07得票数 2

回答已采纳

点击加载更多