首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将BigQuery中的多个Firebase数据集聚合到单个数据集中

将BigQuery中的多个Firebase数据集聚合到单个数据集中
EN

Stack Overflow用户
提问于 2018-04-03 23:19:37
回答 1查看 472关注 0票数 1

首先,我对Firebase和BigQuery...so相对来说有点幼稚.

背景

我正在做一个项目,在这个项目中,我们有许多不同的移动应用程序--每个国家一个,每个操作系统(iOS,Android) --所有原始事件数据都被推入生活在同一个项目中的BigQuery数据集中。按国家分列的不同应用程序背后的理由与监管要求有关。

出于仪表板的目的,我曾希望能够将所有数据集合并成一个聚合数据集(按年计算),该数据集按日期通过我添加的"partition_date“列进行分区。我的目标是利用使用BigQuery嵌套结构的能力,并维护原始Firebase表中的原始嵌套字段。

在过去的一个多月里,我一直在搜索,但是我没有遇到任何其他的用例,在这些用例中,人们正在处理许多数据集。

问题

  • 采取这种方法(将所有数据集聚合到按日期划分的表中,以及基于应用程序名称的嵌套字段中)是否有意义?
  • 作为另一种选择--我尝试过去角色化表,使用date...though对表进行切分,结果的表(不足为奇)由于扁平嵌套结构而大得多,这使我认为这种方法不太理想。我真的应该考虑这个方法吗?
  • 我是否应该考虑制作一个相对简单的KPI汇总表?我避免了这种方法,因为它限制了我使用动态计算唯一用户的日期范围过滤器(在Data中使用COUNT_DISTINCT(user_dim.app_info.app_instance_id) )的能力。

最终目标是授权任何用户(例如。一个不懂SQL的人能够回答所有应用程序的简单问题(例如。(昨天有多少用户打开了这个应用程序),并让最终用户使用仪表板界面中的日期范围过滤器。

我已经能够通过查询所有数据集来编写临时查询来获得答案,但我还没有找到一个好的解决方案,这将使仪表板内的非技术用户更加容易。

此外,这是我的第一次堆栈溢出question...please让我知道,如果我太含糊,包括太多的问题,或以其他方式滥用平台。

事先谢谢你的任何想法。

EN

回答 1

Stack Overflow用户

发布于 2018-04-04 08:18:18

如果您的最终目标是授权用户回答简单的问题,那么聚合KPI数据对我来说是有意义的。我可能会通过设置一个计划好的日常作业来处理这个问题,该作业从所有数据集中选择相关数据并将其加载到一个新的数据集中,然后可以在dataset中使用。新数据集可能具有默认的Firebase日期表后缀,以支持日期范围筛选器。

不过,我对BigQuery和Firebase还比较陌生,所以也许还有更好的方法。

您可以在BigQuery中找到有关调度的更多信息:Schedule query in BigQuery

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49640449

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档