首先,我对Firebase和BigQuery...so相对来说有点幼稚.
背景
我正在做一个项目,在这个项目中,我们有许多不同的移动应用程序--每个国家一个,每个操作系统(iOS,Android) --所有原始事件数据都被推入生活在同一个项目中的BigQuery数据集中。按国家分列的不同应用程序背后的理由与监管要求有关。
出于仪表板的目的,我曾希望能够将所有数据集合并成一个聚合数据集(按年计算),该数据集按日期通过我添加的"partition_date“列进行分区。我的目标是利用使用BigQuery嵌套结构的能力,并维护原始Firebase表中的原始嵌套字段。
在过去的一个多月里,我一直在搜索,但是我没有遇到任何其他的用例,在这些用例中,人们正在处理许多数据集。
问题
COUNT_DISTINCT(user_dim.app_info.app_instance_id) )的能力。最终目标是授权任何用户(例如。一个不懂SQL的人能够回答所有应用程序的简单问题(例如。(昨天有多少用户打开了这个应用程序),并让最终用户使用仪表板界面中的日期范围过滤器。
我已经能够通过查询所有数据集来编写临时查询来获得答案,但我还没有找到一个好的解决方案,这将使仪表板内的非技术用户更加容易。
此外,这是我的第一次堆栈溢出question...please让我知道,如果我太含糊,包括太多的问题,或以其他方式滥用平台。
事先谢谢你的任何想法。
发布于 2018-04-04 08:18:18
如果您的最终目标是授权用户回答简单的问题,那么聚合KPI数据对我来说是有意义的。我可能会通过设置一个计划好的日常作业来处理这个问题,该作业从所有数据集中选择相关数据并将其加载到一个新的数据集中,然后可以在dataset中使用。新数据集可能具有默认的Firebase日期表后缀,以支持日期范围筛选器。
不过,我对BigQuery和Firebase还比较陌生,所以也许还有更好的方法。
您可以在BigQuery中找到有关调度的更多信息:Schedule query in BigQuery
https://stackoverflow.com/questions/49640449
复制相似问题