处理由BigQuery中未嵌套的记录引起的重复行的最佳实践？

文章/答案/技术大牛

发布

2回答

sql、google-bigquery、dbt

使用来自Facebook的数据经常涉及到使用记录，在我的例子中，所有“辛辣”的数据都在那里。然而，也有一个缺点，即大量的重复行，如果处理不当，可能会导致过度报告和/或数据差异。使用的技术- Facebook Data ->缝合-> BigQuery -> dbt ->谷歌数据工作室我通常会创建单独的模型，在其中我将取消嵌套一条记录</em

浏览 8提问于2020-09-18得票数 1

1回答

在大查询中合并嵌套列

google-bigquery

我们有一个包含嵌套列的表，并且我们希望始终检索给定唯一键的最新记录。该表将是一个2.5亿-3亿行的分区表。对包含1个嵌套列和重复值的表进行合并是最佳实践，还是继续插入到表中并检索给定键的最新记录是最佳实践？

浏览 16提问于2019-05-23得票数 0

1回答

嵌套的BigQuery历史作业上的JSON模式不完整？

google-bigquery

嵌套Json文件的BigQuery作业上的架构不会保留在导入作业上提交的原始架构。如果查看dataset下的表架构，它们将正确匹配。但是，如果您尝试在BigQuery网络界面的作业历史记录下重复加载作业，它只会显示架构的第一级，从而防止重新运行相同的作业。因为作业模式与表模式不同。Job上的示例模式未显示实际字段：标题:记录行

浏览 3提问于2013-06-22得票数 1

1回答

JSONL文件中的记录未作为记录上载到BigQuery

google-bigquery

我的头撞到墙上了。我有一个JSONL格式的长数据文件，正在上传到BigQuery。对于每个条目，都有一个文件信息的记录，称为“文件”。要注意的事情：，我检查了JSONL中的每一个“文件”条目，它们都是BigQuery应该识别为记录前的字典的全部列表。:"rec1.txt"}，{"rec1_name"："rec2.txt"

浏览 2提问于2020-11-11得票数 0

1回答

App Engine日志导入到大查询日志格式

google-app-engine、google-bigquery

我目前正在使用控制台中的内置streamer将我的App Engine日志流式传输到Big Query中。据我所知，您不允许定义任何函数来处理数据。打印JSON数据然后使用JSON函数-- --

浏览 0提问于2015-01-28得票数 1

1回答

我的JSON数据应该包含嵌套字段还是重复信息？

json、google-bigquery

我将将JSON文件中的数据导入到Google BigQuery中，并想知道嵌套字段和添加模式为“重复”的字段是否是最佳实践，以避免重复或保留重复信息以减少嵌套。保留重复信息的另一个原因是，据我所知，BigQuery对非规范化数据的工作效果最好。但是，我不确定这种去正规化是否应该在数据导入之后或之前进行。例如，假

浏览 2提问于2020-05-07得票数 1

1回答

BigQuery中记录类型与扁平表的查询性能

google-bigquery

我有一个包含"orders“和"order line”的表，它们以JSON的形式出现，在中以JSON的形式存储它非常简单。我可以运行一个进程将文件展平为行，但这是一种负担，而且会使BigQUery表变得更大。 BigQuery的最佳性能结构是什么？假设我对sum或products以及订单行中的销售额有疑问。记录列中“记录”(或

浏览 0提问于2012-11-02得票数 3

1回答

在BigQuery中挖掘多个嵌套字段

sql、google-bigquery

我试图使用BigQuery中的标准SQL方言来取消changelog.histories.items重复记录(绿色)的嵌套，以访问嵌套项表中的行(以蓝色表示)。父记录"changelog“(在红色中概述)不是重复的记录，因此我有一些问题，想要解开什么。试图取消嵌套changelog.

浏览 3提问于2018-10-25得票数 10

回答已采纳

1回答

根据BigQuery的重复记录中的字段计算聚合

sql、google-bigquery

inner_1": 0, }, "inner_1": 3, },} 上面你可以大致看到我的数据是什么样子的就BigQuery而言，inner是一个重复的记录。我想计算每一行的聚合(比如非空inner_1字段的总和)。一种想法是使用unnest(i

浏览 24提问于2021-08-25得票数 1

回答已采纳

7回答

记录最佳实践-日志方法调用还是在目标方法开始时记录？

logging、language-agnostic、coding-style

在函数调用之前(例如A)还是在目标方法的开头(示例B)？ ... ... 解决方案B:在方法的乞讨处登录data");} function outputDataToS

浏览 5提问于2013-04-19得票数 24

回答已采纳

1回答

Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。如果您想在Google BigQuery中获得tranco的结果，那么运行下面的查询。select * from `tranco.daily.daily` where domain ='google.com' limit 10 当我在public data

浏览 14提问于2022-05-02得票数 1

1回答

从BigQuery流API引发的常见503个错误

google-bigquery

由于以下错误，流到BigQuery中的数据不断失败，这种错误最近发生得更频繁： com.google.api.client.googleapis.json.GoogleJsonResponseException

浏览 1提问于2014-03-18得票数 2

2回答

使用BigQuery* API在嵌套记录中插入C#行*

c#、json、google-bigquery

我试图使用BigQuery API将一行(带有嵌套记录)插入到C#中。我能够使用JavaScript API插入一行(w/嵌套记录)。但是，使用JSON，我得到了一个错误：“重复字段必须作为JSON导入”。他是一个简单的行，我可以使用JavaScript API插入它。var json = {'rows':[{'json': {"inp

浏览 5提问于2015-01-28得票数 2

回答已采纳

2回答

BigQuery UNNEST导致重复的列名

sql、google-bigquery、unnest

我正在尝试创建一个视图，其中包括取消嵌套BigQuery中名为customers的表中的一些值。JSON格式的customers表的一行示例如下所示： { "created_date": "2020-12-20", "customer_purchases，其列与custome

浏览 18提问于2020-12-20得票数 0

回答已采纳

1回答

避免和删除bigquery中的重复项

google-app-engine、google-bigquery

我们已经开始使用bigquery来记录游戏中的事件。后端将处理这个队列并将事件上传到bigquery。我们今天添加了重试代码，它将再次尝试删除那些失败的删除。重复</em

浏览 4提问于2013-09-13得票数 3

1回答

BiqQuery中的一对多关系

google-bigquery、data-modeling

假设我有实体A、B和C，要在BigQuery中存储one-to-many关系。A -- (one to many) --> B --- (one to many) --> C 对于“常规”SQL数据库，我将根据A和C的主键在A和B中创建带有主键和外键的表B、A和C。它对BigQuery有用吗？是否最好将该结构去奥马尔化，并将所有A、B和C存储在一个表中？

浏览 1提问于2018-05-22得票数 4

回答已采纳

1回答

在Big Query中将重复记录取消嵌套到单行

google-bigquery

我有一个包含重复记录的数据集。当我对它们进行解套时，我得到了2行。每个嵌套记录1个。在取消嵌套原始数据之前： ? 使用以下查询取消嵌套后： SELECT participant.id `public.table`, UNNEST(people) AS participant这实际上是2行，扩展到4行。我一直在尝试解套到单行中，所以我有3列， event

浏览 20提问于2021-11-19得票数 0

回答已采纳

1回答

如果表具有重复的记录列，而该列本身包含许多重复的记录列，则取消嵌套和选择列的最佳方法

google-bigquery

假设我有一个XML数据保存在Bigquery表中，所以大查询结构可能是一些普通的原子列，然后是重复记录列，在记录列中是一些原子列和新的重复记录列，这是针对许多列的。现在我想知道取消嵌套的最佳方法，主要是当我们需要来自每一列的数据并对重复的列应用聚合(Sum)时。是重复产品<e

浏览 7提问于2019-02-14得票数 1

回答已采纳

3回答

PHP接口的最佳实践:我应该只记录接口吗？

php

我试图标准化PHP接口的文档。是否仅在接口中维护方法标头的最佳实践？param integer $iCount */} public function testMe ($sName, $iCount) {

浏览 3提问于2015-06-23得票数 4

回答已采纳

2回答

抛出异常的最佳实践

c#、.net、nlog

可能重复：对于日志记录，我使用的是NLog。下面是简单的代码：{ throw new Exception(ex.Message); }它不能给我一个好的日志信息。我需要一些信息，比如，函数，错误代码行。

浏览 4提问于2012-10-03得票数 0

回答已采纳

点击加载更多