如何在bigquery中使用记录、结构和数组而不将其扁平化

文章/答案/技术大牛

发布

1回答

访问BigQuery记录-在Tableau中重复

google-bigquery、tableau-api

我有一个BigQuery表，它的记录类型和模式都是重复的。我必须在Tableau查询和使用这个表。在BigQuery中使用UNNEST或FLATTEN将执行表的交叉连接，这将影响性能。在Tableau中是否有其他方法使用此表而不将其扁平化。已经张贴了下面的表模式图像链接。

浏览 9提问于2017-01-25得票数 2

回答已采纳

1回答

sql、arrays、struct、google-bigquery、record

"mode": "NULLABLE", "type": "RECORD" ] 我只想在每个字段中强制转换数据，但保留结构。我带来的是这样的，但它使我的表变得扁平，或者更确切地说，记录变得可空而不是重复，我不知道如何重新排列它们： select ARRAY( SELECT

浏览 13提问于2021-03-19得票数 0

回答已采纳

2回答

数据仓库设计(BigQuery)，加载到独立于事实表的维度表中

database、google-cloud-platform、data-warehouse

我想设计一个数据仓库(Data )，其中包含一个事实表和二维表，其中数据集市考虑了一些缓慢变化的维度，并使用了代理键。数据将通过数据流从PubSub流流到BigQuery，因此一些维度数据可能会更早到达，需要在事实数据之前插入到维度表中。

浏览 14提问于2022-10-31得票数 0

2回答

BigQuery SQL:选择struct作为单个记录，而不是记录数组。

sql、google-bigquery

我希望在BigQuery标准SQL中创建一个作为select结果的记录。STRUCT( m.bar as barFROM mock_data m 我怎么能让foobar列是一个记录而不是一个记录数组？提前谢谢！

浏览 0提问于2022-03-31得票数 0

回答已采纳

1回答

如何在bigquery标准sql中扁平化结构？

google-bigquery

使用下面的标准sql查询，我可以在BigQuery中返回一个结构表，其中包含来自a和b的所有字段。SELECT a, bJOIN second_table b结果表模式将以a作为记录，以b作为记录，其中a.field1、a.field2如果我将此表另存为a_join_b，然后在legacy_sql中查询它：FROM a_join_b它将扁平化

浏览 0提问于2017-08-24得票数 2

1回答

我有一个包含"orders“和"order line”的表，它们以JSON的形式出现，在中以JSON的形式存储它非常简单。我可以运行一个进程将文件展平为行，但这是一种负担，而且会使BigQUery表变得更大。 BigQuery的最佳性能结构是什么？假设我对sum或products以及订单行中的销售额有疑问。记录列中“记录”(或“订单行”)的数量的最佳实践是什么？它能容纳数千人吗?还是只针对少数人？假设我会像在基于文

浏览 0提问于2012-11-02得票数 3

2回答

将多维数组中的多维数组压平，但保留键？

php、arrays、laravel、laravel-5、multidimensional-array

> '1', 'line_1' => '10', ],如何在不丢失键的情况下将这个示例数组(或将其转换为集合)扁平化，我尝试过使用collection和flatten，但这会丢失键。

浏览 1提问于2019-03-08得票数 0

回答已采纳

1回答

spark java中的XML验证

java、xml、apache-spark

我们有一个3 3GB的XML，我们必须验证它，然后将其扁平化。我们希望使用Spark-Java来验证它和扁平化。展平的数据将被插入到配置单元表中。此外，验证应该抛出XML中的错误记录(这样我们就可以将相同的记录写回Kafka主题，以致源系统知道它)。坏的记录不应该存储在hive表中。客户端不建议使用基于com.databricks.spark.xml的展平。请帮帮

浏览 0提问于2016-09-28得票数 0

1回答

钛粉碎机

javascript、titanium、titanium-mobile

有什么特别的方法我必须使用这套设备吗？我试过了。SET SavedListSub = "ListArray"SET SavedListSub = 'ListArray' 以及下面给出的代码。

浏览 1提问于2014-10-24得票数 0

回答已采纳

1回答

CUDA中多维数组的构造

arrays、multidimensional-array、struct、cuda

我在内核中遇到了一些使用大型结构(包括1D、2D和3D数组)的问题，例如下面的示例： float data[N]; int map_a[N][M当然，x和y小于数组大小。但是，在map_a中使用相同结构编写的其他内核的工作方式与预期的一样。我怀疑多维数组中出现了错误的内存访问。所以很高兴有人能帮我解决一些关于CUDA结构中多

浏览 4提问于2020-06-01得票数 0

回答已采纳

1回答

BigQuery -在查询执行过程中超出了资源，允许大的结果集

google-bigquery

.* FLATTEN(FLATTEN([bigquery-public-data:github_repos.commits], repo_name), parent) (REGEXP_MATCH

浏览 4提问于2017-05-02得票数 1

回答已采纳

1回答

BigQuery NEST()返回“error :发生了内部错误”

google-bigquery

我试图在BigQuery UI (而不是API)中嵌套一个字段，并在尝试输出到表时不断地遇到错误，而不进行平坦处理：错误：发生内部错误，请求无法完成。我正在使用函数，我已经在公共莎士比亚数据集上尝试了这一点，并继续得到相同的错误。

浏览 2提问于2016-03-08得票数 5

回答已采纳

3回答

在bigquery上扁平化数组

sql、arrays、google-bigquery

我使用的是BigQuery，我有一个带有嵌套字段的表，为了能够下载该表，我需要将其扁平化。我找到了解释页()，但我没有完全理解它。start_position, end_position, reference_bases,FROM `PROJECT_ID.BIGQUERY_DATASET.BIGQUERY_TABLE

浏览 3提问于2020-05-16得票数 1

回答已采纳

1回答

将数组文件加载到大查询

node.js、google-apps-script、google-bigquery、google-cloud-storage

我正在寻找以这种格式将以下数组上传到大查询表的有效方法：event_type: video_screenis_ready:选项A:将以下文件上传到Google存储，然后创建与此桶相关的表--由于文件格式不工作，Google无法解析Google中的数组。选项B:使用by后端(node.js)将文件结构更改为CSV并将其直接上传到Bigquery --由于延迟而</em

浏览 6提问于2020-11-27得票数 0

回答已采纳

1回答

在Bigquery中高效地解嵌套值？(选择/案例/其他？)

sql、google-bigquery

我目前正在使用BigQuery中的谷歌分析数据。目前，我必须在命中级别解压大量的自定义维度。理想情况下，我会尝试从数组中选择特定的索引/值，并返回一个扁平化的数据结构，以使报告更加友好。有没有更好、更有效的方法来实现这一点？我们的目标是生成一个查询，将过去两年中的数百万条记录展平。

浏览 12提问于2020-05-15得票数 1

1回答

BigQuery -嵌套重复记录的Get字段

sql、google-bigquery、unnest、array-agg

我正在使用BigQuery表，这些表可以有许多级别的嵌套重复记录字段，如本例所示。我需要对给定的表进行选择，只提取一些字段，忽略其他字段，最后，除了被忽略的字段之外，还有相同的结构。我认为我必须使用array_agg和unnest才能从重复记录字段中只获得所需的字段，但不知道如何做。在这个示例中，我只想保持DatiRighe和DatiRigheDettaglio作为结构，对于每个<

浏览 14提问于2022-07-19得票数 -1

1回答

Oracle和SQL Server是否属于这些数据库？

sql-server、database、oracle、teradata

Oracle和SQL Server是其中之一吗?如果MPP数据库是数据仓库，我们可以创建数据仓库架构吗？

浏览 16提问于2016-10-11得票数 0

1回答

如何将字符串值数组从Pandas写入

python、arrays、python-3.x、pandas、google-bigquery

该表有一个带有dtype对象的列，该列包含一个字符串值数组。I的目标是创建一个BQ表，该表维护嵌套的表结构，如下所示：和以下模式：所用代码：根本不提供

浏览 3提问于2020-03-06得票数 6

1回答

如何在Perl 6中编写` `intersperse`‘函数

list、raku、lazy-sequences

我在Perl 6中缺少的一件事是intersperse函数不扁平化或以任何方式影响元素的内部结构。如果输入列表作为惰性序列给出，则返回一个延迟序列，以便它可以用于无限序列，如intersperse 42, 1..Inf

浏览 4提问于2016-09-01得票数 7

回答已采纳

1回答

将XML和扁平化转换为JSON的最佳方法

c#、json、xml、xml-deserialization

<id>5</id> </bar></root> id: 5, }}{

浏览 2提问于2016-11-01得票数 0

点击加载更多

访问BigQuery记录-在Tableau中重复