目前尚不支持非分区表和基于字段的分区表上的BigQuery、通配符

文章/答案/技术大牛

发布

1回答

google-bigquery

我正尝试在Bigquery上使用standardSQL运行一个带有通配符的简单查询。totals.visits) AS sessionsWHERE _TABLE_SUFFIX BETWEEN '20150518' AND '20210406' GROUP BY 1 我的分片数据集自所以今天的表将是'dataset_20150518‘。错误是：“尚不支持非分区表

浏览 12提问于2021-04-07得票数 1

回答已采纳

1回答

Bigquery -在dataset中选择所有表和分区

google-bigquery、wildcard

我要选择数据集中的所有数据。我知道我可以用通配符。但问题是数据集中有一个分区表data_2021_05_04 <- partition tabledata_2021_05_06 <- normal table如果我使用select * from dataset.data_*，它将返回不支持非分区表和基于<

浏览 3提问于2021-05-21得票数 0

2回答

bigquery -自定义字段上的分区-只适用于standardSQL？

google-bigquery、partitioning、legacy-sql

我刚刚看到我可以在custom partitioned中创建一个BigQuery表。意思是由任何timestamp列进行分区。 

浏览 0提问于2018-02-15得票数 1

回答已采纳

2回答

我们有一个日期分区表，其中包含5年(每天递增的负载)数据，运行到数百万条记录。为了提高性能，考虑根据非日期字段(Id)拆分表，因为所有查询都将包含该列(Id)上的where子句。并且用日期分区对每个拆分表进行分区，这样我们就可以在具有日期范围的较小的数据集上进行查询。我们将不会使用通配符表，因为我们将知道id，并计划将其附加到表中，并对该特定表运行查询。需要知道这是否是提高性能和降低查询成本的好选择

浏览 0提问于2019-05-20得票数 0

2回答

是否使用特定的时间戳列将CSV导入BigQuery上的已分区表？

google-bigquery

我想要将一个大型csv导入到一个bigquery分区表中，该表具有一个timestamp类型的列，该列实际上是某个事务的日期，问题是当我加载数据时，它会将所有内容都导入到今天日期的一个分区中。是否可以使用我自己的时间戳值对其进行分区？我怎么能做到这一点。

浏览 0提问于2016-07-05得票数 1

1回答

BigQuery:将日期分区表更改为摄取时间分区表

google-bigquery

我有一个BigQuery 日期分区表，我想将该表转换为摄取时间分区表(在_PARTITIONTIME上进行分区)，使用当前的日期分区将其输入_PARTITIONTIME。我该怎么做？为什么？，因为只有摄入分区表才能增量加载到使用BigQuery的预定查询功能(通过使用@rundate参数作为分区装饰器)

浏览 3提问于2018-10-17得票数 2

2回答

BigQuery导出sql正在切分小查询结果。

csv、google-bigquery、export

在目标分区中，我有一个小于600MB数据的分区表。这不是一个大的查询结果。我是GZIPing的结果，所以连接将涉及到解压，附加和拉链再次.

浏览 5提问于2021-10-06得票数 3

回答已采纳

3回答

日表上的Wilcard与时间划分

google-bigquery

我试图理解大查询(例如请求的成本或可能性)在以下几个方面是否存在差异：创建一个时间分区表(我的表每天都有时间分区)。

浏览 1提问于2018-02-06得票数 6

回答已采纳

1回答

如何在BigQuery中查询分区表

google-bigquery

我只是在读BigQuery上的分区表，却找不到最佳实践部分。TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 * 24 HOUR),DAY)基于这个这与通配符查询有何不同？

浏览 6提问于2017-01-23得票数 1

回答已采纳

1回答

按周创建时间分区

java、google-bigquery、partitioning

我正在尝试构建分区的大查询表，以前它是使用时间分区类型DAY构建的，但我想将它更改为week，我只是将Day更改为WEEEk，但得到了编译错误： symbol:variable WEEk所用的守则： TimePartitioning.newBuilderTableInfo tableInfo = TableInfo.of(tableId, table

浏览 6提问于2022-03-16得票数 1

1回答

删除BigQuery云控制台中的表

google-bigquery

我试图从Bigquery表中删除数据，并面临挑战。目前，每次只有一个日期分区表被删除/删除。基于对google的一些研究和文档，我知道我需要使用DML操作。下面是我用来删除的命令，但它不起作用2.液滴表bigquery-project.dataset1.table1_*； 3.从bigquery-project.dataset1.table1_

浏览 0提问于2021-11-19得票数 0

1回答

sql server分区表相关索引

partitioning、sql-server-2017

我有一张大桌子，里面有大约3B的记录。本表包含3个索引： 分区表的概念是明确的我能保留同样的

浏览 1提问于2019-01-23得票数 0

2回答

可以从Google BigQuery中的分区表中删除列吗？

google-cloud-platform、google-bigquery

我试图使用以下命令从BigQuery中的分区表中删除列其结果是删除不需要的列，更改架构，但不再对数据进行分区。对于删除列后如何保持数据分区有任何建议吗？仅对于非分区表，文档是透明的。

浏览 1提问于2018-02-16得票数 0

回答已采纳

1回答

可以在BigQuery中划分嵌套表吗？

google-bigquery、partitioning、denormalization

我目前正在将数据仓库迁移到BigQuery中。我一直试图去美化数据库，因为我已经读到它可以带来更高效、更便宜的查询。然而，这导致了许多嵌套表。如果每个嵌套表都有一个列"created_at“和"last_modified_at"，那么是否可以使用这些值中的任何一个来对表进行分区？

浏览 3提问于2021-12-02得票数 1

回答已采纳

2回答

使用SQL或web在bigquery中创建带有日期后缀的分区表

google-bigquery

我想创建这样的桌子：(SELECT columns, columns, date_col)我希望它使用表后缀: sometable$date_partition中的日期进行分区。web显示这样的错误“缺少参数日期的参数”。能给我举个简单的例子吗？

浏览 2提问于2020-05-29得票数 0

5回答

BigQuery表的索引

cloud、google-bigquery

我有一个用例，其中我们在BigQuery中有几个表。现在，我想在BigQuery表中的一个列上实现一个索引。但我找不到足够的文件来做这件事。我发现一些博客和帖子提到BigQuery不支持索引。请帮我找到一个博客或帖子，可以帮助我在BigQuery上实现索引。提前谢谢。

浏览 3提问于2015-02-19得票数 18

回答已采纳

1回答

数据流作业:未能将列分区表复制到列分区元表:不支持

google-bigquery

我有一个Apache项目，它使用运行程序来处理存储在BigQuery中的相当多的数据。该流程读取1个主表，并使用3种不同的侧流。对于输入数据集中的每一行，我们计算一个“label”，它生成5个不同的输出流。我们读取的主BigQuery表为60 2GB，3条侧流分别为2GB、51 2GB和110 2GB。当我在数据子集(100万行)上运行此作业时，该作业按预期工作，但当我在完整数据集(1.77亿行)上

浏览 1提问于2018-08-13得票数 0

3回答

如何在GBQ中创建日期分区表？你会用蟒蛇吗？

python、google-bigquery

我有100多万条数据记录，我希望通过去标记字段，然后输入到日期分区的GBQ表中来进行转换。日期可以追溯到2001年。我本来希望我可以用Python来转换它，然后从脚本中直接使用GBQ来完成这个任务，但是在阅读了这个，特别是之后，创建日期分区表似乎不那么直接。我在找一只方向正确的牛。下面是我所做的实验：import osfrom google.cloud.bigq

浏览 7提问于2017-09-26得票数 3

回答已采纳

2回答

BigQuery群集表:如何创建多个集群

google-bigquery

我的BigQuery表通常使用"where“条件的不同组合在一个或更多个常见列之间进行查询，例如跨列A、B、C (不按顺序排列)。因此，我想分别为A、B和C列添加单独的集群。如何为BigQuery表创建多个集群？(类似于如何在传统的rdbms表上创建多个索引)

浏览 5提问于2020-05-26得票数 3

回答已采纳

3回答

在BigQuery表中可以每小时进行分区吗？

google-bigquery

但是，模型中有没有什么东西阻止人们用其他时间段(例如，小时或周)来填充表中的分区呢？将分区放在一个“小”表中有什么限制或缺点吗？

浏览 0提问于2017-01-12得票数 11

点击加载更多