将多个标量bigquery查询组合到一个查询中以生成一个表

文章/答案/技术大牛

发布

2回答

google-bigquery

我有一个BiqQuery查询，它基本上接受一个日期作为参数，并计算出我们的应用程序在该日期附近的活跃用户数。现在，如果我想绘制一年的活跃用户图表，我必须运行查询12次(每月一次)，并手动整理结果，这很容易出错，而且很耗时。有没有办法让一个bigquery查询运行12次子查询，并将结果放在12个不同的行上？例如，如果我的查询是 SELECT COUNT(*) FROM MyTable WHERE activityTime < da

浏览 12提问于2017-07-11得票数 1

回答已采纳

1回答

在BigQuery中创建UDF

google-bigquery

我想在maxDate中创建一个名为BigQuery的UDF，它执行以下操作：从table_id中选择max( fact.

浏览 3提问于2016-03-24得票数 0

回答已采纳

1回答

加快从云SQL导入BigQuery查询作业的速度

google-cloud-platform、google-bigquery、google-cloud-sql

作为使用联邦查询将Cloud SQL表迁移到BigQuery的一部分，我正在执行一个查询，以生成一个大小约为1TB(几十亿行)的新BigQuery表。我使用SQL客户端提交查询作业，在查询中我从Cloud BigQuery数据库表中选择all并使用EXTERNAL_QUERY。我发现查询可能需

浏览 14提问于2021-01-06得票数 0

1回答

Bigquery标量子查询产生多个元素

sql、google-bigquery、scalar-subquery

我有一个标量子查询，它根据城市代码和州代码查找城市名称。有时子查询不返回匹配，这会导致错误：“标量子查询生成多个元素”。我验证了查找表中没有重复项(城市代码+州代码是唯一的)。consumerId, city_code,state_code) 如果没有匹配的city_name和state_id，我希望子查询返回当前

浏览 6提问于2022-07-27得票数 0

回答已采纳

1回答

导致错误的BigQuery搜索:标量子查询产生多个元素

sql、google-bigquery

在BigQuery上运行此查询，但导致此错误: error:标量子查询生成多个元素from CRM.organizations 当相似项是一个条目列表时，是否有可能查找类似的字符串？

浏览 6提问于2022-04-27得票数 0

1回答

子查询中具有2列或更多列的子查询/proc调用的t-sql select查询

tsql、subquery

我已经编写了一个相当复杂的t-sql查询(按照我的标准，因为我不是DBA)，其中包含一个更复杂的子查询，我将其抽象为一个标量函数来计算和检索单个值。显然，我可以将函数转换为proc以返回多个值(或者直接在主查询中声明子查询)，但是如何将它们作为单独的列整齐地放入父select查询中呢？我知道我可以做一些笨拙的事情，比如连接(逗号分隔)结果，或者使

浏览 3提问于2011-04-27得票数 1

回答已采纳

2回答

用BigQuery动态生成JSON

google-bigquery

BigQuery有一个TO_JSON_STRING()函数，它将SQL表达式的结果转换为json字符串。我试图找出如何将它与具有嵌套数组表示为BigQuery表中的一对多关系的数据结构一起使用。这是我正在尝试运行的查询： TO_JSON_STRING((SELECT s.skill_id FROM skills s WHERE s.account_id= a.account_id))我从BigQue

浏览 3提问于2021-06-25得票数 0

回答已采纳

1回答

如何允许join剔除大查询视图？

google-bigquery

我想确保在google大查询中使用视图时，不使用列的表的联接会被剔除/排除。Dim.Binner join _dim我想问一下from _view在SQL Server中，如果您创建了Foregin键关系，它将执行此操作。

浏览 0提问于2017-08-06得票数 0

2回答

子查询在组合两个不同的数据集时不返回数据

mysql、sql、oracle、oracle11g、google-bigquery

我正在尝试将两个不同的数据集与Google BigQuery上的子查询结合起来。FROM `bigquery-public-d

浏览 0提问于2018-04-18得票数 2

回答已采纳

2回答

具有语法的SQL 2

sql

我的教授正在教授sql 2，并在查询中使用了如下代码这样的语句：其中subselect类似于SELECT AVG(column) FROM这个子subselect只返回一个值，但我不知道如何将函数( sum)与子subselect进行比较。子选择应该返回一个表，对吗？那么，如何将表与值进行比较呢？这对我来说毫无意义。提前谢谢。

浏览 2提问于2017-12-04得票数 0

回答已采纳

1回答

帮助BigQuery更有效地并行化

google-bigquery

我正在尝试运行一个大型BigQuery查询(粘贴在下面)来生成一个新的派生表。源表有三个数组列，我想计算一个数组的中位数，另一个数组的模式，第三个数组的值计数值。源表有160k行，数组很大。查询不能在六个小时内完成。但是，如果我将查询拆分成多个查询，较小的查询会快得多。查询很简单，可以对源<

浏览 10提问于2021-01-18得票数 1

1回答

理解BigQuery中每个BY组的“查询执行期间超出的资源”

google-bigquery

我正在编写一个后台作业，以便在BigQuery中自动处理A/B测试数据，并且我发现，在执行大型按语句分组时，我正在点击“查询执行期间的资源超出”。我从中看到，减少组数可以使查询成功，所以我将数据分成更小的部分，但我仍然会碰到错误(尽管不太频繁)。如果能有更好的直觉来判断究竟是什么导致了这个错误，那就太好了。我是否正确地假设每个碎片跟踪了每一个组的1/n，并保留了每个组的组键和所有

浏览 2提问于2014-03-24得票数 11

回答已采纳

1回答

使用Google云数据流生成xml文件

xml、google-cloud-platform、google-cloud-dataflow

我正在进行一个项目，以生成包含将显示在Google上的数据的xml文件。是否可以使用Google生成xml文件？

浏览 1提问于2017-11-03得票数 0

回答已采纳

1回答

在一个HTTP快照中包装多个Azure表查询

c#、azure、azure-storage、azure-table-storage

我需要从不同的表中多次查询Azure表存储，然后将所有结果组合到输出HTTP页面。由于查询是不相关的，这意味着没有特定的顺序，所以我可以将所有查询包装在一个HTTP请求中以节省查询时间吗？我可以同时发送多个表查询吗？

浏览 2提问于2012-08-05得票数 0

回答已采纳

1回答

对于COUNT()函数，单行子查询返回多行错误。

oracle、count

我想弄明白为什么这会导致一个错误- union select 2 br

浏览 3提问于2014-04-18得票数 1

回答已采纳

1回答

BigQuery中与时区相关的问题(用于分区和查询)

google-cloud-platform、google-bigquery、google-data-studio

我们有一个竞选管理系统。我们在不同的渠道上创建和运行活动。当用户点击/访问任何Adv (作为活动的一部分)时，系统会生成日志。我们的系统托管在GCP中。使用‘Exports’将要素日志导出到BigQuery使用此日志表，我们需要每天<

浏览 0提问于2019-03-11得票数 4

2回答

谷歌BigQuery优化策略

google-analytics、google-bigquery

我是查询数据从谷歌分析溢价使用谷歌BigQuery。目前，我只有一个查询，用于计算一些指标(如总访问率或转换率)。此查询包含多个嵌套联接子句和嵌套选择。在查询一个表时，我得到了错误：使用和JOIN似乎解决不了这个问题。未来将采用的一种解决方案是只提取查询所需的相关数据，并将其导出到一个</e

浏览 3提问于2015-06-10得票数 2

回答已采纳

2回答

如何在通过Stitch导入的非复制BigQuery表的视图或计划查询之间进行选择？

google-bigquery、stitch

我构建了从存储在BigQuery表中的数据按需生成的统计输出。一些数据是每日通过缝纫导入使用“只附加”。这将导致导入表中的 (大约20 8kk行每年增长8 8kk)。我可以调度BigQuery查询，以便在清理过的表中存储重复的值，或构建视图也可以这样做，但我不理解在以下方面的权衡：使用BigQuery存储/运行预定查询和视图。依赖于重叠视图的后续查询</em

浏览 4提问于2020-07-22得票数 1

回答已采纳

1回答

BiqQuery:在没有查询底层表权限的情况下查询视图

google-cloud-platform、google-bigquery

我有一个表，它需要一个驱动器访问范围来查询。我想知道是否有一种方法可以创建一个不需要查询该权限的视图。

浏览 3提问于2022-02-15得票数 1

回答已采纳

1回答

在加载到Bigquery之前自动ETL数据

google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-dataflow

我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件名中获取日期和特定参数值)，但在摄取时无法将其添加到列中有什么建议吗？

浏览 0提问于2020-12-15得票数 0

点击加载更多