有没有办法将这种BigQuery自联接改为使用窗口函数？

文章/答案/技术大牛

发布

2回答

sql、performance、google-bigquery、window-functions、self-join

假设我有一个BigQuery表" events“(实际上这是一个慢性子查询)，它按事件类型存储每天的事件计数。建议使用窗口函数而不是自连接。这里有什么方法可以做到这一点吗？如果每天都有一行，我可以使用LAG函数，但没有。我能以某种方式“填充”它吗？(不存在可能的事件类型的简短列表。我当然可以加入SELECT DISTINCT type FROM events，但这可能不会比自加入更快。)

浏览 21提问于2019-07-09得票数 0

回答已采纳

1回答

Google Bigquery:如何从web UI查询界面以编程方式创建表(保存结果)？

google-bigquery

我们通过一个似乎主要是Web查询/结果窗口的接口来使用BigQuery，我需要在那里运行一个查询来创建中间结果，然后对它们进行连接(逐步解决问题，因为BigQuery似乎不支持嵌套子查询(具有外部连接)或连接子句中的函数)。我可以在Web中执行此操作，方法是运行第一个查询(对于中间结果集)，从BigQuery UI的查询历史记录中获取临时表名，并对其运行第二个查询联接，或者将第一个查询的结果保存到UI中更持久的表名中。在查询中，有没有

浏览 1提问于2016-04-16得票数 1

2回答

查询超时6小时后，如何优化它？

google-bigquery、gis、cartesian-product

在最坏的情况下，查询可以生成66亿行，但在实践中不会发生这种情况。我估计每个形状通常相交可能50个网格方块，所以输出应该在65k * 50 = 3.3M行；没有什么是BigQuery无法处理的。我已经考虑过由BigQuery执行的BigQuery：检查一下。BigQuery使用以下标准SQL谓词函数为内部联接和交叉连接运算符实

浏览 5提问于2020-02-12得票数 2

回答已采纳

4回答

使用group BY计算分组百分比

google-bigquery

SELECT state, count(*)GROUP by state 在SQL中有几种方法可以做到这一点，但我还没有找到在Bigquery

浏览 384提问于2013-06-05得票数 15

回答已采纳

2回答

SQL Server 2008中用户定义的排名/分析函数

sql、sql-server、analytics、data-warehouse、user-defined-functions

我计划将数据仓库迁移到SQL Server2008，并尝试想办法在SQL Server2008中复制Oracle中的滞后、领先、FIRST_VALUE和LAST_VALUE分析函数。它们不包括在SQL Server2008中，尽管窗口化分析函数的基本机制是(例如，ROW_NUMBER、RANK和DENSE_RANK都存在)。对于这些函数，可以通过创建子查询来实现相同的功能，该子查询使用ROW_NUMBER为每一行分配一个编号，然后对该查询执行自

浏览 1提问于2009-11-16得票数 3

回答已采纳

1回答

回退到所有者描述模式下的CButton默认绘图

mfc

在这种情况下，我需要退回到默认的窗口按钮。有没有什么办法可以从启用了自绘按钮的DrawItem()中调用默认窗口按钮的绘图函数？ LRs

浏览 2提问于2011-07-16得票数 0

2回答

在BigQuery中的滚动窗口上使用NTILE函数(滚动入库/滚动分位数)

sql、google-bigquery

我的目标是在BigQuery中创建一个执行以下操作的查询：对于每一行，查看前24小时和之后24小时的窗口，并获得作为窗口中心的特定行的相关“存储桶号”(如在NTILE(5)函数中)。我可以在Python语言中使用pd.DataFrame.rolling.apply和一个定制函数来打包并返回值，但我想使用BigQuery来完成。我在组合NTILE函数和滚动窗口时遇到了问题。PRECEDING AND 86400 F

浏览 29提问于2021-08-26得票数 0

回答已采纳

1回答

如何在Bigquery中更改列模式

google-bigquery

我在bigquery表中有一个INTEGER类型的列，它和模式一样被设置为NULLABLE。有没有办法在bigquery中使用API、bq控制台或UI将字段模式从NULLABLE更改为0？我已经阅读了文档，它清楚地表明我们可以将模式从REQUIRED更改为NULLABLE。但是没有关于将其从NULLABLE更改为0的提示。表中已经存在我不想丢失的数据。如果我能做到这一点，请帮助我。

浏览 11提问于2020-09-28得票数 0

回答已采纳

4回答

用于28天滑动窗口聚合的BigQuery* SQL (无需编写28行SQL)*

sql、google-bigquery、sliding-window

我试图用滞后函数在BigQuery中计算一个28天的移动和。 user, FROM user_spend有没有办法做到这一点

浏览 3提问于2014-12-19得票数 15

回答已采纳

1回答

用于非结构化数据的BigQuery

bigdata、google-bigquery、data-analysis

我正在考虑使用BiqQuery进行数据(非结构化)分析的想法。我如何利用这种潜力来处理非结构化数据？根据我对BigQuery的理解，它对以关系形式表示的数据进行操作，这是向BigQuery提供数据时要遵循的结构。 有没有办法让BigQuery对非结构化数据进行操作，比如文档中包含的数据？(当然，不需要先处理文档，然后将输出提供给BigQuery</em

浏览 12提问于2014-09-09得票数 1

2回答

加窗平均数，计算差距

sql、google-bigquery、analytic-functions、rolling-average

在这种情况下，我的窗口函数应该回顾"4周“而不是"4行”。dates myTable AND myTable.id = things.id 这并不理想，因为myTable中有数以百计的列，而BigQuery在这方面的表现不太好。hist.date &

浏览 0提问于2018-07-26得票数 1

回答已采纳

1回答

如何在谷歌BigQuery中创建相似矩阵，如MATLAB中的pdist？

sql、matrix、google-bigquery、similarity、self-join

在MATLAB和Python中，有一个函数(pdist)，它将返回给定矩阵的每一行之间的成对距离。因此，对于BigQuery中的表： user2 | 0 3 |应该回来 user1 user2作为列的对也是可以接受的(我到目前为止估计的方法是使用一个自联接，但我不知道如何迭代所有列--例如，有~3000列)。有没有人找到谷歌BigQuery的解决方案？

浏览 2提问于2015-04-09得票数 0

回答已采纳

1回答

在BiqQuery extract_table中强制覆盖

google-bigquery

我使用的是BigQuery Python API。从查询创建表时，BiqQuery的JobConfig有一个选项可以设置 job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE但是，在使用extract_table将表导出到GCS时，我使用ExtractJobConfig进行配置。在这种情况下，有没有办法强制覆盖？

浏览 9提问于2019-12-31得票数 1

回答已采纳

1回答

具有动态架构的BigQueryIO.Write

google-cloud-dataflow

有没有可能创建指定返回表模式的函数的BigQueryIO.Write-like接收器(或者最好从端输入读取它)？SDK中有没有可能提供这种功能？;)

浏览 4提问于2016-10-18得票数 2

5回答

如何替换视图中的左联接以便我可以有一个索引视图？

sql、sql-server、view、indexed

当我试图在视图上创建聚集索引时，它不允许我这样做，因为视图是用左外部联接创建的。我使用左联接，因为我希望在结果视图中显示空值，就像在前面的文章中建议的那样。我在这里似乎遇到了困难，因为我无法将左联接转换为内部联接，因为这将排除任何联接列上所有带有空值的记录。我的问题是：

浏览 6提问于2011-06-25得票数 22

回答已采纳

1回答

在窗口分区中使用唯一()

google-bigquery

我目前正在尝试使用BigQuery返回窗口函数的特定分区内的所有非空值。因此，我假设这种直接的事情目前是不可能的。谢谢!

浏览 1提问于2016-10-13得票数 0

4回答

用最小日期检索行中的所有列？

mysql、sql、date、min

有没有办法解决这样的问题，而不使用自联接？使用min()函数的某种方式？ t1.c2 = t2.c2 AND这将为每个c1/c2对提供最早的条目，但是是否有一种方法可以使用min()并避免自联接？

浏览 9提问于2013-08-22得票数 1

回答已采纳

1回答

当查询包含多个where子句和聚合函数时，Oracle查询继续运行

sql、database、oracle

之所以会出现此问题，是因为下面的图像突出显示了具有聚合函数的最后一个where子句条件。你能帮我一下为什么会发生这种事吗？这是某种甲骨文限制吗？谢谢

浏览 1提问于2021-04-27得票数 0

1回答

TCP窗口大小libnids

tcp、libpcap

之所以使用libnids API，是因为它可以模拟Linux内核TCP功能。Libnids将返回hlf->count_new，它是自上次调用TCP回调函数以来的字节数。层应该接收TCP窗口缓冲区，而不是单独的TCP数据段。提前感谢！

浏览 1提问于2011-09-25得票数 1

回答已采纳

1回答

Python BigQuery客户端设置查询结果超时

google-bigquery

考虑以下脚本(改编自Google文档：)，它运行BigQuery查询，超时时间为30秒：当我使用google bigquery版本1.23.1运行它时，日志记录输出似乎表明"timeoutMs“是10秒。DEBUG:urllib3.connectionpool:https://bigq

浏览 5提问于2019-12-27得票数 2

回答已采纳

点击加载更多