BigQuery:连接另一个表中最接近当前行时间的行中的所有列

文章/答案/技术大牛

发布

2回答

sql、google-bigquery

我有一个包含相当长的表的BigQuery数据库，其中包含IoT事件和遥测数据，我需要在其中找到与每个事件最接近的遥测数据点。由于(据我所知，与性能相关的) BigQuery子查询的限制，到目前为止，我还没有设法得到结果。我发现了另一个类似的问题(BigQuery: Join based on closest timestamp)，它有一个很有希望的答案(https:/&#

浏览 10提问于2019-12-18得票数 2

回答已采纳

1回答

excel在表格的特定行中查找最接近的值

excel-formula

我正在寻找一个公式，它给出了表中特定行中最接近的值，另一个公式给出了找到该值的列号。

浏览 0提问于2018-03-31得票数 0

2回答

按列值查询Bigtable

google-cloud-bigtable

有没有什么编程方法可以不使用rowkey直接查询列值来查询Bigtable？我假设我们可以在BigQuery上做为外部表，并通过应用程序接口扫描整个Bigtable并应用过滤器。但是有没有更好的方法呢？

浏览 21提问于2019-09-27得票数 2

回答已采纳

1回答

如何优化两个表之间的regexp_contains连接？

sql、google-bigquery

使用以下事实模式在BigQuery中工作：第二个小表有50条记录，字符串描述列是唯一的字段。本质上，我所使用的代码基于表1中的字符串描述将这两个表连接起来，方法是使用regexp_contains和第二个表。第一个表的</e

浏览 5提问于2022-10-17得票数 -1

1回答

数据流insertAll api的使用不等于实际插入的行

google-bigquery

我们使用google-php-client-api来将网站页面视图日志流到一个包含9列的表中。(由基本数据类型组成，如连接时间(时间戳行仅记录到表.我们不明白的是，在299 k成功请求之后，如何只将35K行插入到表<e

浏览 0提问于2015-07-26得票数 1

回答已采纳

2回答

GCP BigQuery显示“此脚本在运行时将处理2TB”，用于“限制10”的简单查询。

google-cloud-platform、google-bigquery

当我在GCP BigQuery中为大型分区表选择查询时，我还没有点击"Run“按钮，它告诉我”这个脚本在运行时将处理2TB。“ 我不知道为什么“限制10”查询仍有这么大的成本。

浏览 8提问于2022-04-05得票数 0

回答已采纳

1回答

使用最新行的BigQuery连接

sql、database、join、google-bigquery

我已经看到了这个问题的变体，但在StackOverflow上搜索了将近一个星期，现在尝试了各种解决方案，并且仍然在努力解决这个问题。非常感谢你抽出时间来考虑我的问题。我正在使用BigQuery进行GCP的一个研究项目。我的表result为1亿行事件，其中有一个与事件起源的会话相关的session_id列。我想加入到另一个具有大约4,000万行的<

浏览 3提问于2021-09-24得票数 0

1回答

交换BigQuery行

google-bigquery、google-cloud-platform

我一直试图从存储在桶中的BigQuery文件中创建一个.csv表。创建了表，并以正确的行数和列来加载数据，但是，由于某种原因，行在BigQuery中被交换。我尝试使用R连接器将数据从本地计算机推送到BigQuery，同样的问题也发生了。因此，当我选择* FROM时，它将显示BigQuery中的完整表，但

浏览 0提问于2017-11-03得票数 1

回答已采纳

1回答

如何基于小数列连接两个表？

sql、join、decimal

我发现了其他一些帖子，人们询问如何使用十进制来连接sql表，一般的答案是“尽量避免它”。但是这里有一个例子，我只需要使用某种连接(模糊连接？)关于十进制列：每个表还有一个列，表示从时间0开始的

浏览 5提问于2022-05-17得票数 -1

回答已采纳

1回答

什么是对行等效的bigquery内部联接？

sql、google-bigquery

我有以下两张表：我想创建一张桌子有两个表共有的列&#

浏览 5提问于2022-09-03得票数 -1

回答已采纳

1回答

我如何调用并同步插入API？

mysql、node.js、express、google-bigquery

我有一个cron，每半小时运行一次，从主数据库中提取最新的事务并输入到我的快速节点应用程序(我对节点非常陌生)，我要删除与传入事务的订单号匹配的旧事务，然后将最新的事务插入大的查询表中。在运行应用程序一天后，我在我的数据库中得到重复的事务。即使在检查日志之后，我也不会发现delete api在任何地方失败，也不知道副本是如何从哪里来的。我使用@google-cloud/<

浏览 0提问于2019-01-11得票数 0

1回答

记录每列和每一行上一次更新时间戳的MySQL最佳方法

mysql、update、timestamp、eav

这个问题是关于在表格中每一行的每一列上加盖时间戳的可能方法。1.为每一列创建额外的时间</

浏览 0提问于2020-07-17得票数 2

1回答

获取最新的时间戳值

sql、google-bigquery

我有一个管道，它从BigQuery表中读取数据，对数据执行一些处理，并将其保存到新的BigQuery表中。这是通过cron每周执行的批处理过程。源表中不断添加条目，因此我希望每当我启动ETL进程时，它都只处理自上次启动ETL作业以来添加的新行。为了实现这一点，我已经考虑对我的接收表进行查询，请求它包含的最新时间</em

浏览 27提问于2021-07-06得票数 0

回答已采纳

1回答

需要帮助为非DBA设计数据库

google-bigquery、google-cloud-storage

我正在使用谷歌的云存储& BigQuery。我不是一个DBA，我是一个程序员。我希望这个问题足够一般性，以帮助其他人。我们的数据分析要求每个记录都有一个时间戳。但是，在将源数据文件添加到云存储(4+ GB的文本数据/文件)之前，我们的</

浏览 1提问于2013-11-23得票数 0

回答已采纳

2回答

表上的多元最大化

algorithm、pseudocode、max、minimum

我正在寻找一种简单的实现算法，该算法可以找到表的行，该表在某一列上具有最大值。然后，它应该找到所有在特定列上具有接近最大值的值的行(这两个步骤可以合并吗？)然后，在选定的行中，我需要找到在另一列上具有最小值的行。奖励:如果有几个这样的条目，我需要在另一个列

浏览 9提问于2012-11-01得票数 0

回答已采纳

1回答

当在摄入时进行分区时，延迟查询Bigquery中的数据的原因是什么？

google-bigquery

我使用bigquery对来自insert应用程序的insert数据进行批处理。各表在摄食时间为partitioned。我看到的不同之处是，我插入的数据在摄入后1.5小时后会出现在query中。后来，我将schema更改为有一个timestamp列。为什么_PARTITIONTIME伪列与表schema中的timestamp列在行为上存在

浏览 1提问于2020-03-29得票数 2

回答已采纳

2回答

具有Levenshtein距离的模糊连接

sql、hive、apache-spark-sql、presto、trino

我有一个名为"potential_users“的表(大约1000行)和另一个名为"actual_users”(大约1000万行)的表。所有记录都完全由a-z字符组成，没有空格。此外，我知道actual_users表中没有任何potential_users。我希望能够根据Levenshtein距离为potential_users中的每一行计算出a

浏览 12提问于2020-10-19得票数 0

回答已采纳

2回答

我正在尝试将数据从GCP账单导出表回填到另一个表，比如T1。下面的预定查询每天运行，以获取昨天的数据。gcp_billing_export_v1 WHERE DATE(_PARTITIONTIME) = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) 现在我需要回填数据，比如说5月15日的数据我在下面的查询中尝试了回填功能--期望回填实用程序将过去的日期(即5月15日)作为@r

浏览 20提问于2022-06-22得票数 0

1回答

BigQueryIO.write()使用SQL函数

google-bigquery、bigdata、streaming、google-cloud-dataflow、apache-beam

我有一个数据流的工作。我正在使用BigqueryIO.write库在BigQuery表中插入行。BQ表中有一列，它应该存储行创建时间戳。我需要使用SQL函数"CURRENT_TIMESTAMP()“来更新该列的值。我不能使用java的任何库(比如Instant.now())来获取当前的时间戳。因为这将在作业执行期间派生该值。我正在使用

浏览 21提问于2021-08-10得票数 0

1回答

我能否在BigQuery中按日期分区表进行有效分组？

google-bigquery

我在BigQuery中有一个表BigQuery，它包含50亿行(~80 in )，并在dateTimeCreated列上进行分区，该列的时间戳类型是按日划分的。我想知道表中每天有多少行，所以我构建了这个SQL查询：from `p.d.t` where datetimecreated> &

浏览 4提问于2021-09-04得票数 0

回答已采纳

点击加载更多