如何在不到一秒的时间内从bigquery表中获取单个行？

文章/答案/技术大牛

发布

1回答

python、jenkins、google-bigquery、real-time、data-dump

我在bigquery中有一个包含数百万行的聚合数据表。这张表每天都在增长。我需要一种方法从这个聚合表在毫秒内获得1行，以追加实时事件的数据。解决这个问题的最好方法是什么？

浏览 26提问于2020-07-17得票数 0

1回答

Google BigQuery:行的最后修改日期时间

google-bigquery、google-cloud-dataflow

我正在尝试测量数据流管道的持续时间，数据流管道从发布/订阅中提取消息并将其加载到BigQuery表中。我找不到如何在BigQuery表中获取行的最后修改时间，尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为BigQuery表的<em

浏览 2提问于2018-11-07得票数 0

1回答

在大型数据视图数据源中实现像excel (性能智能)这样的过滤

c#、excel、datagridview、filtering

这个问题是一个独立于的问题。所以现在，我对大型数据源(220 k行)的过滤速度很慢。我过滤的方式是绑定源：这很慢，因为它可能会遍历datatable的所有行。当我尝试在Excel中过滤相同大小的数据时，过滤速度要快很多倍。我想知道是否有人知道，或者能为我指出Excel如何实现其过滤的正确方向。也许一段代码也会有所帮助。

浏览 2提问于2016-01-06得票数 1

回答已采纳

1回答

用api将数据加载到BigQuery中

api、google-bigquery、crm

如何在规定的时间内每天使用它的API将数据从CRM加载到BigQuery？我需要构建相当复杂的系统:我需要从Google、一些无连接服务和CRM收集数据，唯一可能的交互方式是通过API。问题是，是否可以使用API请求获取数据，并将其添加到指定表的和表中，例如，在Google的Apipheny连接器中。

浏览 1提问于2022-01-06得票数 0

回答已采纳

3回答

将SQL Server表列及其类型导出到BigQuery表的最简单、最快速的方法是什么？

sql-server、google-cloud-platform、google-bigquery

我在SQL Server中有一个包含120列的表，我必须在BigQuery中复制相同的列名及其类型。谢谢,

浏览 2提问于2019-12-18得票数 0

1回答

带有BI引擎的BigQuery比带有缓存的BigQuery慢

google-cloud-platform、google-bigquery、query-optimization、database-performance、google-bi-engine

我读过几乎所有关于如何提高BigQuery性能、如何在毫秒或至少一秒钟内检索数据的线程。缓存命中的BigQuery 来自BigQuery API的平均1605 API响应时间。finalExecutionDurationMs大约是200-300 is，但是检索数据的总时间(只有8<

浏览 6提问于2022-10-20得票数 0

1回答

为什么即使没有MySQL中的WHERE子句，SELECT ()也比SELECT 慢得多？

mysql、query-optimization

我有一个视图，当我从它做一个简单的SELECT *时，它的持续时间是0.2秒，但是当我从它做简单的SELECT COUNT(*)时，它的持续时间是25秒。是什么导致的？看起来，如果计算输出数据需要0.2秒，那么它可以在该数据集上运行一个简单的长度计算时间。MySQL 5.7.详情如下。----++----------++----------+在M

浏览 5提问于2022-11-10得票数 1

2回答

如何将整个BigQuery表导出到GeoJSON

sql、google-cloud-platform、google-bigquery、gis、geojson

我有一张BigQuery桌：其中geometry列的类型为GEOGRAPHY我想把这个表导出成GeoJSON格式。我知道如何将表导出到简单的JSON (请参阅)，这不是我的目标。我还知道如何将geometry列的各个行作为GeoJSON：这方面的问题是，它适用于单个行，而不是整个列，也不是表。": { "description": &

浏览 7提问于2022-05-07得票数 1

回答已采纳

1回答

SQL Server离开外部联接查询性能

sql-server、left-join、database-performance

[ROWNUM] + 1在测试中，我筛选特定的代理。如果它运行CTE的内部部分，它将在不到一秒钟的时间内生成500个记录。(不过滤单个代理时，它会在14秒内生成95K记录。这是正常的运行时间。)如果我使用简单的SELECT * FROM CTE_TABLE运行CTE，那么它也会在不到一秒钟的时间内运行。当我使用内部连

浏览 6提问于2017-01-31得票数 0

回答已采纳

1回答

如何有效地省略连接两个大表

mapreduce、google-bigquery、pyspark-sql

我有两个表，table_a和table_b，table_a包含216646500行，7155998163字节；table_b包含1462775行，2096277141字节我想在相同的键col_2上做一个left_outer连接两个表，但它已经运行了16个小时，还没有完成……pyspark代码如下： combine_table = table_

浏览 0提问于2017-10-01得票数 1

1回答

我们正在将我们的Massmail服务器从windows机器连接到托管MySQL服务器的Linux机器。我们使用MySQL驱动程序来连接这两台服务器。然而，从本周开始，查询(从windows机器)带来了数据，但进程在Windows机器上挂起。但是，当使用Show Processlist；命令签入MySQL时，它会显示该命令处于睡眠模式？记录集有98K行，大约79K行进入休眠状态。我检查了查询，它在不到一秒钟的时间内在p

浏览 2提问于2011-10-07得票数 2

回答已采纳

3回答

从gsheet向bigquery插入数据

javascript、google-sheets、google-bigquery

我想从gsheet上传数据到bigquery中的一个表，我的意思是我想用代码上传数据，而不是用add on，因为它将被安排在以后。有没有什么代码示例可以用于这两种方式(追加和截断)？我有一个2列的数据，我想要加载。这些列包括：josh big可能是使用以下函数的一些代码 BigQuery.Jobs.insert(resource,

浏览 1提问于2015-12-22得票数 2

1回答

google-bigquery是否支持单个DML(插入、更新、删除) SQ语句回滚？

google-bigquery

Bigquery是否支持单个DML(insert、update、delete) SQL语句回滚？换句话说，有没有一个选项可以使单个DML语句成为自动提交事务，以便在失败时支持回滚？

浏览 0提问于2021-07-14得票数 0

1回答

使用JavaScript/TypeScript在不到2秒钟的时间内获得数千行的存储或BigQuery行，我的选择是什么？

performance、google-cloud-firestore、google-bigquery、query-optimization

我试图优化10k数据行的加载时间，下面是我的设置：A项目中的()项目B中的因此，

浏览 4提问于2022-06-27得票数 -1

1回答

如何在Delphi中实现Levenshtein距离？

algorithm、delphi、levenshtein-distance、edit-distance

我是本着回答你自己的问题的精神来发布这篇文章的。只需注意一下性能:这东西非常快。在我的台式机(2.33ghz双核，2 2GB内存，WinXP)上，我可以在不到一秒的时间内处理100K字符串数组。

浏览 0提问于2008-09-10得票数 20

回答已采纳

1回答

使用外部API查找改进BigQuery表

curl、google-cloud-platform、google-bigquery、google-cloud-functions

我在Google BigQuery有一张桌子。这张桌子上装着丹麦文。街道名称："Bakkevej"，Housenumber："23“，Zip："4305”。由于我需要将数据与另一个包含通用(丹麦语) adress in的表(称为DAWAID )相匹配，所以我需要再次查找该adress，并将该adress的DAWAID添加到称为DAWAID的行中的一个单独字段中API放在：上，并以JSON

浏览 0提问于2018-09-21得票数 0

回答已采纳

2回答

BigQuery行级过期

google-bigquery

是否可以在BigQuery中设置表的单个行的过期时间？我不希望整个表过期，但我希望能够设置行的过期日期。例如，如果过期日期是31天，我希望从表中删除超过31天前插入的任何行。

浏览 1提问于2016-07-27得票数 4

1回答

云数据流:使用谷歌提供的带有多个json条目的PubSub to BigQuery模板

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

我使用谷歌提供的模板从PubSub转到BigQuery，没有进行任何定制。我尝试将多个条目(行)放入到队列的单个json有效负载中，然后让DataFlow模板将所有条目(行)插入到BigQuery表中。我已经尝试提供一个换行符分隔的json有效负载，就像通过控制台将数据加载到BigQuery中时所需要的一样。但是，我只能获得要插

浏览 1提问于2018-03-17得票数 0

2回答

如何提高BigQuery的频繁读取？

google-bigquery

我使用BigQuery for Java对一个数据约为5GB的表进行小读取。我所做的查询遵循最标准的SQL，如SELECT foo FROM my-table WHERE bar=$1，结果最多为1行。我需要在一个高频率这样做，因此性能是一个很大的关注。如何对此进行优化？我考虑过周期性地提取整个数据集，因为它只有5GB，但同样地，5GB听起来很需要经常保存在内存中。在BigQuery控制台中运行此查询会显示类似于Qu

浏览 5提问于2021-04-16得票数 0

2回答

如何提高BigQuery的读取性能

java、google-bigquery

我们使用BigQuery检索大表的全部内容。我们使用的是公开可用的publicdata:samples.natality。我们的代码遵循谷歌的指令，如他们的中所描述的。我们能够以大约1‘300行/秒的速度( 1'300行/秒)来检索这个表，速度非常慢。是否有一种更快的方法来检索查询的</e

浏览 11提问于2016-02-24得票数 4

点击加载更多