Postgres聚合查询太慢

文章/答案/技术大牛

发布

1回答

postgresql

我有一个查询，它正在生成趋势响应，并为我提供各种日期的设备计数。该查询将超过近500k行。该表有近1750万条记录。我已经根据id对表进行了分区，因此它只能查找特定的分区，但仍然非常慢。查询 ( GROUP BY 1,2 ) s

浏览 36提问于2021-03-03得票数 0

回答已采纳

11回答

用于中型数据的替代BigQuery

mysql、sql、google-bigquery、amazon-redshift

在我们使用的当前数据库(mysql)中，聚合查询运行得非常慢，可能需要10s左右的复杂聚合。在BigQuery上，如果我们需要在1s或以下返回查询，所需的初始化时间可能会使这个查询花费3秒左右，比mysql要好，但是如果我们需要在1s或以下返回查询，则是错误的作业工具。那么，我的问题是，在中等大小的数据集(如1-10百万行)上使用BigQuery进行聚合查询，有什么好的选择呢？*) DESC 我想到的可能的解决方案是ElasticSearch ()和R

浏览 10提问于2017-03-10得票数 24

回答已采纳

1回答

存储和查询股票价格的数据库选择

database、amazon-web-services、cassandra、nosql

我目前的选择是PostgresQL，这太慢了。我需要用像OHLC这样的聚合形式来保存这些价格(蜱)。这需要花费很长时间，而且不可能用Postgres。我不想保存OHLC数据，我更喜欢实时查询(聚合)那些数据。所以我的要求是：可采用任何现代编程语言，无需编写原始查询( Python的SDK或数据库的我不熟悉Cassandra，像OHLC这样强

浏览 3提问于2020-09-13得票数 1

回答已采纳

1回答

客户端有可能杀死长期运行的Postgres查询吗？

postgresql

客户端向Postgres数据库请求数据。数据库太慢，无法响应。客户端是否有可能发送取消请求或告诉Postgres停止查询？

浏览 0提问于2015-04-23得票数 3

1回答

调优mongoDB查找

mongodb、performance、lookup

我有一个聚合，在第一阶段使用$lookup连接两个集合，然后使用$skip和$limit.But，它太慢了。如果我在聚合管道中将$lookup放在$skip和$limit之后，是否会对聚合查询的性能产生影响？

浏览 2提问于2017-10-09得票数 0

1回答

Postgres表选择查询太慢

postgresql、postgresql-performance

我以频繁的间隔查询这个表，以处理它，因为它只包含原始数据。最近，我看到在执行桌面上的某些声明方面出现了长期拖延。下面是解释的结果。我也试着做真空&粘贴下面的结果。可能是什么原因？

浏览 2提问于2016-08-03得票数 3

回答已采纳

3回答

有没有postgres模糊匹配比pg_trgm更快？

database、postgresql、indexing、fuzzy-search

我有一个包含大约500万条记录的Postgres表，我希望找到与输入键最接近的匹配项。我尝试在pg_trgm模块中使用trigrams，但每次查询大约需要5秒，这对于我的需求来说太慢了。有没有更快的方法在Postgres中进行模糊匹配？

浏览 1提问于2009-06-11得票数 5

1回答

postgres_fdw和postgres版本升级

performance、postgresql-9.5、postgresql-9.6、postgresql-fdw、query-performance

案例解释我研究过数据传输，在FDW上提供了更多的RAM和CPU，但没有成功。不管怎么说，似乎它甚至没有使用那么多的资源。可能改进的我读过Postgres 9.6中引入的用于FDW的连接和聚合推送，这看起来很棒，应该可以改善响应时间，但我不确定仅仅升级FDW <em

浏览 0提问于2017-03-14得票数 0

1回答

在PostgreSQL中存储位集？

postgresql

我需要计算reach，按不同的标准分组，并且更愿意把所有的东西都保存在我的数据库中。我正在寻找一个为PostgreSQL预先构建的位集实现，或者是关于如何实现我的目标的指示。理想情况下，我希望能够做到以下几点：SELECT service_name, last_updated_at, bitset_or(followers_bs) FROM

浏览 0提问于2011-12-05得票数 5

回答已采纳

2回答

将其他列合并为JSON而不聚合

json、postgresql

我在Postgres中有一个包含多个列的查询。除其他两列之外的所有列都将在单个结果中组合为一个JSON。'coln', json_agg(coln)FROM mytable; 问题是查询报告它需要在不属于JSON的另外两个列上进行聚合。我不想聚合，我只想对每行的其他列执行JSONize操作。我应该如何构造我的查询和/或我应该使用哪个Postgres JSON函数？我使用的是Post

浏览 24提问于2019-12-20得票数 0

回答已采纳

1回答

如何避免在使用GROUP和when时两次调用函数？

postgresql、performance、group-by、postgresql-9.2、query-performance

我有一个查询，它查找具有多个父节点的节点。以下查询工作并返回正确的结果：(FROM node_relation HAVING COUNT(parent) > 1;

浏览 0提问于2015-10-29得票数 5

回答已采纳

6回答

大型数据库上的聚合:最佳平台？

sql、database、database-design

我有一个有几百万行的postgres数据库，它驱动一个web应用程序。数据是静态的:用户不会写入它。我希望能够为用户提供可查询的聚合(例如，具有特定外键值的所有行的之和)，但数据库的大小现在意味着计算此类聚合需要10-15分钟。我是否应该：唯一的问题是，我不一定知道用户需要哪一个聚合，而且它显然会进一步增加数据库的大小。如果有一个比postgres更好的

浏览 8提问于2010-10-27得票数 3

回答已采纳

1回答

不需要另一个查询，可以实现嵌套聚合函数的效果？

sql、postgresql、group-by、window-functions

我需要一个如下所示的查询：我使用的是Postgres9.3。我尝试嵌套窗口函数和嵌套聚合函数，但我得到的错误是，两者在Postgres中都不可能实现。我基本上喜欢上面的聚合</e

浏览 4提问于2014-05-10得票数 1

1回答

Mongodb查询缓存

mongodb、database

我们希望创建一个网页，用户可以通过显示特定的数据聚合来查看与数据库的交互。实时查询(或做mapreduce)太慢了。因此，我们最终创建了一个预先计算的聚合的数据缓存，并每天递增地更新它。

浏览 2提问于2013-09-09得票数 3

1回答

缓慢Postgres聚合查询

postgresql、performance、optimization、query、query-performance

度量数据被划分为1000组连续行，因为查询的每个调用都必须输出一系列1000个值。典型的输入集将包含10,000至1,000,000行。以下是我能想到的最好的解决方案。它工作得很好，但是执行相当慢。NOW() + (generate_series * interval '1 second'), generate_series * random(), 456, '123'查询group by group_index数据库-小提琴：https:&#

浏览 0提问于2019-09-28得票数 2

回答已采纳

1回答

PostgreSQL查询分区是否并行？

postgresql、parallel-processing、postgresql-parallel-query

Postgres现在具有并行查询。是在表被分区时使用的并行查询，查询在主表上，涉及多个分区(子表)。另一种方法是在分区之间使用一个联合(子表)。在本例中，Postgres执行并行执行。

浏览 7提问于2016-11-25得票数 3

回答已采纳

1回答

汇总日志数据的最佳方法

mysql、aggregate

查询数据库的最佳方法是什么？使用COUNT(*)最终会太慢。我看到了一些技术，您可以在每个更新、插入、删除中添加另一个查询，这些查询碰巧保存在一个特殊的聚合表中。但我不确定这是否有效，因为我希望用户能够选择两个特定的日期，例如。否则我就得白天集合了。

浏览 2提问于2017-04-07得票数 1

回答已采纳

1回答

PostgreSQL，使用自定义函数进行备份/还原

postgresql

pg_restore:归档程序(db)无法执行查询:错误:函数"first_agg“已经存在，参数类型相同pg_restore:归档程序(db)无法执行查询:错误:函数"last_agg“pg_restore:归档程序(db)无法执行查询: ERROR:

浏览 15提问于2014-01-25得票数 0

回答已采纳

1回答

Django +大型数据库:如何处理5亿行？

django、postgresql、bigdata

spend_value = models.FloatField()我需要在web应用程序中提供页面，以各种方式对这些支出数据进行查询我最初的计划是有一个Postgres后端，因为我知道数据的形状，只需通过Django ORM进行查询，或者根据速度需要使用原始SQL。但我开始担心:在5亿行数据中，聚合查询会不会太慢？我需要预先计算所有的聚合查询吗？我是否也应该研究以前没

浏览 0提问于2015-03-07得票数 2

1回答

postgres中索引表查询速度太慢

sql、postgresql、indexing

4623个句子，每个句子10个块)：doc varchar,chunkid int,); 使用该查询如何使用索引提高查询速度？或者在我的例子中如何有效地使用索引？

浏览 3提问于2016-03-01得票数 1

点击加载更多