- 综合排序
- 最热优先
- 最新优先
- 来自专栏C/C++
StarRocks 查询加速1 - Bitmap
与前缀索引的互补性：前缀索引是表的 “默认单索引”，仅对包含其前缀的过滤条件有效；当查询条件不匹配前缀索引时，可为对应列创建 Bitmap 索引，作为补充加速手段。3 使用场景1. 例如：查询 “性别 = 男”，若 50% 行符合条件，Bitmap 索引需加载位图并计算，但最终仍需扫描 50% 的 Page，效率不如直接扫描。2. 为什么适用于 “多个低基数列的组合查询”？ 同时，导入数据时需为每个新值构建位图，频繁导入会显著降低性能；查询时若涉及多个值（如 “ID IN (100 个值)”），需加载 100 个位图，计算开销远超查询收益。5. 需在 “查询加速效果” 与 “额外成本” 间找到平衡，核心权衡维度如下：过滤效果优先：确保查询能过滤 99.9% 以上数据（即保留行数≤0.1%），这是 Bitmap 索引有效的前提。 查询索引加载开销：若查询条件涉及多个值（如 “城市 IN (10 个城市)”），需计算 “值数量 × 位图大小” 的加载成本，若成本超过全表扫描，则索引无效。6.
25021编辑于 2025-09-16 - 来自专栏Loki
巧用缓存加速Loki查询
max_active_conns: <int> | default = 0 password: <string> enable_tls: <boolean> | default = false 缓存作用域 查询结果缓存 queryrange_config里面定义了Loki查询时关于缓存和切块的配置，缓存的相关配置如下 # 查询缓存开关，默认关闭 cache_results: <boolean> | default = results_cache： # 缓存配置块 cache: <cache_config> 日志索引缓存 index_queries_cache_config定义Loki的索引缓存，大部分情况下可以等同于日志label的查询缓存 大意是日志的入到Loki后，缓存的日志索引在原始日志flush进存储前都为有效的，以保证查询的缓存索引是正确的。 经过小白的测试，当前引入缓存对Loki的日志查询效果还是挺明显的，效果图如下，从P99的耗时数据来看，qeury_range接口的整体下降还是比较明显的。 ?
3.7K30发布于 2021-05-13 - 来自专栏深入浅出区块链技术
使用Multicall 加速 DeFi查询调用
如果我们想同时获取大量数据，用来在仪表板上显示或进行分析，我们必须调用合约的不同函数或者用不同参数调用相同函数， 这些都可能会导致查询时间很长。 为此，我们通过调用函数 getAccountLiquidity 来查询 Compound 协议。我们将使用 1,000 个不同的地址来获取所有地址的信息。 result: $ {callsCount}`); } calculatetime.js 调用合约 常规循环调用 先使用传统方法进行测试，我们将遍历 1,000 个的地址数组(在map循环中)，逐个获取每个查询的结果
1.8K20发布于 2021-01-14 - 来自专栏skyyws的技术专栏
使用Impala hint加速SQL查询
在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。对于表的数量达到千万甚至上亿的时候，不同的join方式所造成的执行速度，可能差距非常大。 想直接了解如何加速SQL查询的可以直接跳过这里了。 Impala提供了broadcast和shuffle两种join的方式，那么这两种方式有什么区别呢？ Impala在查询的时候，会根据每个表的统计信息，自动地选择相应的join方式。 table_name COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partition_spec)] 如果用户没有及时地给表进行了统计信息操作或者查询的是
2.1K20编辑于 2022-05-20 - 来自专栏方亮
探索ClickHouse——使用Projection加速查询
查询 SELECT toYear(date), district, town, avg(price), sum(price), count() FROM uk_price_paid GROUP BY 优化后查询 80441 rows in set. Elapsed: 0.170 sec.
59630编辑于 2023-09-27 - 来自专栏SmartSi
Redis使用Pipeline加速查询速度
这意味着通常情况下 Redis 客户端执行一条命令分为如下四个过程： 发送命令 命令排队 命令执行 返回结果 客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。
2.1K30发布于 2019-08-07 YashanDB数据索引设计与查询加速技巧
本文将详细解析YashanDB索引设计的技术原理和查询加速技巧，助力高性能数据库实践。 查询加速技术YashanDB通过以下技术提升索引相关查询的执行效率：统计信息驱动的成本优化(CBO)：优化器动态采集表、列及索引的统计信息，如行数、数据分布和索引树高度，基于代价模型选择最佳执行计划。 热数据和冷数据区分：利用LSC表的活跃切片（MCOL存储）处理热数据，实现动态更新；稳态切片(SCOL存储)针对冷数据进行高效压缩和索引加速查询。 对热点访问表或大表，结合列存表和索引加速技术实现多维度加速。利用YashanDB的自动选主和高可用机制，确保索引管理及查询的连续稳定。 同时，详细阐述了结合存储结构差异实施的查询加速技术，如向量化计算和并行执行。给出系统性索引设计及维护建议，保障业务查询的高效与稳定。
22110编辑于 2025-09-04- 来自专栏mimic数据库
MIMIC-IV 数据查询加速教程
MIMIC-IV查询加速保姆级教程为什么查询会这么慢？ 之前的文章我们提到过，需要对字段建立索引，查询才会快， 以下面的SQL为例select * from charteventswhere itemid=226512上面这个SQL在chartevents表查询 ，只有charttime建立了索引如何对想要查询的字段建立索引？ 要对chartevents的itemid查询加速，就建立这个字段的索引。 这个过程时间比较长，2分钟左右，耐心等待我们现在看看文章开头的SQL查询速度， 9秒就完成了查询PostgreSQL 索引索引是加速搜索引擎检索数据的一种特殊表查询。
73510编辑于 2023-11-28 - 来自专栏三太子敖丙
MySQL的索引是怎么加速查询的？
索引到底是怎么加速查询的？ 事实上，在你还没有执行 create index 语句的时候，MySQL 就已经创建索引了。 让我们从建表开始吧。 如果没有这棵 B+树，你要根据主键查询，比如 select * from student where id = 5; 对不起，数据是无序的，你只能全表扫描，犹如大浪淘沙。 2、二级索引 聚簇索引只能帮你加快主键查询，但是如果你想根据姓名查询呢？ 对不起，看看上面这棵树你就知道，数据并没有按照姓名进行组织，所以，你还是只能全表扫描。 不想全表扫描，怎么办？ 3、复合索引 继续，如果我还想根据姓名和年龄同时查询呢？ 甚至，这么精妙的数据结构设计，难道就只能用来加速查询吗？ 至少现在我能想到的，索引可以拿来干的事情，就至少有四种。 下次聊。 （吐血画图，此处应该点赞）
3K10发布于 2020-02-24 - 来自专栏sql优化
外键列索引优化：加速JOIN查询的关键
-----------------|| Nested Loop | 遍历驱动表每一行+全表扫描 | 索引跳转替代全表扫描 || Hash Join | 需全表扫描构建哈希表 | 索引加速哈希键定位 核心洞见： 外键约束保障数据正确性，外键索引保障查询高效性。二者如同飞机的双引擎，缺一不可。 四、索引类型选型：精准匹配场景的利器不同索引类型如同手术刀与斧头的区别——关键在精准匹配场景：B-Tree索引：通用之王 适用场景：范围查询（>、<）、排序（ORDER BY）、等值查询案例优势： 适用场景：纯等值查询（=），内存表性能对比（百万数据等值JOIN）：| 索引类型 | 查询耗时 ||----------|----------|| B-Tree | 15ms || Hash - 查询B：失效！
29621编辑于 2025-06-25 YashanDB索引优化详解，加速查询效率的实用方法
引言在现代数据库系统中，查询速度是影响应用程序性能的关键因素之一。随着数据量的持续增长，如何提高查询效率，尤其是在复杂查询场景下，成为了每一个数据库管理员和开发者关注的重点。 对于插入值呈现规律性（如自增）的场景，反向索引可以避免索引结构倾斜，提高查询的并发能力。虽然反向索引不支持范围查询，但在特定查询情况下仍然可以发挥较好的性能。 1.3 函数索引YashanDB支持用户基于特定函数或表达式创建索引，这种索引能提高基于这些函数的查询性能。例如，当用户经常需要对某列应用函数进行查询时，创建函数索引可以显著加速此类查询。2. 2.3 自适应索引优化YashanDB支持自适应查询优化，例如通过记录查询的统计信息，自动调整索引，决定在何时创建、作用于哪些查询，以便保证索引的有效性。 3.1 组合索引在YashanDB中，创建组合索引能够同时维护多个列的索引，这对提升多条件查询的效率尤其重要。组合索引需要根据查询中最常出现的列顺序进行设计，以优化查询性能。
10510编辑于 2025-07-14- 来自专栏Spark学习技巧
陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询
Alluxio集群作为连接计算和存储的数据访问加速器。通过暂时将数据存储在内存或其它接近计算服务所属介质中的方法, 起到加速访问并提供远程存储本地化提升性能的能力。 综上所述最适合我们基础设施的应用场景是Ad Hoc查询。部分热点数据经常被访问并且是读密集的，另外在必要时容易恢复。 性能评估 我们抽取了四个不同大小的线上查询作实验，并且以四种不同环境运行这些查询, 后文以不同模式来区分这些环境： Yarn模式，是当前线上的生产环境。 下面的表格显示了查询的输入大小信息，图表显示了性能结果。Y轴是以秒为单位的时间，更快显然更好。 ? ? 因此，如果SQL是一个涉及缓存白名单中表的数据查询,那么表的路径将会被转换为一个Alluxio的URI，这样应用程序就可以从Alluxio读取相关数据。
1.8K30发布于 2018-08-20 YashanDB数据库的索引优化和查询加速策略
本文将基于YashanDB的体系架构，深入分析索引优化和查询加速的技术原理，帮助理解如何利用其内建优势，实现科学合理的性能提升。 索引扫描与查询执行策略YashanDB根据索引特性和查询条件，调整索引扫描策略：索引唯一扫描：针对唯一索引的等值查询，直接定位唯一数据行，扫描数据量最小。 查询加速的多线程与并行执行技术YashanDB针对分布式部署及共享集群设计了并行查询框架。 具体索引优化与查询加速建议合理建立索引：基于业务查询频率和过滤条件设计索引，优先对经常作为过滤条件的列建立单列或多列复合BTree索引；避免过度索引导致写入性能下降。 YashanDB凭借其丰富的存储结构、高效的BTree索引、智能的成本优化器以及多层次的并行执行架构，提供了强有力的索引优化和查询加速基础。
14610编辑于 2025-10-22- 来自专栏sql优化
分区表设计：历史数据归档与查询加速
这种设计带来三重优势：存储优化：冷热数据分离存储，历史分区可迁移至低成本介质查询加速：通过分区剪枝（Partition Pruning）自动过滤无关分区运维简化：分区级备份、删除操作不影响整体可用性2. 如何让分区表进一步释放查询性能潜力？这涉及索引策略优化、统计信息管理、查询重写等进阶技术。四、查询加速核心策略揭秘1. TABLE orders ADD INDEX idx_partition_amount (amount) LOCAL;组合优势：全局索引：加速user_id跨分区查询（如用户历史订单）本地索引：分区内 物化视图的降维打击跨分区聚合加速方案：CREATE MATERIALIZED VIEW orders_weeklyREFRESH FAST ON COMMITAS SELECT 当结合云原生架构的弹性能力，历史数据归档与实时查询加速不再是矛盾体，而是驱动业务持续增长的双引擎。“分区表是数据库领域的时空管理者，既尊重历史的价值，又赋予当下以敏捷”。
31621编辑于 2025-07-01 - 来自专栏ApacheHudi
Apache Hudi数据跳过技术加速查询高达50倍
数据跳过本质上是各种类型索引[2]的通用术语，使查询引擎能够有效地跳过数据，这与它当前执行的查询无关，以减少扫描和处理的数据量，节省扫描的数据量以及（ 潜在地）显着提高执行时间。 （在文件中）的数据条件，从而避免在文件不包含任何与查询谓词匹配的数据的情况下对数据进行不必要的提取、解压缩和解码。 这种方法的明显缺点是，要了解哪些文件可能包含查询正在寻找的数据，查询引擎必须读取表中影响查询性能的每个 Parquet 文件的 Parquet 页脚（甚至可能导致来自云的限制[3]）存储）与以更紧凑格式表示的专用索引相比 ，这意味着我们可以通过避免读取完整索引来寻求效率，而是简单地将其连续切片投影到列 C1、C2 等查询过滤上 为了更好地举例说明，让我们看一下 C2 列上的查询 Q 过滤： 我们可以简单地读取一个连续的记录块 ，如果读者愿意在读取路径上利用元数据表，他们仍然必须明确指定相应的配置 请查看此gist[8]以了解如何查询先前摄取的数据集。
2.2K50编辑于 2022-07-11 YashanDB索引优化详解，加速查询效率的实用方法
引言在现代数据库系统中，查询速度是影响应用程序性能的关键因素之一。随着数据量的持续增长，如何提高查询效率，尤其是在复杂查询场景下，成为了每一个数据库管理员和开发者关注的重点。 对于插入值呈现规律性（如自增）的场景，反向索引可以避免索引结构倾斜，提高查询的并发能力。虽然反向索引不支持范围查询，但在特定查询情况下仍然可以发挥较好的性能。 1.3 函数索引YashanDB支持用户基于特定函数或表达式创建索引，这种索引能提高基于这些函数的查询性能。例如，当用户经常需要对某列应用函数进行查询时，创建函数索引可以显著加速此类查询。2. 2.3 自适应索引优化YashanDB支持自适应查询优化，例如通过记录查询的统计信息，自动调整索引，决定在何时创建、作用于哪些查询，以便保证索引的有效性。 3.1 组合索引在YashanDB中，创建组合索引能够同时维护多个列的索引，这对提升多条件查询的效率尤其重要。组合索引需要根据查询中最常出现的列顺序进行设计，以优化查询性能。
9610编辑于 2025-06-27- 来自专栏牛肉圆粉不加葱
如何让你的 Spark SQL 查询加速数十倍？
先来回答标题所提的问题，这里的答案是列存储，下面对列存储及在列存储加速 Spark SQL 查询速度进行介绍 列存储 什么是列存储 传统的数据库通常以行单位做数据存储，而列式存储（后文均以列存储简称）以列为单位做数据存储 优势 列存储相比于行存储主要有以下几个优势： 数据即索引，查询是可以跳过不符合条件的数据，只读取需要的数据，降低 IO 数据量（行存储没有索引查询时造成大量 IO，建立索引和物化视图代价较大） 只读取需要的列 ，进一步降低 IO 数据量，加速扫描性能（行存储会扫描所有列） 由于同一列的数据类型是一样的，可以使用高效的压缩编码来节约存储空间 当然列存储并不是在所有场景都强于行存储，当查询要读取多个列时，行存储一次就能读取多列 Spark 原始支持 parquet 和 orc 两个列存储，下文的实践使用 parquet 使用 Parquet 加速 Spark SQL 查询 在我的实践中，使用的 Spark 版本是 2.0.0， : 1.7s 列存储耗时: 1.9s 列存储带来的加速会因为不同的数据，不同的查询，不同的资源情况而不同，也许在你的实践中加速效果可能不如或比我这里例子的更好，这需要我们根据列存储的特性来善用之 参考
1.9K40发布于 2018-08-24 - 来自专栏PingCAP的专栏
TiKV & TiFlash 加速复杂业务查询丨TiFlash 应用实践
本文根据 TUG 用户边城元元在 TiDB 社区技术交流石家庄站的分享整理，详细介绍了 TiKV & TiFlash 加速复杂业务查询的原理及实践方案。 这无疑是对传统关系型数据库，或者关系数据库加列存数据库的架构是一种考验，主要有下面几个痛点：传统的关系型数据库无法通过加索引来优化加速查询，业务无法正常开展；列存数据库需要把筛选相关数据放到列数据库，并且需要做好数据实时同步 多表查询分别使用不同的引擎 TiKV 或 TiFlash。TiFlash 支持 MPP 模式的查询执行，即在计算中引入跨节点的数据交换（data shuffle 过程）。 TiFlash 列存查询。 图片图片图片总结使用 TiKV 和 TiFlash 可以加速复杂查询，下面简单增加了使用使用场景。
78120编辑于 2022-08-03 - 来自专栏AntDB数据库
AntDB-M聚合下推—加速你的数据分析查询
对开启聚合下推、关闭聚合下推、单机部署分别进行聚合查询来查看各自的查询时间。 查询语句: select sum(k) from sbtest1;开启聚合下推关闭聚合下推单机版表1-查询耗时比对单机版关闭聚合下推开启聚合下推0.33 sec2.93 sec0.27 sec分布式部署的 2、数字编号引用查询列支持group by, order by从句中通过数字编号引用查询列。通过数字引用查询列，可以简化SQL的编写，使得SQL逻辑更简单清晰，也方便动态生成SQL的编写。 4、Order by从句排序是查询中常用的功能。聚合下推不仅支持order by从句，也支持对查询列的数字编号引用。还可以根据需要灵活设置排序规则。 7、存储过程,触发器聚合下推不仅仅支持直接的SQL查询，还支持存储过程和触发器。当存储过程或触发器中存在聚合查询时，会触发聚合下推。
24110编辑于 2024-08-16 YashanDB数据库的智能索引设计与查询加速方法
本文面向数据库开发人员及运维人员，系统介绍YashanDB在智能索引设计与查询加速方面的技术原理和实施方法，涵盖索引结构类型、优化器流程以及存储引擎配合等关键技术环节。 分布式模式下协调节点（CN）合理分割查询成多个并行执行阶段，在数据节点（DN）并行处理子任务，实现大规模数据高速检索。 自动选主和手动切换策略使主备库角色切换过程保证索引状态的一致性，避免查询异常。共享集群部署形态中多实例通过聚合内存及全局缓存管理实现索引页级别的访问协调，保障多实例高效查询。 具体技术实践建议合理选择索引类型：根据查询条件列的基数和查询模式，优先采用BTree索引，结合函数索引支持表达式查询。 利用向量化执行：开发中尽量编写能利用批处理和向量化计算的SQL表达式，提高单节点和分布式查询的执行效率。
25110编辑于 2025-08-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号