首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQL-深度分页如何优化

场景举例 查询文章列表,一直滑动翻页,不用跳转到指定页数 从数据库查询百万客户数据写入到redis 访问某小程序的积分商城查看商品,一直滑动翻页,不用跳转到指定页数 问题分析 深度分页SQL SELECT...* FROM 表名 WHERE 条件 LIMIT #{offset},#{pageSize} 深度分页造成的结果,offset越来越大,回表的记录越来越多,SQL查询性能急剧下降,会出现大量的慢SQL...即使在二级索引中已经知道前10000条数据要丢掉,但是MySQL也会去聚集索引中去回表查询一下所以效率是很低的,同时这个也是一种随机IO所以来说更加慢 解决办法 方法一:产品上绕过 根据业务实际需求...比如针对非主键索引判断再分页那么使用主键id查找不满足需求 把主键id暴露出去了,这个本身不应该是业务层面关心的字段 方法二:子查询 先查询出所需要的数据的主键id,因为在非聚集索引中每个叶子节点记录的数据为其...然后再去主键索引中查询 select * from t where id in (select id from t where age > 10 offset 10000 limit 10) 优点 维持了分页需求

53730
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL的大分页查询该如何优化?

    一 背景 大部分开发和DBA同行都对分页查询非常非常了解,看帖子翻页需要分页查询,搜索商品也需要分页查询。...二 分析 在讲如何优化之前我们先来看看一个比较常见错误的写法 SELECT * FROM tablewhere kid=1342 and type=1 order id asc limit 149420...,20; 该SQL是一个非常典型的排序+分页查询: order by col limit N,M MySQL 执行此类SQL时需要先扫描到N行,然后再去取M行。...对于此类操作,获取前面少数几行数据会很快,但是随着扫描的记录数越多,SQL的性能就会越差,因为N的值越大,MySQL需要扫描越多的数据来定位到具体的N行,这样耗费大量的 IO 成本和时间成本。...select * from t where kid =3 and type=1 order by id desc 8,2; MySQL如何执行上面的sql 的?

    1.7K20

    得物面试:MySQL 深度分页如何优化?

    深度分页介绍 查询偏移量过大的场景我们称为深度分页,这会导致查询性能较低,例如: # MySQL 在无法利用索引的情况下跳过1000000条记录后,再获取10条记录 SELECT * FROM t_order...ORDER BY id LIMIT 1000000, 10 深度分页优化建议 这里以 MySQL 数据库为例介绍一下如何优化深度分页。...阿里巴巴《Java 开发手册》中也有对应的描述: 利用延迟关联或者子查询优化超多分页场景。...参考 聊聊如何解决 MySQL分页问题 - 捡田螺的小男孩:https://juejin.cn/post/7012016858379321358 数据库深分页介绍及优化方案 - 京东零售技术:https...://mp.weixin.qq.com/s/ZEwGKvRCyvAgGlmeseAS7g MySQL分页优化 - 得物技术:https://juejin.cn/post/6985478936683610149

    31210

    MySQL 百万级分页优化(Mysql千万级快速分页)

    .);  再分享一点 查询字段一较长字符串的时候,表设计时要为该字段多加一个字段,如,存储网址的字段 查询的时候,不要直接查询字符串,效率低下,应该查诡该字串的crc32或md5 如何优化Mysql千万级快速分页...By:jack Mysql limit分页慢的解决办法(Mysql limit 优化,百万至千万条记录实现快速分页MySql 性能到底能有多高?...难道MySQL 无法突破100万的限制吗???到了100万的分页就真的到了极限??? 答案是: NO !!!! 为什么突破不了100万是因为不会设计mysql造成的。下面介绍非分表法,来个疯狂的测试!...一张表搞定100万记录,并且10G 数据库,如何快速分页! 好了,我们的测试又回到 collect表,开始测试结论是: 30万数据,用分表法可行,超过30万他的速度会慢道你无法忍受!...好了,回到原题,如何将上面的研究成功快速应用于开发呢?如果用复合查询,我的轻量级框架就没的用了。分页字符串还得自己写,那多麻烦?

    2.4K10

    MySQL 百万级分页优化(Mysql千万级快速分页)

    .);  再分享一点 查询字段一较长字符串的时候,表设计时要为该字段多加一个字段,如,存储网址的字段 查询的时候,不要直接查询字符串,效率低下,应该查诡该字串的crc32或md5 如何优化Mysql千万级快速分页...By:jack Mysql limit分页慢的解决办法(Mysql limit 优化,百万至千万条记录实现快速分页MySql 性能到底能有多高?...难道MySQL 无法突破100万的限制吗???到了100万的分页就真的到了极限??? 答案是: NO !!!! 为什么突破不了100万是因为不会设计mysql造成的。下面介绍非分表法,来个疯狂的测试!...一张表搞定100万记录,并且10G 数据库,如何快速分页! 好了,我们的测试又回到 collect表,开始测试结论是: 30万数据,用分表法可行,超过30万他的速度会慢道你无法忍受!...好了,回到原题,如何将上面的研究成功快速应用于开发呢?如果用复合查询,我的轻量级框架就没的用了。分页字符串还得自己写,那多麻烦?

    3.7K30

    浅谈MySQL分页查询

    MySQL系列文章到目前已经更新十几篇,从数据类型谈到了备份恢复再到主从同步分库分表,从本篇开始,会花几篇重点谈谈MySQL基础部分,而本篇我们重点来讲讲我们日常开发中最常见的一种查询:分页查询。...说到分页呢?我们都知道使用limit关键字来进行分页,比如我们需要查询id为900000到900100的数据,我们可能会很熟练的这么进行分页: ?...肯定性能大打折扣,因为前面900000行数据对我们来说是无效数据,所以我们首先可以先使用子查询来优化,先使用子查询实现覆盖索引查询返回主键id,再使用主键id和原表做一个关联操作,可以减少回表次数并且减少Mysql...limit分页效率高很多。...所以在id能保证连续性的情况下我们可以选择使用限制id的方法提高分页效率。接下来我们看下如果id无法保证绝对连续除了子查询还能如何处理。

    3.7K20

    mysql】limit实现分页

    分页 1. 背景: 背景1:查询返回的记录太多了,查看起来很不方便,怎么样能够实现分页查询呢? 背景2:表里有 4 条数据,如果只想要显示第 2、3 条数据怎么办呢? 2....实现规则 分页原理 所谓分页显示,就是将数据库中的结果集,一段一段显示出来需要的条件。...MySQL中使用 LIMIT 实现分页 格式: LIMIT 位置偏移量, 行数 第一个“位置偏移量”参数指示MySQL从哪一行开始显示,是一个可选参数,如果不指定“位置偏移量”,将会从表中的第一条记录开始...MySQL8.0新特性:LIMIT ... OFFSET ... 练习:表里有107条数据,如果只想要显示第 32、33 条数据怎么办呢?...拓展 LIMIT 可以使用在MySQL、PGSQL、MariaDB、SQLite 等数据库中使用,表示分页。不能使用在SQL Server、DB2、Oracle中。

    3.7K60

    MySQL如何破解limit 100w+的分页查询

    大多数都是根据输入条件查询对应数据,然后对数据进行分页显示。数据量小的时候基本没啥问题,但是如果数据量在千万级别以上,这个时候limit就非常慢了。...二、实验数据 我们以一个大概4亿的表来进行测试,实验表数据如下所示: select count(1) from order_info 数据量:441182739 MYSQL: 配置:64核256GB...四、优化后 方案其实有很多,今天就给大家介绍最简单实用的一种:我们可以先查询id主键,然后通过in条件查询出分页所有数据。...六、结论: 我们可以很明显的看到,通过只查询id的方式,可以快速查询出所有的id主键,因为MYSQL对查询主键是有进行特殊优化的,可以直接走主键索引,不需要回表操作。...当然真实生产中,我们还需要根据实际业务适配对应逻辑,就比如:如果99%的分页不会到1w以上,那基本不会发生这种慢SQL了。

    1K10

    mysql的sql分页查询语句怎么写_sql 分页查询语句(mysql分页语句)「建议收藏」

    sql 分页查询语句(mysql分页语句) 2020-07-24 11:18:53 共10个回答 intpageCount=15(每页显示的行数)intTotalCount=30(页数*每页显示的行数)...,以上是分页的SQL语句.....ASRow,*fromxj)SELECT*FROMtemptblwhereRowbetween@startIndexand@endIndexendxh作为标识字段xm作为排序字段(降序),查询所有字段 分页...:一般会把当前页通过get方式传递,PHP通过$_GET[‘page’]接收.查询:可以从当前乘以每页显示数通过limit来实现分页效果....*,ROWNUMRNFROM(SELECT*FROMTABLE_Oracle的分页查询语句基本上可以按照本文给出的格式来进行套用.分页查询格式: 你说的应该是利用SQL的游标存储过程来分页的形式代码如下

    13.5K20
    领券