首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存储优化(3)-mongo大表加索引

    摘要 在存储优化(2)-排序引起的慢查询优化中我们提到过排序对查询选择索引的影响。但是的解决办法就是增加一个索引。在线上给mongo的大表增加一个索引要慎重。...主键索引2. biz_id,version联合索引 查询语句 "query":{"find":"historyRecord","filter":{"bizId":1234567},"sort":{"_id...":-1},"limit":1}} 增加一个索引 bizId,_id 增加索引过程 对于大表(该表记录数5亿),建立索引过程涉及到锁表,大量的读写操作、数据同步,肯定会影响线上的操作。...那是不是因为这个索引是后来加的,plan-cache还没有更新的。...总结 最后解决是通过强制索引来避免索引误判,当然也可以将排序改成 sort({bizId:-1,_id:-1}) 这样也不会误判 总结一下: 大表加索引,需要确保不会block表的其他操作,尽量选择空闲时候

    3.3K10

    MySQL给字符串加索引

    MySQL是支持前缀索引的,前缀索引的优势就是占用的空间小,这同时带来的损失是,可能会增加额外的记录扫描次数。...比如一些用户表,登录账户是邮箱 如果要使用的是邮箱登录,所以代码中一定会有这种类似的语句 select f1, f2 from tableName where email='xxx'; 如果email这个字段上没有索引的话...,那这些语句就只能做全表扫描 MySQL 是支持前缀索引的,可以定义字符串的一部分作为索引。...默认地,如果你创建索引的语句不指定前缀长度,那么索引就会包含整个字符串。...有以下2中方式 就是使用倒序存储,比如身份证倒序,查询的时候再用函数转一下 以及使用hash字段,在表上创建一个整数字段,来保存身份证的校验码,同时在这个字段上加索引 这两种方式对比区别 从占用的额外空间来看

    5.4K71

    mysql为什么加索引就能快

    平时我们要优化 mysql 查询效率的时候,最常见的就是给表加上合适的索引了,那今天就来聊聊为什么加了索引就快了呢。...谭小谭,公众号:谭某人mysql索引为啥要选择B+树 (下) 也就是说每个表至少都有一个主键索引,而且表中所有的数据行都是存放在主键索引这个 B+ 树的叶子节点上的。...刚刚有说过,主键索引叶子节点上保存完整的整行记录值,二级索引叶子节点保存主键的值,所以上面这个表 t 的数据在 mysql 底层的存储就如下示意图。 ?...比如下面这条 sql 语句,显然没有可用的索引,所以只能走全表扫描了,即把主键索引上的叶子节点从头到尾都扫描一遍,然后每扫描到一行把字段 m 的值拿出来再比对一下,筛选出满足条件的记录,这个查询是非常低效的...select * from t where m > 1000 and m < 3000; 再来看另一条 sql 语句,这个语句可以使用索引 k,所以该查询会先到二级索引 k 这个 B+ 树上,快速找到满足要求的叶子节点

    2.7K30

    Innodb加索引,这个时候会锁表吗?

    在 MySQL 5.6 之前,InnoDB 在索引构建期间会对表进行排它锁定,这意味着其他会话无法读取或修改表中的数据,从而导致长时间阻塞和性能问题。...但需要注意的是,并非所有的 DDL 语句都会利用 Online DDL 进行加速。 Online DDL 的优点在于可以减少阻塞,它是 MySQL 内置的一种优化手段。...对原表加共享 MDL 锁,阻止对原表的写操作,仅允许查询操作。 逐行将原表数据拷贝到临时表中,且无需进行排序。 数据拷贝完成后,将原表锁升级为排他 MDL 锁,阻止对原表的读写操作。...创建索引数据字典。 对原表加共享 MDL 锁,阻止对原表的写操作,只允许查询操作。 根据聚集索引的顺序,查询表中的数据,并提取所需的索引列数据。将提取的索引数据进行排序,并插入到新的索引页中。...它利用了 8.0 新的表结构设计,可以直接修改表的元数据,省去了重建原表的过程,从而极大地缩短了 DDL 语句的执行时间。对于其他类型的改表语句,默认使用 inplace 算法。

    1.5K10

    MySQL索引与SQL语句优化

    在字段上计算不能命中索引, 10、强制类型转换会全表扫描,   如果phone字段是varcher类型,则下面的SQL不能命中索引。...一般区分度在80%以上就可以建立索引。区分度可以使用count(distinct(列名))/count(*)来计算。 12、利用覆盖索引来进行查询操作,避免回表。   ...13、建立索引的列不能为null,使用not null约束及默认值 14、利用延迟关联或者子查询优化超多分页场景, MySQL并不是跳过offset行,而是取offset+N行,然后放弃前offset...18、Select语句务必指明字段名称 19、如果排序字段没有用到索引,就尽量少排序 20、尽量用union all 代替 union。   ...select id,name from product limit 866613, 20 使用上述SQL语句做分页的时候,可能有人会发现,随着表数据量的增加,直接使用limit分页查询会越来越慢。

    2.2K10

    MySQL只索引组织表

    MySQL之索引组织表 今天没怎么学习,简单写下MySQL里面innodb存储引擎下的索引组织表吧。...在Innodb存储引擎中,表都是根据主键的顺序组织存放的,这种存储方式的表称之为索引组织表,在innodb存储引擎中,每张表都有主键,也就是primary key,如果在创建表的时候没有显式的制定主键,...3.当我们的表中有多个唯一索引时,innodb存储引擎会选择建表时的第一个定义的非空索引作为主键,需要注意的是,主键的选择根据的是定义索引的顺序,而不是建表时的顺序。...这张表包含a,b,c,d四个列b,c,d三个列上我们都创建了唯一索引,不同的是b的值可以为空,而c,d列都是唯一索引,而且不为空,上面的建表语句没有显式的定义主键,所以innodb存储引擎会帮我们自动选择非空的唯一索引...1 row affected (0.41 sec) Records: 1 Duplicates: 0 Warnings: 0 然后我们通过下面这个SQL语句来判断表的主键值: mysql> select

    2.2K10

    「Mysql索引原理(十五)」维护索引和表-修复损坏的表

    修复损坏的表 即使用正确的类型创建了表并加上了合适的索引,工作也没有结束:还需要维护表和索引来确保它们都正常工作。...维护表有三个主要的目的:找到并修复损坏的表,维护准确的索引统计信息,减少碎片。 表损坏(corruption)是很糟糕的事情。对于MyISAM存储引擎,表损坏通常是系统崩溃导致的。...其他的引擎也会由于硬件问题、MySQL本身的缺陷或者操作系统的问题导致索引损坏。 损坏的索引会导致查询返回错误的结果或者莫须有的主键冲突等问题,严重时甚至还会导致数据库的崩溃。...CHECK TABLE通常能够找出大多数的表和索引的错误。...不过,如果损坏的是系统区域,或者是表的“行数据”区域,而不是索引,那么上面的办法就没有用了。在这种情况下,可以从备份中恢复表,或者尝试从损坏的数据文件中尽可能地恢复数据。

    3.2K20

    MySQL ORDER BY主键id加LIMIT限制走错索引

    背景及现象 report_product_sales_data表数据量2800万; 经测试,在当前数据量情况下,order by主键id,limit最大到49的时候可以用到索引report_product_sales_data_hq_code_orgz_id_index...,大于49时就走PRIMARY主键索引。...优化过程 -- 开启优化器跟踪 set session optimizer_trace='enabled=on'; -- 在执行完查询语句后,在执行以下的select语句可以查看具体的优化器执行过程 select...order by字段所在的索引,没有limit会使用where 条件的索引; 对于数据量比较大,而且执行量很高的分页sql,尽可能将所有的查询字段包括在索引中,同时使用索引来消除排序; 多用explain...查看是否使用到了最优索引; 利用optimizer trace查看优化器执行过程; 观察mysql的slow_query_log,及时做排查优化。

    2.6K10

    MySQL查询表索引的方式

    在网上可以查到有两种方式查询表的索引 show index from tablename SELECT * FROM mysql.innodb_index_stats a WHERE a.database_name...= '数据库名' and a.table_name like '%表名%'; 第一种是可行的,问题是在于并不是用SELECT语句,所以就不能和其他的表数据一起查询,譬如说 查询表结构的时候连同索引一起查询...(第二种来自于网络,实际上语句本身就有错误和低效的like,我们先只看逻辑) 仅看第二种也是不可行的,因为除了ROOT用户以外的用户无法访问innodb_index_stats表,所以是不行的。...在网上翻了很多页面都没有找到合适的解决方案,于是我把所有独立数据库用户身份可以查看的表全部翻看一遍之后发现。STATICS表中是存有索引数据的。...SELECT * FROM INFORMATION_SCHEMA.STATISTICS WHERE TABLE_SCHEMA = basename AND TABLE_NAME = tablename 将索引信息和表结构信息一起查看的查询

    4.9K20

    MySQL ORDER BY主键id加LIMIT限制走错索引

    背景及现象 report_product_sales_data表数据量2800万; 经测试,在当前数据量情况下,order by主键id,limit最大到49的时候可以用到索引report_product_sales_data_hq_code_orgz_id_index...,大于49时就走PRIMARY主键索引。...优化过程 -- 开启优化器跟踪 set session optimizer_trace='enabled=on'; -- 在执行完查询语句后,在执行以下的select语句可以查看具体的优化器执行过程 select...由于自身的优化器选择,为了避免某些排序的消耗,可能会走非预期的PRIMARY主键索引; 对于数据量比较大,而且执行量很高的分页sql,尽可能将所有的查询字段包括在索引中,同时使用索引来消除排序; 多用explain...查看是否使用到了最优索引; 利用optimizer trace查看优化器执行过程; 观察mysql的slow_query_log,及时做排查优化。

    7.5K32

    MySQL 的回表、覆盖索引、索引下推

    回表 在研究mysql二级索引的时候,发现Mysql回表这个操作,往下研究了一下 字面意思,找到索引,回到表中找数据 解释一下就是: 先通过索引扫描出数据所在的行,再通过行主键ID 取出数据。...) 索引下推 索引下推(index condition pushdown )简称ICP,在Mysql5.6以后的版本上推出,用于优化回表查询; 在不使用ICP的情况下,在使用非主键索引(又叫普通索引或者二级索引..., 然后由存储引擎通过判断索引是否符合MySQL服务器传递的条件,只有当索引符合条件时才会将数据检索出来返回给MySQL服务器 ; 索引条件下推优化可以减少存储引擎查询基础表的次数,也可以减少MySQL...VALUES ('张三', 24, '中国'); INSERT INTO `t_user`(`name`, `age`, `address`) VALUES ('李期', 24, '中国'); 用上面的语句建一个测试用的表...总结: 索引下推功能是mysql 5.6推出优化回表的操作,只支持向上兼容,低版本是不支持的; 索引下推优化的只是回表次数,扫描行数还是一样的。

    2.4K20

    「Mysql索引原理(十六)」维护索引和表-更新索引统计信息

    MySQL的査询优化器会通过两个API来了解存储引擎的索引值的分布信息,以决定如何使用索引。...MySQL优化器使用的是基于成本的模型,而衡量成本的主要指标就是一个查询需要扫描多少行。如果表没有统计信息,或者统计信息不准确,优化器就很有可能做出错误的决定。...在 MySQL5.0和更新的版本中,还可以通过 FORMATION_SCHEMA. STATISTICS表很方便地查询到这些信息。...需要注意的是,如果服务器上的库表非常多,则从这里获取元数据的速度可能会非常慢,而且会给 MySQL带来额外的压力。 InnodB的统计信息值得深入研究。...InnoDB在打开某些INF0RMATION_SCHEMA表,或者使用 SHOW TABLE STATUS和SHOW INDEX,抑或在MySQL客户端开启自动补全功能的时候都会触发索引统计信息的更新。

    2.6K40

    MySQL存储过程、索引、分表对比

    MySQL存储过程、索引和分表是用于提高查询效率的三种不同方法,它们各自对查询效率有不同的影响和应用场景。...以下是它们的对比: 1.MySQL存储过程:•影响查询效率: 存储过程通常不直接影响查询效率,因为它们是用于封装查询逻辑和执行多个SQL语句的数据库对象。...这可以减少客户端与服务器之间的通信次数,提高查询效率,特别是对于复杂的事务操作 2.MySQL索引:•影响查询效率: 索引直接影响查询效率。...合适的索引可以大幅提高检索和筛选操作的速度,特别是对于大型表。 •适用场景: 索引适用于需要快速查找、排序和筛选数据的场景。常见的索引类型包括单列索引、复合索引和全文索引。...但索引也会占用磁盘空间,对写操作(插入、更新、删除)有一定的开销,因此需要谨慎选择索引。 3.MySQL分表:•影响查询效率: 分表可以显著影响查询效率,特别是对于大型数据集。

    86020
    领券