作为在后端圈开车的多年老司机，是不是经常听到过，“mysql 单表最好不要超过 2000w”,“单表超过 2000w 就要考虑数据迁移了”，“你这个表数据都马上要到 2000w 了，难怪查询速度慢”
上一篇文章对InnoDB的行格式进行了解析，但是却把记录头信息抛到这里来讲，那么开始吧，注意本片需要有一点数据结构和算法基础，如果基础薄弱，请先确保自己会二分查找和链表再来食用
小熊学Java个人网站：https://javaxiaobear.gitee.io/，每周持续更新干货，建议收藏！
作为一个合格的 DBA，在遇到线上单表数据量超过千万级别的时候，往往会建议用户通过分表来缩减单表数据量，当用户问为什么单表数据量不能超过千万时，DBA 往往会说：单表数据量超过千万，会影响查询性能。知其然而不知所以然，学习技术不能停留在表面，而是要进一步去深入挖掘其中的原理，这样才能不断进步和成长。回到这个问题：为什么单表数据量不能超过两千万，其中的依据是什么？欢迎阅读。
这些名言民语就和 “群里只讨论技术，不开车，开车速度不要超过 120 码，否则自动踢群”，只听过，没试过，哈哈。
在互联网技术圈中有一个说法：「MySQL 单表数据量大于 2000 W行，性能会明显下降」。网传这个说法最早由百度传出，真假不得而知。但是却成为了行业内一个默认的标准。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
hello，小伙伴们下午好。俗话说的好，一时拖更一时爽，一直拖更一直爽。但是今天决定更一下啦。高能预警，为了还债，特地写了篇长文。
当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。
最快的速度把10亿条数据导入到数据库，首先需要和面试官明确一下，10亿条数据什么形式存在哪里，每条数据多大，是否有序导入，是否不能重复，数据库是否是MySQL？
单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。
索引是与效率挂钩的，所以没有索引，可能会存在问题 索引：提高数据库的性能，索引是物美价廉的东西了。不用加内存，不用改程序，不用调sql，只要执行正确的 create index ，查询速度就可能提高成百上千倍。但是天下没有免费的午餐，查询速度的提高是以插入、更新、删除的速度为代价的，这些写操作，增加了大量的IO。所以它的价值，在于提高一个海量数据的检索速度。
select ...from table where exist (子查询)；
以社交平台的用户表为例，随着业务的快速增长，用户表user单表数据量越来越大，此时，如果我们想给user表添加索引，数据规模对添加过程的影响势必要考虑在内，但是，单表数据规模对添加索引会产生什么样的影响呢，我们在什么样的数据库请求状态下给大表添加索引比较好呢？
我们知道，所谓表连接就是把各个表中的记录都取出来进行依次匹配，最后把匹配组合的记录一起发送给客户端。比如下面把t1表和t2表连接起来的过程如下图
MySQL作为最流行的关系型数据库之一，基本上每个开发人员都使用过，在平时工作中难免会遇到性能的问题，本篇从多个角度详细的介绍了，关于MySQL最常用的优化方法，包括字段类型，索引使用，SQL语句，参数调优，分库，分表，分片，缓存，以及通过中间件，NoSQL等。相信你认真读完之后一定会受益匪浅。
关闭服务器端编译，sql语句在客户端编译好再发送给服务器端。如果为true，sql会采用占位符方式发送。
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：
网上看了一篇文章《为什么说MySQL单表行数不要超过2000w》，亲自实践了一下，跟原作者有不同的结论。原文的结论是2000W左右性能会成指数级的下降，而我的结论是：随着数据量成倍地增加，查询的时间也刚好是成倍增加，是成正比的。
你一定看到过这样的例子，索引是什么，你要查字典，不可能从第一页翻到最后一页去查找，你会先查找拼音或者偏旁部首，然后直接跳转到对应的页小范围的一条一条查找，这样会快得多。
索引：提高数据库的性能，索引是物美价廉的东西了。不用加内存，不用改程序，不用调 sql，只要执行正确的 create index ，查询速度就可能提高成百上千倍。但是天下没有免费的午餐，查询速度的提高是以插入、更新、删除的速度为代价的，这些写操作，增加了大量的IO。所以它的价值，在于提高一个海量数据的检索速度，即查找数据的速度。
之前写了一些关于 MySQL 的 InnoDB 存储引擎的文章，里面好几次都提到了页（Pages）这个概念，但是都只是简要的提了一下。例如之前在聊 InnoDB内存结构 时提到过，但当时的重点是内存架构，就没有展开深入。
索引是帮助MySQL高效获取数据的数据结构。索引内部存在一个键值和对应数据的物理地址，当数据很多的时候，索引文件会很大，所以一般以文件的形式存储于磁盘中，后缀名为.myi。
在日常业务开发中经常有这样一个场景，首先创建一条记录，然后插入到数据库；如果数据库已经存在同一主键的记录，则执行update操作，如果不存在，则执行insert操作；
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。
|原文链接：https://segmentfault.com/a/1190000006158186
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
当MySQL单表记录数过大时，增删改查性能都会急剧下降，所以我们本文会提供一些优化参考，大家可以参考以下步骤来优化：
使用索引避免全表扫描，提高检索效率，使用索引后就维护了一颗B+树，B+树是为磁盘或者其他直接存取辅助设备设计的一种平衡查找树，在B+树中，所有记录节点都是按键值的大小顺序存放在同一层的叶子结点，各叶子结点通过指针进行连接（这里我默认大家最最基本的数据结构知识都会）。
当 MySQL 单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候 MySQL 单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED； VARCHAR的
长期以来，在 MySQL 的开发规范里一般都会这么写：禁止大事务！话题转到 TiDB ，依然应该是：禁止大事务！
当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题
索引是数据库提供的利于快速查询的机制，索引类似于书籍目录，当查询条件那一列建立了索引之后，那么数据库会去硬盘索引文件中找到满足查询条件的（数据的）物理位置， 根据位置就可以定位并获取到数据。
本文想和大家来聊聊Mysql中的执行计划，一条SQL语句经过了查询优化器模块分析后，会得到一个执行计划，通过这个执行计划，我们可以知道该条SQL语句具体采用的多表连接顺序是什么，对于每个表具体采用的访问方法是什么 . . .
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHA
我们平时都是以记录为单位向MySQL的表中插入数据的，这些记录在磁盘中的存放的格式就是InnoDB的行格式。
项目中有一个数据交换的场景，由于使用了很多个 varchar(1000)、 varchar(2000)，导致在创建表的时候，MySQL 提示：
D(持久性)，一旦事务完成，无论发生什么系统错误，它的结果都不会受到影响，事务的结果被写到持久化存储器中。底层实现原理是：redo log机制去实现的，mysql 的数据是存放在这个磁盘上的，但是每次去读数据都需要通过这个磁盘io，效率就很低，使用 innodb 提供了一个缓存 buffer，这个 buffer 中包含了磁盘部分数据页的一个映射，作为访问数据库的一个缓冲，从数据库读取一个数据，就会先从这个 buffer 中获取，如果 buffer 中没有，就从这个磁盘中获取，读取完再放到这个 buffer 缓冲中，当数据库写入数据的时候，也会首先向这个 buffer 中写入数据，定期将 buffer 中的数据刷新到磁盘中，进行持久化的一个操作。如果 buffer 中的数据还没来得及同步到这个磁盘上，这个时候 MySQL 宕机了，buffer 里面的数据就会丢失，造成数据丢失的情况，持久性就无法保证了。使用 redolog 解决这个问题，当数据库的数据要进行新增或者是修改的时候，除了修改这个 buffer 中的数据，还会把这次的操作写入到这个 redolog 中，如果 msyql 宕机了，就可以通过 redolog 去恢复数据，redolog 是预写式日志，会先将所有的修改写入到日志里面，然后再更新到 buffer 里面，保证了这个数据不会丢失，保证了数据的持久性，redolog 属于记录修改的操作，主要为了提交或者恢复数据使用！讲完事务的四大特性，再来说下事务的隔离性，当多个线程都开启事务操作数据库中的数据时，数据库系统要能进行隔离操作，以保证各个线程获取数据的准确性，在介绍数据库提供的各种隔离级别之前，来说一下如果不考虑事务的隔离性，会发生的几种问题：第一个问题是脏读，在一个事务处理过程里读取了另一个未提交的事务中的数据。举个例子，公司发工资了，领导把四万块钱打到我的账号上，但是该事务并未提交，而我正好去查看账户，发现工资已经到账，是四万，非常高兴。可是不幸的是，领导发现发给我的工资金额不对，是三万五元，于是迅速修改金额，将事务提交，最后我实际的工资只有三万五元，我就白高兴一场。第二个问题是不可重复读，某个数据在一个事务范围内多次查询却返回了不同的结果，用大白话讲就是事务T1读取数据，事务T2立马修改了这个数据并且提交事务给数据库，事务T1再次读取这个数据就得到了不同的结果，发生了不可重复读。举个例子，我拿着工资卡去消费，系统读取到卡里确实有一百块钱，这个时候我的女朋友刚好用我的工资卡在网上转账，把我工资卡的一百块钱转到另一账户，并在我之前提交了事务，当我扣款时，系统检查到我的工资卡已经没有钱，扣款失败，廖志伟十分纳闷，明明卡里有钱的。第三个问题是幻读，事务T1对一个表的数据做了从“1”修改成“2”的操作，这时事务T2又对这个表插入了一条数据，而这个数据的值还是为“1”并且提交给数据库，操作事务T1的用户再查看刚刚修改的数据，会发现还有一行没有修改。举个例子，当我拿着工资卡去消费时，一旦系统开始读取工资卡信息，这个时候事务开始，我的女朋友就不可能对该记录进行修改，也就是我的女朋友不能在这个时候转账。这就避免了不可重复读。假设我的女朋友在银行部门工作，她时常通过银行内部系统查看我的工资卡消费记录。有一天，她正在查询到我当月信用卡的总消费金额（select sum(amount) from transaction where month = 本月）为80元，而我此时正好在外面胡吃海喝后在收银台买单，消费1000元，即新增了一条1000元的消费记录（insert transaction … ），并提交了事务，随后我的女朋友把我当月工资卡消费的明细打印到A4纸上，却发现消费总额为1080元，我女朋友很诧异，以为出现了幻觉，幻读就这样产生了。
对于千万级的表数据存储，删除大量记录后，表文件大小并没有随之变小。好奇怪，是什么原因导致的？不要着急，接下来，我们来深入剖析其中原因
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
