Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MySQL 的自增主键一定是连续

MySQL 的自增主键一定是连续

作者头像
飞天小牛肉
发布于 2023-01-11 07:51:52
发布于 2023-01-11 07:51:52
4K0
举报
文章被收录于专栏:飞天小牛肉飞天小牛肉

全文摘要

结合实例分析了自增值保存在哪里,自增值的修改策略,以及自增值不连续的四个场景,希望对各位小伙伴们有所帮助~

众所周知,自增主键可以让聚集索引尽量地保持递增顺序插入,避免了随机查询,从而提高了查询效率

但实际上,MySQL 的自增主键并不能保证一定是连续递增的。

下面举个例子来看下,如下所示创建一张表:

自增值保存在哪里?

使用 insert into test_pk values(null, 1, 1) 插入一行数据,再执行 show create table 命令来看一下表的结构定义:

上述表的结构定义存放在后缀名为 .frm 的本地文件中,在 MySQL 安装目录下的 data 文件夹下可以找到这个 .frm 文件:

从上述表结构可以看到,表定义里面出现了一个 AUTO_INCREMENT=2,表示下一次插入数据时,如果需要自动生成自增值,会生成 id = 2。

但需要注意的是,自增值并不会保存在这个表结构也就是 .frm 文件中,不同的引擎对于自增值的保存策略不同:

1)MyISAM 引擎的自增值保存在数据文件中

2)InnoDB 引擎的自增值,其实是保存在了内存里,并没有持久化。第一次打开表的时候,都会去找自增值的最大值 max(id),然后将 max(id)+1 作为这个表当前的自增值。

举个例子:我们现在表里当前数据行里最大的 id 是 1,AUTO_INCREMENT=2,对吧。这时候,我们删除 id=1 的行,AUTO_INCREMENT 还是 2。

但如果马上重启 MySQL 实例,重启后这个表的 AUTO_INCREMENT 就会变成 1。也就是说,MySQL 重启可能会修改一个表的 AUTO_INCREMENT 的值。

以上,是在我本地 MySQL 5.x 版本的实验,实际上,到了 MySQL 8.0 版本后,自增值的变更记录被放在了 redo log 中,提供了自增值持久化的能力,也就是实现了“如果发生重启,表的自增值可以根据 redo log 恢复为 MySQL 重启前的值”

也就是说对于上面这个例子来说,重启实例后这个表的 AUTO_INCREMENT 仍然是 2。

理解了 MySQL 自增值到底保存在哪里以后,我们再来看看自增值的修改机制,并以此引出第一种自增值不连续的场景。

自增值不连续场景 1

在 MySQL 里面,如果字段 id 被定义为 AUTO_INCREMENT,在插入一行数据的时候,自增值的行为如下:

  • 如果插入数据时 id 字段指定为 0、null 或未指定值,那么就把这个表当前的 AUTO_INCREMENT 值填到自增字段;
  • 如果插入数据时 id 字段指定了具体的值,就直接使用语句里指定的值。

根据要插入的值和当前自增值的大小关系,自增值的变更结果也会有所不同。假设某次要插入的值是 insert_num,当前的自增值是 autoIncrement_num

  • 如果 insert_num < autoIncrement_num,那么这个表的自增值不变
  • 如果 insert_num >= autoIncrement_num,就需要把当前自增值修改为新的自增值

也就是说,如果插入的 id 是 100,当前的自增值是 90,insert_num >= autoIncrement_num,那么自增值就会被修改为新的自增值即 101

一定是这样吗?

非也~

了解过分布式 id 的小伙伴一定知道,为了避免两个库生成的主键发生冲突,我们可以让一个库的自增 id 都是奇数,另一个库的自增 id 都是偶数

这个奇数偶数其实是通过 auto_increment_offsetauto_increment_increment 这两个参数来决定的,这俩分别用来表示自增的初始值和步长,默认值都是 1。

所以,上面的例子中生成新的自增值的步骤实际是这样的:从 auto_increment_offset 开始,以 auto_increment_increment 为步长,持续叠加,直到找到第一个大于 100 的值,作为新的自增值。

所以,这种情况下,自增值可能会是 102,103 等等之类的,就会导致不连续的主键 id。

更遗憾的是,即使在自增初始值和步长这两个参数都设置为 1 的时候,自增主键 id 也不一定能保证主键是连续的

自增值不连续场景 2

举个例子,我们现在往表里插入一条 (null,1,1) 的记录,生成的主键是 1,AUTO_INCREMENT= 2,对吧

这时我再执行一条插入 (null,1,1) 的命令,很显然会报错 Duplicate entry,因为我们设置了一个唯一索引字段 a

但是,你会惊奇的发现,虽然插入失败了,但自增值仍然从 2 增加到了 3!

这是为啥?

我们来分析下这个 insert 语句的执行流程:

  1. 执行器调用 InnoDB 引擎接口准备插入一行记录 (null,1,1);
  2. InnoDB 发现用户没有指定自增 id 的值,则获取表 test_pk 当前的自增值 2;
  3. 将传入的记录改成 (2,1,1);
  4. 将表的自增值改成 3;
  5. 继续执行插入数据操作,由于已经存在 a=1 的记录,所以报 Duplicate key error,语句返回

可以看到,自增值修改的这个操作,是在真正执行插入数据的操作之前。

这个语句真正执行的时候,因为碰到唯一键 a 冲突,所以 id = 2 这一行并没有插入成功,但也没有将自增值再改回去。所以,在这之后,再插入新的数据行时,拿到的自增 id 就是 3。也就是说,出现了自增主键不连续的情况。

至此,我们已经罗列了两种自增主键不连续的情况:

  1. 自增初始值和自增步长设置不为 1
  2. 唯一键冲突

除此之外,事务回滚也会导致这种情况

自增值不连续场景 3

我们现在表里有一行 (1,1,1) 的记录,AUTO_INCREMENT = 3:

我们先插入一行数据 (null, 2, 2),也就是 (3, 2, 2) 嘛,并且 AUTO_INCREMENT 变为 4:

再去执行这样一段 SQL:

虽然我们插入了一条 (null, 3, 3) 记录,但是使用 rollback 进行回滚了,所以数据库中是没有这条记录的:

在这种事务回滚的情况下,自增值并没有同样发生回滚!如下图所示,自增值仍然固执地从 4 增加到了 5:

所以这时候我们再去插入一条数据(null, 3, 3)的时候,主键 id 就会被自动赋为 5 了:

那么,为什么在出现唯一键冲突或者回滚的时候,MySQL 没有把表的自增值改回去呢?回退回去的话不就不会发生自增 id 不连续了吗?

事实上,这么做的主要原因是为了提高性能。

我们直接用反证法来验证:假设 MySQL 在事务回滚的时候会把自增值改回去,会发生什么?

现在有两个并行执行的事务 A 和 B,在申请自增值的时候,为了避免两个事务申请到相同的自增 id,肯定要加锁,然后顺序申请,对吧。

  1. 假设事务 A 申请到了 id = 1, 事务 B 申请到 id=2,那么这时候表 t 的自增值是3,之后继续执行。
  2. 事务 B 正确提交了,但事务 A 出现了唯一键冲突,也就是 id = 1 的那行记录插入失败了,那如果允许事务 A 把自增 id 回退,也就是把表的当前自增值改回 1,那么就会出现这样的情况:表里面已经有 id = 2 的行,而当前的自增 id 值是 1。
  3. 接下来,继续执行的其他事务就会申请到 id=2。这时,就会出现插入语句报错“主键冲突”。

而为了解决这个主键冲突,有两种方法:

  1. 每次申请 id 之前,先判断表里面是否已经存在这个 id,如果存在,就跳过这个 id
  2. 把自增 id 的锁范围扩大,必须等到一个事务执行完成并提交,下一个事务才能再申请自增 id

很显然,上述两个方法的成本都比较高,会导致性能问题。而究其原因呢,是我们假设的这个 “允许自增 id 回退”。

因此,InnoDB 放弃了这个设计,语句执行失败也不回退自增 id。也正是因为这样,所以才只保证了自增 id 是递增的,但不保证是连续的。

综上,已经分析了三种自增值不连续的场景,还有第四种场景:批量插入数据。

自增值不连续场景 4

对于批量插入数据的语句,MySQL 有一个批量申请自增 id 的策略:

  1. 语句执行过程中,第一次申请自增 id,会分配 1 个;
  2. 1 个用完以后,这个语句第二次申请自增 id,会分配 2 个;
  3. 2 个用完以后,还是这个语句,第三次申请自增 id,会分配 4 个;
  4. 依此类推,同一个语句去申请自增 id,每次申请到的自增 id 个数都是上一次的两倍。

注意,这里说的批量插入数据,不是在普通的 insert 语句里面包含多个 value 值!!!,因为这类语句在申请自增 id 的时候,是可以精确计算出需要多少个 id 的,然后一次性申请,申请完成后锁就可以释放了。

而对于 insert … select、replace … select 和 load data 这种类型的语句来说,MySQL 并不知道到底需要申请多少 id,所以就采用了这种批量申请的策略,毕竟一个一个申请的话实在太慢了。

举个例子,假设我们现在这个表有下面这些数据:

我们创建一个和当前表 test_pk 有相同结构定义的表 test_pk2

然后使用 insert...selectteset_pk2 表中批量插入数据:

可以看到,成功导入了数据。

再来看下 test_pk2 的自增值是多少:

如上分析,是 8 而不是 6

具体来说,insert…select 实际上往表中插入了 5 行数据 (1 1)(2 2)(3 3)(4 4)(5 5)。但是,这五行数据是分三次申请的自增 id,结合批量申请策略,每次申请到的自增 id 个数都是上一次的两倍,所以:

  • 第一次申请到了一个 id:id=1
  • 第二次被分配了两个 id:id=2 和 id=3
  • 第三次被分配到了 4 个 id:id=4、id = 5、id = 6、id=7

由于这条语句实际只用上了 5 个 id,所以 id=6 和 id=7 就被浪费掉了。之后,再执行 insert into test_pk2 values(null,6,6),实际上插入的数据就是(8,6,6):

小结

总结下自增值不连续的四个场景:

  1. 自增初始值和自增步长设置不为 1
  2. 唯一键冲突
  3. 事务回滚
  4. 批量插入(如 insert...select 语句)

@分享原创技术干货和成长经验.

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-12-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 飞天小牛肉 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MySQL自增主键为什么不连续
可以看到表定义中出现了AUTO_INCREMENT=2,表示下一次插入数据时如果需要自动生成自增值,那么id便是2。
shysh95
2022/04/07
8.7K0
MySQL自增主键为什么不连续
MySQL重大Bug!自增主键竟然不是连续递增
AUTO_INCREMENT=2,表示下一次插入数据时,若需要自动生成自增值,会生成id=2。
JavaEdge
2021/10/18
2.8K0
MySQL自增主键详解「建议收藏」
2.InnoDB引擎的自增值,在MySQL5.7及之前的版本,自增值保存在内存里,并没有持久化。每次重启后,第一次打开表的时候,都会去找自增值的最大值max(id),然后将max(id)+步长作为这个表当前的自增值
全栈程序员站长
2022/09/06
6.3K0
MySQL自增主键详解「建议收藏」
不懂就问:MySQL 自增主键一定是连续的吗?
如果你的业务设计依赖于自增主键的连续性,这个设计假设自增主键是连续的。但实际上,这样的假设是错的,因为自增主键不能保证连续递增。
SQL数据库开发
2024/04/24
2210
不懂就问:MySQL 自增主键一定是连续的吗?
MySQL实战第三十九讲-自增主键为什么不是连续的?
在 第4篇 文章中,我们提到过自增主键,由于自增主键可以让主键索引尽量地保持递增顺序插入,避免了页分裂,因此索引更紧凑。
越陌度阡
2022/11/27
1K0
MySQL实战第三十九讲-自增主键为什么不是连续的?
线上MySQL的自增id用尽怎么办?
MySQL的自增id都定义了初始值,然后不断加步长。虽然自然数没有上限,但定义了表示这个数的字节长度,计算机存储就有上限。比如,无符号整型(unsigned int)是4个字节,上限就是2^32 - 1。那自增id用完,会怎么样?
JavaEdge
2021/10/18
2.2K0
MySQL 主键 自增 ID 会用完吗?
首先我们一般创建 MySQL 数据表的时候,大部分情况下会创建一个自增主键ID 的字段,可能你的建表语句如下:
hedeqiang
2019/12/18
10.1K0
MySQL 主键 自增 ID 会用完吗?
自增主键不连续的几种情况
最近在极客时间上学习丁奇大佬的《MySQL 45讲》,这里结合自己的理解分享出来,喜欢的同学可以购买原版课程进行学习,里面的内容很丰富。
AsiaYe
2020/05/27
3.6K0
MySQL 主键自增注意事项
很多小伙伴应该知道,在 MySQL 中主键不应该使用随机字符串。但是主键不用随机字符串用什么?主键自增?主键自增就是最佳方案吗?有没有其他坑?今天我们就来讨论下这个话题。
江南一点雨
2024/06/07
5250
MySQL 主键自增注意事项
39 | 自增主键不连续
然后插入数据,最后看到,表会自动生成一个AUTO_INCREMENT的值,ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=latin1 ,表示下一次插入数据时,如果需要自动生成自增值,会生成 id=11。
HaC
2020/12/30
5.1K0
39 | 自增主键不连续
面试官问:MySQL的自增 ID 用完了,怎么办?
如果你用过或了解过MySQL,那你一定知道自增主键了。每个自增id都是定义了初始值,然后按照指定步长增长(默认步长是1)。虽然,自然数是没有上限的,但是我们在设计表结构的时候,通常都会指定字段长度,那么,这时候id就有上限了。既然有上限,就总有被用完的时候,如果id用完了,怎么办呢?今天就一起来学习下吧。
搜云库技术团队
2021/08/20
9810
深入分析Mybatis 使用useGeneratedKeys获取自增主键
我们经常使用useGenerateKeys来返回自增主键,避免多一次查询。也会经常使用on duplicate key update,来进行insertOrUpdate,来避免先query 在insert/update。用起来很爽,但是经常踩坑,还不知为何。本篇就是深入分析获取自增主键的原理。
方丈的寺院
2019/09/10
2.5K0
自增主键,三类插入测验答案,在这里。
《三类插入与自增键的关系》一文,基本解答了《自增键四道测验题》,仍有水友要求贴答案,原理都解释了,copy语句执行下,真的难么? 画外音:你们赢了,我还是贴一下执行结果。
架构师之路
2020/03/23
4480
自增主键,三类插入测验答案,在这里。
关于自增id 你可能还不知道
自增id是整型字段,我们常用int类型来定义增长id,而int类型有上限 即增长id也是有上限的。
MySQL技术
2019/09/08
1.3K0
面试官:mysql如何重置自增id
面试官:咱们聊聊mysql的自增id。mysql自增id给我们的自增主键定义带来了很大的方便,但是经常mysql的自增id会有不连续情况,能说说什么场景下mysql的id会产生不连续吗我:我以一张表为例来解释一下,我先创建一张表zh_person,这张表包括4个字段,自增id,姓名name,性别sex和身份证号id_no,id_no上有唯一索引,sql如下 CREATE TABLE `zh_person` ( `id` MEDIUMINT(11) NOT NULL AUTO_INCREMENT, `
jinjunzhu
2020/08/20
7.8K1
MySQL自增锁的探究
MySQL的自增锁是指在使用自增主键(Auto Increment)时,为了保证唯一性和正确性,系统会对自增字段进行加锁。这样可以确保同时插入多条记录时,每条记录都能够获得唯一的自增值。
绿水长流z
2024/06/13
4357
MySQL自增锁的探究
深入剖析 MySQL 自增锁
之前的文章把 InnoDB 中的所有的锁都介绍了一下,包括意向锁、记录锁...自增锁巴拉巴拉的。但是后面我自己回过头去看的时候发现,对自增锁的介绍居然才短短的一段。
冬夜先生
2021/10/08
3.6K0
mysql 主键自增语句_MySQL 自增主键[通俗易懂]
每次插入一条数据,其 ID 都是比上一条插入的数据的 ID 大,就算上一条数据被删除。
全栈程序员站长
2022/07/18
12.3K0
2021-01-05:mysql的自增id的实现逻辑是什么样子的?
答案来自这个链接: 每日一面 - mysql 的自增 id 的实现逻辑是什么样子的?
福大大架构师每日一题
2021/01/05
5410
MySQL自增主键id重启后重复使用问题解析
AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 随着业务数据的增长
疯狂的KK
2023/08/09
1.6K1
MySQL自增主键id重启后重复使用问题解析
推荐阅读
相关推荐
MySQL自增主键为什么不连续
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档