首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 案例:增列的空洞问题与“小”BUG

    前言 在 MySQL 的常见规范里面,每个表都要设置主键,一般来说都会推荐增列作为主键,这和 MySQL 属于聚簇索引表有关,顺序增长的主键比较合适。而增列中比较常遇见的问题就是增列的空洞。...原生的 MySQL 增列也存在一个 BUG,可能会影响到数据一致性,本文也会详细介绍,在自建 MySQL 的时候尽量不要踩到这个坑。...空洞问题 问题介绍 增列的空洞一般指的就是增列不是连续增长,中间出现一些数值上的断层。...现象是 MySQL 在 5.7 和 5.7 之前,增列的值是保存在内存中的,这就导致了 MySQL 重启之后会丢失这个增列的值,所以每次重启之后,MySQL 会把表的增列的值重置为增列的 MAX...> 可以看到原生的 MySQL 在重启之后增列的值被重置了。

    2.1K100

    MySql中InnoDB表为什么要建议用增列做主键

    这就要求同一个叶子节点内(大小为一个内存页或磁盘页)的各条数据记录按主键顺序存放,因此每当有一条新的记录插入时,MySQL会根据其主键将其插入适当的节点和位置,如果页面达到装载因子(InnoDB默认为15.../16),则开辟一个新的页(节点) 4、增主键 如果表使用增主键,那么每次插入新的记录,记录就会顺序添加到当前索引节点的后续位置,当一页写满,就会自动开辟一个新的页 5、非增主键 如果使用非增主键...总结 如果InnoDB表的数据写入顺序能和B+树索引的叶子节点顺序一致的话,这时候存取效率是最高的,也就是下面这几种情况的存取效率最高: 1、使用增列(INT/BIGINT类型)做主键,这时候写入顺序是增的...,和B+数叶子节点分裂顺序一致; 2、该表不指定增列做主键,同时也没有可以被选为主键的唯一索引(上面的条件),这时候InnoDB会选择内置的ROWID作为主键,写入顺序和ROWID增长顺序一致; 除此以外...《高性能MySQL》中的原话 ? ?

    3.9K20

    通过shell脚本模拟MySQL增列的不一致问题

    MySQL增列问题其实很有意思,在重启数据库之后,会按照max(id)+1的方式来计算,这样一个看起来有些别扭的实现方式在早期版本就饱受诟病,在MySQL 5.7都没有解决掉,终于在8.0松口了...而重启会带来自增列一类的潜在问题,而如果不重启其实也有可能会有增列的不一致问题。和两个参数table_definition_cache和table_open_cache还是密切相关的。...,如果表太多而不能全部放在缓存中的话,老的表就会被置换出来,这种被置换出来的表下次再使用的时候,就要重新打开一遍,对增列来说,这个过程就和实例重启类似,需要 select max(id) + 1 算一下增值...生成500个表,然后插入一条数据,修改自增列值,然后查询表里的数据,使得数据能够刷出,稍作等待,查看show create table的结果。...SHOW CREATE TABLE t$i; EOF done 测试完成之后,来查看增列的值情况.

    1.4K40

    深度解析auto-increment增列Duliplicate key问题

    (3) handler首次open的时候,会查询当前表中最大增列的值,并用最大列的值加1来初始化表的data_dict_t结构体中的autoinc的值。 (4) insert流程。...,并根据当前的auto_increment相关变量的值调整获取的增值;同时设置当前handler要处理的下一个增列的值。        ...handler::set_next_insert_id:设置当前事务中下一个要处理的行的增列的值。 (5) update_row。...复现方法如下: 同时在binlog中,我们也看到有update增列的操作。如图: 不过,由于binlog是ROW格式,我们也无法判断这是内核出问题导致了增列的变化还是用户自己更新所致。...因此我们联系了客户进行确认,结果用户很确定没有进行更新增列的操作。那么这些增列到底是怎么来的呢?

    1K20

    MySQL增列的重复值问题(r12笔记第25天)

    如果需要把一台MySQL中的数据定期归档到另外一台MySQL历史库中,那么很可能会发现会有重复值的问题,导致数据导入会失败,而这个问题其实是和增列的重复值有关,我们来简单看看。...这个时候使用show create table查看,定义信息中增列的值为4,即再插入一条记录,id值为4....+----+------+ | 1 | 2 | | 2 | 2 | +----+------+ 2 rows in set (0.00 sec) 这个时候如果查看表定义信息,就会发现增列目前是...AUTO_INCREMENT=3 DEFAULT CHARSET=latin1 1 row in set (0.00 sec) 这是什么原因呢,如果你试试MyISAM,就不会出现这类问题,而对于InnoDB来说,它的增列的实现在重启之后内存中肯定是没有了...这个情况不光是在MySQL 5.5存在,在MySQL 5.7也依旧存在。 而这类问题是否在数据迁移中会出现呢,我们也需要注意一下。 比如我们使用mysqldump导出数据,然后导入到另外一个环境。

    1.3K60

    mysql 快速导入数据_MySQL导入数据

    department,subject_n,teacher_name) values('",A1,"','",B1,"','",C1,"','",D1,"','",E1,"');") 参见:详情 2,通过直接导入...Excel到mysql表,如下图所示: 其实,也可以比上图更简单,第一步可以直接到最后一步,把最后一步中的文件名从dept.txt改为第一步中的dept…xls就行了 3、通过python解析excel...,然后python插入mysql #解析Excel import sys import os import MySQLdb import xlrd #解析Excel需要的库 #打开对应的Excel文件...#获取到数据就可以直接使用MySQLdb库调用插入语句进行数据插入操作了 4.pandas读取Excel文件,然后批量插入 在这里插入代码片 5.使用Navicat等工具,直接将excel导入数据库...参考文章: python执行mysql CUID操作 python解析excel 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。

    15.9K30

    深度解析auto-increment增列"Duliplicate key"问题

    (3) handler首次open的时候,会查询当前表中最大增列的值,并用最大列的值加1来初始化表的data_dict_t结构体中的autoinc的值。 (4) insert流程。...,并根据当前的auto_increment相关变量的值调整获取的增值;同时设置当前handler要处理的下一个增列的值。        ...handler::set_next_insert_id:设置当前事务中下一个要处理的行的增列的值。 (5) update_row。...同时在binlog中,我们也看到有update增列的操作。如图: ? 不过,由于binlog是ROW格式,我们也无法判断这是内核出问题导致了增列的变化还是用户自己更新所致。...因此我们联系了客户进行确认,结果用户很确定没有进行更新增列的操作。那么这些增列到底是怎么来的呢?

    2.2K40

    面试突击59:一个表中可以有多个增列吗?

    PS:本文以下内容基于 MySQL InnoDB 数据库引擎。...当我们试图将自增值设置为比增列中的最大值还要小的值的时候,增值会自动变为增列的最大值 +1 的值,如下图所示: 3.一个表可以有多个增列吗?...一个表中只能有一个增列,这和一个表只能有一个主键的规则类似,当我们尝试给一个表添加一个增列时,可以正常添加成功,如下图所示: 当我们尝试给一个表添加多个增列时,会提示只能有一个增列的报错信息...,如下图所示: 4.其他注意事项 除了一个表只能添加一个增列之外,增列还需要注意以下两个问题。...一个表中只能有一个增列,就像一个表中只能有一个主键一样,如果设置多个增列,那么 SQL 执行就会报错。

    1.9K10

    mysql 主键增语句_MySQL 增主键

    增主键的单调性 为何会有单调性的问题? 这主要跟增主键最大值的获取方式,以及存放位置有关系。 如果最大值是通过计算获取的,并且在某些情况下需要重新获取时,会因为最新的数据被删除而减小。...增主键最大值怎么取的?存放到哪里?...MySQL 5.7 及之前的版本,增主键最大值会在启动(重启)后从数据库中取出放到内存: SELECT MAX(ai_col) FROM table_name FOR UPDATE; 这样获取是通过计算的...从 MySQL 8.0 开始,增主键最大值会在每次修改后写入到 redo log,并且在每个检查点写入引擎私有的系统表。 如果是正常重启,则读取系统表里的值。...参考文档 为什么 MySQL增主键不单调也不连续 https://database.51cto.com/art/202004/614923.htm 《MySQL技术内幕——InnoDB存储引擎》

    10.8K10
    领券