今天在线上发现一个问题,挺有意思的,这里简单记录下。 问题的背景是查看一个Grafana监控的时候,发现监控没有数据了:
关于MySQL里的change和modify,总是看到两种不同的语法,在Oracle中语法有modify,如果修改表名有rename。 alter table change,modify的语法如下: | ALTER [COLUMN] col_name {SET DEFAULT literal | DROP DEFAULT} | CHANGE [COLUMN] old_col_name new_col_name column_definition [FIRST|AFTER co
mysql在主从复制过程中,由于各种的原因,从服务器可能会遇到执行BINLOG中的SQL出错的情况,在默认情况下,服务器会停止复制进程,不再进行同步,等到用户自行来处理。
在数据流转中或者日常的数据操作中,势必会有数据写入的过程,如果把一些数据写入一张数据库表中,如果写入量有100万,而重复的数据有90万,那么如何让这10%的数据能够更高更高效的写入。
在 MySQL 中,IGNORE 是一种在插入或更新数据时处理冲突的选项。具体来说,在 INSERT | UPDATE 语句中,IGNORE 的作用是在插入或更新数据时忽略特定的错误,而不导致整个操作失败。另外,IGNORE 选项还可以在非空约束、写入的字段内容超过字段长度时进行截断处理等,下面是几个具体的例子。
DDL:Data Define Language数据定义语言,主要用来对数据库、表进行一些管理操作。
错误提示是主键冲突,但是当我们去查询 id= 7458421 时,并无此记录。是不是很奇怪?遇到这种情况,一般有如下场景:
群晖安装 MariaDB10 后,默认仅支持本机连接,也就是说,你的局域网电脑是连接不上的,如果需要局域网连接,需要做处理。
INSERT IGNORE不仅仅会忽略DUPLICATE KEY错误,也会忽略非空错误
非空约束(NOT NULL)指字段的值不能为空。对于使用了非空约束的字段,用户在添加数据时没有指定值,数据库系统就会报错。可以通过 CREATE TABLE 或 ALTER TABLE 语句实现非空。在表中某个列的定义后加上关键字 NOT NULL 作为限定词,来约束该列的取值不能为空。
1、unique约束确保列中的没有重复的值,unique和primary key约束都为一列值的唯一性提供保障。
打开 /etc/mysql/my.cnf 文件,找到 bind-address = 127.0.0.1 修改为 bind-address = 0.0.0.0
约束其实就是一种限制,用于修饰表中的列. 通过这种限制来保证表中数据的正确性、有效性和完整性。
有的时候会需要写一段insert的sql,如果主键存在,则update;如果主键不存在,则insert。Mysql中提供了这样的用法:ON DUPLICATE KEY UPDATE。下面就看看它是如何使用的吧! 首先数据库的原始数据如下: a b c 1 b1 c1 2 b2 c2 3 b3 c3 此时如果执行下面的sql就会报错 INSERT INTO test VALUES(1,'b4','c4'); 报错信息如下,提示无法重复插入: 1 queries executed
GORM(Golang Object Relational Mapping)是一个用于 Golang 的对象关系映射(ORM)库。
MySQL限制数据重复的方式:表上增加主键(Primary Key)或增加唯一性索引(Unique)
DUPLICATE KEY UPDATE batch执行时出死锁错误 背景知识 一、 mysql insert 与 duplicate key: 典型的插入语句: 多条:INSERT INTO tablename (columnA, columnB, columnC) VALUES ('a', 1, 2), ('b', 7, 5) 单条:INSERT INTO tablename SET columnA='a', columnB=1, columnC=2 复制:INSERT [options1] [INT
1062错误----主键冲突,出现这种情况就是从库出现插入操作,主库又重新来了一遍,iothread没问题,sqlthread出错
在某些情况下,重复确实会导致问题,并且它们常常由于隐式动作或MariaDB命令的宽松策略而出现。 有多种方法可以控制此问题,查找重复项,删除重复项,并防止重复创建。
今天在修复MySQL数据的时候,发现一个看起来“奇怪”的问题。 有一个表里存在一个唯一性索引,这个索引包含3个列,这个唯一性索引的意义就是通过这3个列能够定位到具体1行的数据,但是在实际中却发现这个唯一性索引还是有一个地方可能被大家忽略了。 我们先来看看数据的情况。 CREATE TABLE `test_base_data` ( `servertime` datetime DEFAULT NULL COMMENT '时间', `appkey` varchar(64) DEFAULT N
MySQL 在数据增长中,会遇到一个问题数据在清理后,无法将数据表空间回收,大多数的人员在处理这个问题的时候,可以通过optimize table 的方案来解决.
本文在测试 insert、insert ignore、replace into 三种数据插入方式的时候,发现插入数据的时候在表内存在带有“唯一特性”的值重复的情况下三种语句的处理方式。最终发现了MySQL主键自增值“空洞”了
问题描述: sql语句执行的时候,插入语句无法正确执行 问题原因: 主键 重复 出现 0 解决方案: 将主键设置为自增
1.有主键 如果设置了主键,并且一般会把主键设置成自增。 我们知道,Mysql里int类型是4个字节,如果有符号位的话就是[-2^31,2^31-1],无符号位的话最大值就是2^32-1,也就是4294967295。
INSERT ... ON DUPLICATE KEY UPDATE是MySQL insert的一种扩展。当发现有重复的唯一索引(unique key)或者主键(primary key)的时候,会进行更新操作;如果没有,那么执行插入操作。
最近有客户反馈,说线上服务在一小段时间内出现偶发的请求失败情况,需要我们排查并给出具体问题。对于这样的问题,我们一般都会猜疑是不是网络抖动,但是需要有理有据的解释清楚问题,还是要基于日志事实求事去分析。在日志中我发现的报错是这个样子的:
昨天快下班的时候,突然开发的同事找我说有个紧急需求,负责这个业务的DBA同事回家了,想让我帮忙看看,运行个SQL语句,几秒钟就好。我一听,就本着人道主义的精神留下来处理,但是发现似乎留给我的是一个大坑。 了解了问题之后,让我有些后背发凉,这个表根据开发同事反馈有20亿的数据,这得多大的一个表啊,当前的问题是这个表里的主键id数据类型是int,因为数据类型的限制已经达到了最大值,现在插入不了数据了。希望我帮忙处理一下,把数据类型修改为bigint. 我们简单来了解一下MySQL的数据类型。 对于数据类型有下面
前言 Column 对应表里面的每个字段 Column常用参数 第一个参数传数据类型,sqlalchemy常用数据类型: 参数 类型 String 字符类型,使用时需要指定长度,区别于Text类型 Text 文本类型 LONGTEXT 长文本类型 Integer 整形 Float 浮点类型 Boolean 传递True/False Decimal 具有小数点而且数值确定的数值 Enum 枚举类型 DateTime 日期时间类型 Date 传递datetime.date()进去 Time 传递datatime
外键主要是维护表之间的关系的,主要是为了保证参照完整性,如果表中的某个字段为外键 字段,那么该字段的值必须来源于参照的表的主键
读者反馈了一个死锁案例,比较有意思,上一篇文章讲了怎么通过调试源码来分析锁,今天再来分析一个死锁场景。
(一)完整性设计 方法一、在设计表时定义约束 删除数据库school,建立新数据库school1 drop database school; create database school; use school; 1.定义约束 create table Student( Sno char(9) primary key, /*主键约束 提示primary key */ Sname char(20) unique, /* 唯一约束 提示 unique */ Ssex cha
MySQL 校对规则属于 PADSPACE,会忽略尾部空格。针对的是 varchar char text 等文本类的数据类型。此为 SQL 标准化行为。无需要设置也无法改变。
今天上班的时候,业务方问了我这样一个问题:我有一个表,需要添加一个唯一的字段,但是目前这个字段存在一些重复值,有没有好的解决办法。
版权声明:本文为博主原创文章,未经博主允许不得转载。 表结构 CREATE TABLE `t3` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) NOT NULL, `c2` varchar(20) DEFAULT NULL, `c3` int(11) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `c1` (`c1`) USING BTREE ) ENGI
今天星期二,早上居然起晚了,上班迟到了,简直是。。。废话不多说,在昨天的文章中,我们提到了三个参数,分别是:
当status_x<>5时,obj_x的值唯一,否则可以重复。在MySQL中不支持这样的功能,但可以通过虚拟列来实现。看下面一个简单例子。
mysql在存在主键冲突或者唯一键冲突的情况下,根据插入策略不同,一般有以下三种避免方法。 1、insert ignore 2、replace into 3、insert on duplicate key update
备份主库时一般使用mysqldump命令 加上--master-data参数可得到起始点
在为一个字段建立索引时,称为单值索引,在多个字段同时建立索引时,称为复合索引(提取多个字段值组合)。
MySQL的报错信息有时可能和大家预期的不一样,本文将根据实际案例演示最常见的唯一索引报错与预期情况有差异,不了解的同学可能以为有bug。
insert ignore会忽略数据库中已经存在的数据(根据主键或者唯一索引判断),如果数据库没有数据,就插入新的数据,如果有数据的话就跳过这条数据.
周末的时候,突然收到报警的短信,是一台slave服务器sql_thread不为YES,唉,还能不能愉快的过周末啊。上服务器一看是,是主键冲突导致从库中断,也是Last_SQL_Errno: 1062错误,我们常用的方法是跳过错误,比如SET GLOBAL SQL_SLAVE_SKIP_COUNTER =1或者直接slave-skip-errors=1062,这样确实解决了问题,恢复了复制。但是久而久之主从数据相差就很大了。对于复制正常以后,我们还需要使用数据效验,用校验数据的完整性,以及pt-table-sync同步数据。
可以发现 AUTO_INCREMENT 已经自动变成2,这离用完还有很远,我们可以算下最大当前声明的自增ID最大是多少,由于这里定义的是 intunsigned,所以最大可以达到2的32幂次方 - 1 = 4294967295
当然基于MySQL自增列的实现,确实是不够优雅,在新的版本还在持续引入新的特性。比如MGR里面,自增列的步长大了许多,默认是7了,这是在设计的时候考虑了MGR的节点数,提前做了预留,大多数情况下我们可以避免大量的预留值浪费。
现居珠海,主要负责 Oracle、MySQL、mongoDB 和 Redis 维护工作。
领取专属 10元无门槛券
手把手带您无忧上云