前言 Percona Toolkit 是一系列进行mysql管理的工具,强大而高效,可以完成很多复杂的工作,是mysql数据库运维工程师居家旅行必备的良品。...,由 percona 收集整理和维护而成 其中有两个特别有用的工具 pt-table-checksum 和 pt-table-sync ,分别可以用来进行主从一致性检查,和不一致数据修复 下面分享一下Mysql...复制数据一致性检查的基本操作,详细可以参阅 官方文档 Tip: 目前官方版本是 Percona Toolkit 2.2.16 ---- 概要 ---- 下载安装Percona Toolkit [root...| 1.7 kB 00:00 Importing GPG key 0xCD2EFD2A "Percona MySQL...Development Team " from /etc/pki/rpm-gpg/RPM-GPG-KEY-Percona Is this ok [y/N]
背景 在开发过程中,设置 IDEA 连接数据mysql数据库连接时遇到异常“Server returns invalid timezone....意思是时区设置的不对。 于是寻找解决方法。 2.思路 先登录到mysql 安装所在的机器。...看下当前的mysql时区设置 show variables like "%time_zone%"; 下图显示 SYSTEM,表示用的默认时区,我们要修改成 +8的北京所在时区。 ?...示例 Step 1: 登录到mysql 安装所在的机器 执行指令:mysql -hlocalhost -uroot -p,回车 输入密码 即进入mysql交互模式 Step 2: 修改时区 set...设置重启永久生效 修改配置文件 /etc/my.cnf [mysqld] default-time_zone = '+8:00' 重启mysql systemctl stop mysqld.service
修复数据不一致 使用 pt-table-sync 来进行数据不一致修复 pt-table-sync synchronizes data efficiently between MySQL tables...[mysql@replication-check-vm ~]$ pt-table-sync --replicate test.checksum h=slave-vm,u=root --ask-pass...databases=abc_test_db --tables=users --print > /tmp/users.sql Enter password for slave-vm: [mysql...,或手动执行其中部分SQL 执行完修改后,再重复上面的操作检查一次 这个工具好在,业务在线时可以执行,不会对系统造成很大影响(会产生一定量的读IO,但不会产生有明显业务影响的锁),特别是在大表,核心表数据一致性检查时太能解渴了
MySQL默认字符编码的设置 MySQL的默认编码是Latin1,不支持中文,那么如何修改MySQL的默认编码呢,下面以UTF-8为例来说明 需要注意的是,要修改的地方非常多,相应的修改方法也很多...下面是一种最简单最彻底的方法: 一、Windows 1、中止MySQL服务 2、在MySQL的安装目录下找到my.ini,如果没有就把my-medium.ini复制为一个my.ini...即可 3、打开my.ini以后,在[client]和[mysqld]下面均加上default-character-set=utf8,保存并关闭 4、启动MySQL服务 二、Linux... 1、中止MySQL服务(bin/mysqladmin -u root shutdown) 2、在/etc/下找到my.cnf,如果没有就把MySQL的安装目录下的support-files...服务(bin/mysqld_safe &) 非常简单,这样的修改一劳永逸,今后MySQL一切相关的默认编码均为UTF-8了,创建新表格的时候无需再次设置 需要注意的是,当前数据库中已经存在的数据仍保留现有的编码方式
mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码...修改库的编码: mysql> alter database db_name character set utf8; 修改表的编码: mysql> ALTER TABLE table_name CONVERT...TO CHARACTER SET utf8 COLLATE utf8_general_ci; 可以在mysql中设置编码,单个设置 mysql> set character_set_connection...=utf8; mysql> set character_set_database=utf8; mysql> set character_set_results=utf8; mysql> set character_set_server...mysqld] default-character-set=utf8 character_set_server=utf8 init_connect='SET NAMES utf8' 重启mysql
检查示例 [mysql@replication-check-vm ~]$ pt-table-checksum --nocheck-replication-filters --nocheck-binlog-format...replicate=test.checksum --tables abc_test_db.users h=replication-check-vm,u=root --ask-pass Enter MySQL...SKIPPED TIME TABLE 11-19T22:02:30 0 103 14879748 154 0 594.225 abc_test_db.users [mysql...使用提示密码的方式连接数据库,而不是使用DSN指定,更安全 Note: 此时的DSN要指定master,并且首先要解决对于数据库的读写权限问题 Tip: 可以一次指定多个表进行检查,中间使用逗号分隔 [mysql...user_key_db.user_schema,user_key_db.log_records h=replication-check-vm,u=root --ask-pass Enter MySQL
作为互联网公司使用得最多的通用数据库系统,MySQL,在数据一致性方面就有较多的考虑,同时也给了用户较多的设置选项,用来满足不同业务场景下数据一致性和性能的需求(业务需要对数据一致性和性能做权衡,这里不展开...MySQL数据一致性大体上包括两方面:单机数据一致性和集群数据一致性,本文就围绕这两方面进行说明。...单机数据一致性 MySQL崩溃后,保证单机数据一致性主要包括两个机制:“MySQL binary log和InnoDB redo log的一致性”和“InnoDB数据文件的一致性”。...这个机制提升了数据灾难恢复机制,也就提升了数据一致性。 集群数据一致性 原生MySQL有很多种搭建集群的方式,这里为了把原理说清楚,只对“1主N备”的集群形式做说明。...本文介绍了MySQL数据一致性的大部分原理,MySQL原生的一致性保障有时还是无法满足生产环境的需求,因此各大公司还会通过修改MySQL复制机制、实现同步插件等方式做到应用场景匹配的一致性需求。
一.简介 源码地址 日期:2018/4/12 介绍:参考pt checksum思想改写,可以定制化的检查随意两个mysql节点的数据一致性。...功能: 检查随意两个几点的数据一致性 支持并发检查,基于库的并发 支持指定行数,如默认10000。...效果图: 二.使用 适用:centos6+ 语言:中文 注意:执行前先编辑配置文件 1.下载 git clone https://gitee.com/mo-shan/check_data_for_mysql.git1...cd check_data_for_mysql` 2.编辑配置文件 vim conf/check.conf 3.修改工作路径,将这里的check_data_for_mysql_path改成check_data_for_mysql...*#work_dir=\"/check_data_for_mysql_path\"#g' bin/start.sh 4.使用 bash bin/start.sh
3、读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。...设置缓存过期时间是关键点 1、从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案 2、所有的写操作以数据库为准,只要到达缓存过期时间,缓存删除 3、如果后面还有读请求的话,就会从数据库中读取新值然后回填缓存...的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性 这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis!...总结 在高并发应用场景下,如果是对数据一致性要求高的情况下,要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种,分别是延时双删策略和异步更新缓存两种方案。...另外,设置缓存的过期时间是保证数据保持一致性的关键操作,需要结合业务进行合理的设置。 --end--
数据库,目前用的mysql,如果你说我就要替换掉,那也不是不可能,但就是成本比较高,但又有什么理由去做一个费力不讨好的事儿呢?...2.1 mysql和Redis如何保持一致性说了半天,其实我想跟你探讨如果小D是mysql,M是Redis,怎么保证mysql和Redis的数据一致性呢,我调研了业内的一些做法,别嫌麻烦,看一看也许能让你年薪...解决方法:适用于低频的写操作;同时给缓存数据设置过期时间css复制代码策略2:先写数据库,后删缓存case1:数据库成功,缓存失败:数据库值是最新的,缓存是旧值:-不一致。
我们都知道关系型数据库事务能保证数据一致性,那数据库到底是怎么设计事务这一特性的呢? 一、MySQL事务模型ACID MySQL是一个多引擎数据库,其中InnoDB支持数据库事务,也是最常用的引擎。...如果感兴趣,可以访问MySQL的官方网站www.mysql.com “Undo Tablespaces”包含Undo Log(撤消日志),Undo Log是撤消日志记录的集合,其中包含如何撤消事务对聚集索引记录的最新更改的信息...此外,删除在内部被视为更新,其中行中的特殊位被设置为将其标记为已删除。 (2)DB_ROLL_PTR字段,7字节,叫做回滚指针(roll pointer)。...隔离级别是当多个事务同时进行更改和执行查询时,微调性能、可靠性、一致性和结果再现性之间的平衡的设置。...MySQL官方文档在“锁和事务模型”这一章节开始就介绍了InnoDB的锁,截个目录,感兴趣可以去读一下。 ?
设置规则 这个其实与validate_password_policy的值有关,默认为1,所以刚开始设置的密码必须符合长度,且必须含有数字,小写或大写字母,特殊字符。...如果我们不希望密码设置的那么复杂,需要修改两个全局参数:validate_password_length默认值为8,最小值为4 set global validate_password_policy=0...password oldpass "newpass" 更改当前用户密码 ALTER USER USER() IDENTIFIED BY '123456'; 用UPDATE直接编辑user表 use mysql...newpass') WHERE user = 'root'; FLUSH PRIVILEGES; root密码丢失 关闭验证密码 mysqld_safe --skip-grant-tables& 登陆 mysql...-u root mysql 重置 UPDATE user SET password=PASSWORD("new password") WHERE user='root'; 5.7版本 UPDATE user
3、读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。...设置缓存过期时间是关键点 1、从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案 2、所有的写操作以数据库为准,只要到达缓存过期时间,缓存删除 3、如果后面还有读请求的话,就会从数据库中读取新值然后回填缓存...的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性 “这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis!...总结 在高并发应用场景下,如果是对数据一致性要求高的情况下,要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种,分别是延时双删策略和异步更新缓存两种方案。...另外,设置缓存的过期时间是保证数据保持一致性的关键操作,需要结合业务进行合理的设置。
1.授予远程主机访问MySQL 在MySQL Server端,执行mysql 命令进入mysql 命令模式。使用grant命令用来建立新用户,指定用户口令并增加用户权限。...需要通过-h指定MySQL服务端的主机地址。 示例二: 授予来自任意远程主机的用户dablelv对MySQL服务端的所有数据库和数据表拥有所有权限。...MySQL用户权限的列表。...@localhost; 查询结果如下: image.png 查看MySQL所有用户的权限,可以从mysql的用户表mysql.user中查询。...select * from mysql.user where user="userName"; ---- 参考文献 [1]MySQL用户权限类型 [2]查看MYSQL数据库中所有用户及拥有权限
一、常见现象 运维工作中会经常维护MySQL主从服务器,当然Slave我们只是用于读操作。一般权限开通也只授权只读账号,但是有时候维护工作可能不是一个人在做,你不能保证其他同事都按照这个标准操作。...有同事可能会授权Slave库MySQL账号为all或者select,update,insert,delete。...为了避免上述问题,我们需要给MySQL的Slave设置为只读模式。...read_only=0 为取消普通账号的只读模式 授权普通MySQL测试账号 mysql> grant select,insert,update,delete on s18.* to 'test'@...可以用锁表: mysql> flush tables with read lock; Query OK, 0 rows affected (0.18 sec) 使用root账号测试: mysql> delete
可以在application.yml添加配置项: spring: datasource: driver-class-name: com.mysql.jdbc.Driver # 使用开发用数据库...book_dev url: jdbc:mysql://192.168.99.100:32770/my_blog?
前言 这里我已经将MySQL的数据库编码设置为UTF-8,所以下面现实的都是UTF-8。 ...设置MySQL数据库的编码方式有三种,分别是基于session会话的、基于全局gloable的、永久性改变的。...正文 1.首先连接到MySQL : mysql -uroot -proot 2.输入\s,即可查看数据库的字符编码 3.查看数据库的详细编码 输入:show variables like '%char...6.设置全局的数据库字符编码,即使基于整个MySQL服务的,当重启MySQL服务的时候,编码依然会变为原来的字符编码 set global character_set_database=gbk; ...但是我们重启MySQL数据库的时候,编码又是回复为原来的utf-8了。
文章目录 1.授予远程主机访问MySQL 2.MySQL用户的权限类型 3.查看用户权限 参考文献 1.授予远程主机访问MySQL 在 MySQL Server 端,执行 mysql 命令进入 mysql...需要通过-h指定MySQL服务端的主机地址。 示例二: 授予来自任意远程主机的用户dablelv对MySQL服务端的所有数据库和数据表拥有所有权限。...MySQL用户权限的列表。...; 查询结果如下: 查看 MySQL 所有用户的权限,可以从用户表 mysql.user 中查询。...select * from mysql.user where user="userName"; ---- 参考文献 MySQL用户权限类型 查看MYSQL数据库中所有用户及拥有权限
读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。...3.1.3 设置缓存过期时间是关键点 从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案 所有的写操作以数据库为准,只要到达缓存过期时间,缓存删除 如果后面还有读请求的话,就会从数据库中读取新值然后回填缓存...,因为MySQL的主备也是通过binlog来实现的数据一致性 这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis!...—4— 总结 在高并发应用场景下,如果是对数据一致性要求高的情况下,要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种,分别是延时双删策略和异步更新缓存两种方案。...另外,设置缓存的过期时间是保证数据保持一致性的关键操作,需要结合业务进行合理的设置。
在使用MySQL时,数据不一致的情况也可能出现,所以,本文就来看看MySQL是如何保证数据一致的。 MySQL保证的一致性 在这之前先划清一下界限,看一下MySQL保证的是哪里的一致性。...在MySQL内部执行时因为某些故障而出现了不一致情况。 很显然,第三点是需要MySQL解决处理的。...而第一点是属于MySQL客户端的逻辑BUG,第二点会存在客户端在使用事务时不遵循规则的情况,都属于外部因素,MySQL不可控。 所以,MySQL保证的一致性是:在一个事务中的DML(增删改)操作。...接下来具体看一下InnoDB针对以上几种情况是如何处理解决,从而保证数据一致性的。...这个就不得不说到MySQL的XA两阶段提交协议了,在这之前,我一直以为XA是运用到MySQL与外部应用的,没想到是应用在MySQL内部的。
领取专属 10元无门槛券
手把手带您无忧上云