前言 Percona Toolkit 是一系列进行mysql管理的工具，强大而高效，可以完成很多复杂的工作，是mysql数据库运维工程师居家旅行必备的良品。...，由 percona 收集整理和维护而成 其中有两个特别有用的工具 pt-table-checksum 和 pt-table-sync ，分别可以用来进行主从一致性检查，和不一致数据修复 下面分享一下Mysql...复制数据一致性检查的基本操作，详细可以参阅 官方文档 Tip: 目前官方版本是 Percona Toolkit 2.2.16 ---- 概要 ---- 下载安装Percona Toolkit [root...| 1.7 kB 00:00 Importing GPG key 0xCD2EFD2A "Percona MySQL...Development Team " from /etc/pki/rpm-gpg/RPM-GPG-KEY-Percona Is this ok [y/N]
背景 在开发过程中，设置 IDEA 连接数据mysql数据库连接时遇到异常“Server returns invalid timezone....意思是时区设置的不对。 于是寻找解决方法。 2.思路 先登录到mysql 安装所在的机器。...看下当前的mysql时区设置 show variables like "%time_zone%"; 下图显示 SYSTEM，表示用的默认时区，我们要修改成 +8的北京所在时区。 ?...示例 Step 1: 登录到mysql 安装所在的机器 执行指令：mysql -hlocalhost -uroot -p，回车 输入密码 即进入mysql交互模式 Step 2: 修改时区 set...设置重启永久生效 修改配置文件 /etc/my.cnf [mysqld] default-time_zone = '+8:00' 重启mysql systemctl stop mysqld.service
修复数据不一致 使用 pt-table-sync 来进行数据不一致修复 pt-table-sync synchronizes data efficiently between MySQL tables...[mysql@replication-check-vm ~]$ pt-table-sync --replicate test.checksum h=slave-vm,u=root --ask-pass...databases=abc_test_db --tables=users --print > /tmp/users.sql Enter password for slave-vm: [mysql...，或手动执行其中部分SQL 执行完修改后，再重复上面的操作检查一次 这个工具好在，业务在线时可以执行，不会对系统造成很大影响(会产生一定量的读IO，但不会产生有明显业务影响的锁)，特别是在大表，核心表数据一致性检查时太能解渴了
MySQL默认字符编码的设置 MySQL的默认编码是Latin1，不支持中文，那么如何修改MySQL的默认编码呢，下面以UTF-8为例来说明 需要注意的是，要修改的地方非常多，相应的修改方法也很多...下面是一种最简单最彻底的方法： 一、Windows 1、中止MySQL服务 2、在MySQL的安装目录下找到my.ini，如果没有就把my-medium.ini复制为一个my.ini...即可 3、打开my.ini以后，在[client]和[mysqld]下面均加上default-character-set=utf8，保存并关闭 4、启动MySQL服务 二、Linux... 1、中止MySQL服务（bin/mysqladmin -u root shutdown） 2、在/etc/下找到my.cnf，如果没有就把MySQL的安装目录下的support-files...服务（bin/mysqld_safe &） 非常简单，这样的修改一劳永逸，今后MySQL一切相关的默认编码均为UTF-8了，创建新表格的时候无需再次设置 需要注意的是，当前数据库中已经存在的数据仍保留现有的编码方式
mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码...修改库的编码： mysql> alter database db_name character set utf8; 修改表的编码： mysql> ALTER TABLE table_name CONVERT...TO CHARACTER SET utf8 COLLATE utf8_general_ci; 可以在mysql中设置编码，单个设置 mysql> set character_set_connection...=utf8; mysql> set character_set_database=utf8; mysql> set character_set_results=utf8; mysql> set character_set_server...mysqld] default-character-set=utf8 character_set_server=utf8 init_connect='SET NAMES utf8' 重启mysql
检查示例 [mysql@replication-check-vm ~]$ pt-table-checksum --nocheck-replication-filters --nocheck-binlog-format...replicate=test.checksum --tables abc_test_db.users h=replication-check-vm,u=root --ask-pass Enter MySQL...SKIPPED TIME TABLE 11-19T22:02:30 0 103 14879748 154 0 594.225 abc_test_db.users [mysql...使用提示密码的方式连接数据库，而不是使用DSN指定，更安全 Note: 此时的DSN要指定master，并且首先要解决对于数据库的读写权限问题 Tip: 可以一次指定多个表进行检查，中间使用逗号分隔 [mysql...user_key_db.user_schema,user_key_db.log_records h=replication-check-vm,u=root --ask-pass Enter MySQL
作为互联网公司使用得最多的通用数据库系统，MySQL，在数据一致性方面就有较多的考虑，同时也给了用户较多的设置选项，用来满足不同业务场景下数据一致性和性能的需求（业务需要对数据一致性和性能做权衡，这里不展开...MySQL数据一致性大体上包括两方面：单机数据一致性和集群数据一致性，本文就围绕这两方面进行说明。...单机数据一致性 MySQL崩溃后，保证单机数据一致性主要包括两个机制：“MySQL binary log和InnoDB redo log的一致性”和“InnoDB数据文件的一致性”。...这个机制提升了数据灾难恢复机制，也就提升了数据一致性。 集群数据一致性 原生MySQL有很多种搭建集群的方式，这里为了把原理说清楚，只对“1主N备”的集群形式做说明。...本文介绍了MySQL数据一致性的大部分原理，MySQL原生的一致性保障有时还是无法满足生产环境的需求，因此各大公司还会通过修改MySQL复制机制、实现同步插件等方式做到应用场景匹配的一致性需求。
一.简介 源码地址 日期：2018/4/12 介绍：参考pt checksum思想改写，可以定制化的检查随意两个mysql节点的数据一致性。...功能： 检查随意两个几点的数据一致性 支持并发检查，基于库的并发 支持指定行数，如默认10000。...效果图： 二.使用 适用：centos6+ 语言：中文 注意：执行前先编辑配置文件 1.下载 git clone https://gitee.com/mo-shan/check_data_for_mysql.git1...cd check_data_for_mysql` 2.编辑配置文件 vim conf/check.conf 3.修改工作路径，将这里的check_data_for_mysql_path改成check_data_for_mysql...*#work_dir=\"/check_data_for_mysql_path\"#g' bin/start.sh 4.使用 bash bin/start.sh
3、读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数据一致性问题。...设置缓存过期时间是关键点 1、从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案 2、所有的写操作以数据库为准，只要到达缓存过期时间，缓存删除 3、如果后面还有读请求的话，就会从数据库中读取新值然后回填缓存...的主从备份机制，因为MySQL的主备也是通过binlog来实现的数据一致性 这里的消息推送工具你也可以采用别的第三方：kafka、rabbitMQ等来实现推送更新Redis!...总结 在高并发应用场景下，如果是对数据一致性要求高的情况下，要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种，分别是延时双删策略和异步更新缓存两种方案。...另外，设置缓存的过期时间是保证数据保持一致性的关键操作，需要结合业务进行合理的设置。 --end--
数据库，目前用的mysql，如果你说我就要替换掉，那也不是不可能，但就是成本比较高，但又有什么理由去做一个费力不讨好的事儿呢？...2.1 mysql和Redis如何保持一致性说了半天，其实我想跟你探讨如果小D是mysql，M是Redis，怎么保证mysql和Redis的数据一致性呢，我调研了业内的一些做法，别嫌麻烦，看一看也许能让你年薪...解决方法：适用于低频的写操作；同时给缓存数据设置过期时间css复制代码策略2：先写数据库，后删缓存case1：数据库成功，缓存失败：数据库值是最新的，缓存是旧值：-不一致。
我们都知道关系型数据库事务能保证数据一致性，那数据库到底是怎么设计事务这一特性的呢？ 一、MySQL事务模型ACID MySQL是一个多引擎数据库，其中InnoDB支持数据库事务，也是最常用的引擎。...如果感兴趣，可以访问MySQL的官方网站www.mysql.com “Undo Tablespaces”包含Undo Log（撤消日志），Undo Log是撤消日志记录的集合，其中包含如何撤消事务对聚集索引记录的最新更改的信息...此外，删除在内部被视为更新，其中行中的特殊位被设置为将其标记为已删除。 （2）DB_ROLL_PTR字段，7字节，叫做回滚指针（roll pointer）。...隔离级别是当多个事务同时进行更改和执行查询时，微调性能、可靠性、一致性和结果再现性之间的平衡的设置。...MySQL官方文档在“锁和事务模型”这一章节开始就介绍了InnoDB的锁，截个目录，感兴趣可以去读一下。 ?
设置规则 这个其实与validate_password_policy的值有关，默认为1，所以刚开始设置的密码必须符合长度，且必须含有数字，小写或大写字母，特殊字符。...如果我们不希望密码设置的那么复杂，需要修改两个全局参数：validate_password_length默认值为8,最小值为4 set global validate_password_policy=0...password oldpass "newpass" 更改当前用户密码 ALTER USER USER() IDENTIFIED BY '123456'; 用UPDATE直接编辑user表 use mysql...newpass') WHERE user = 'root'; FLUSH PRIVILEGES; root密码丢失 关闭验证密码 mysqld_safe --skip-grant-tables& 登陆 mysql...-u root mysql 重置 UPDATE user SET password=PASSWORD("new password") WHERE user='root'; 5.7版本 UPDATE user
3、读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数据一致性问题。...设置缓存过期时间是关键点 1、从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案 2、所有的写操作以数据库为准，只要到达缓存过期时间，缓存删除 3、如果后面还有读请求的话，就会从数据库中读取新值然后回填缓存...的主从备份机制，因为MySQL的主备也是通过binlog来实现的数据一致性 “这里的消息推送工具你也可以采用别的第三方：kafka、rabbitMQ等来实现推送更新Redis!...总结 在高并发应用场景下，如果是对数据一致性要求高的情况下，要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种，分别是延时双删策略和异步更新缓存两种方案。...另外，设置缓存的过期时间是保证数据保持一致性的关键操作，需要结合业务进行合理的设置。
1.授予远程主机访问MySQL 在MySQL Server端，执行mysql 命令进入mysql 命令模式。使用grant命令用来建立新用户，指定用户口令并增加用户权限。...需要通过-h指定MySQL服务端的主机地址。 示例二： 授予来自任意远程主机的用户dablelv对MySQL服务端的所有数据库和数据表拥有所有权限。...MySQL用户权限的列表。...@localhost; 查询结果如下： image.png 查看MySQL所有用户的权限，可以从mysql的用户表mysql.user中查询。...select * from mysql.user where user="userName"; ---- 参考文献 [1]MySQL用户权限类型 [2]查看MYSQL数据库中所有用户及拥有权限
一、常见现象 运维工作中会经常维护MySQL主从服务器，当然Slave我们只是用于读操作。一般权限开通也只授权只读账号，但是有时候维护工作可能不是一个人在做，你不能保证其他同事都按照这个标准操作。...有同事可能会授权Slave库MySQL账号为all或者select,update,insert,delete。...为了避免上述问题，我们需要给MySQL的Slave设置为只读模式。...read_only=0 为取消普通账号的只读模式 授权普通MySQL测试账号 mysql> grant select,insert,update,delete on s18.* to 'test'@...可以用锁表： mysql> flush tables with read lock; Query OK, 0 rows affected (0.18 sec) 使用root账号测试： mysql> delete
可以在application.yml添加配置项： spring: datasource: driver-class-name: com.mysql.jdbc.Driver # 使用开发用数据库...book_dev url: jdbc:mysql://192.168.99.100:32770/my_blog?
前言 这里我已经将MySQL的数据库编码设置为UTF-8，所以下面现实的都是UTF-8。 ...设置MySQL数据库的编码方式有三种，分别是基于session会话的、基于全局gloable的、永久性改变的。...正文 1.首先连接到MySQL ： mysql -uroot -proot 2.输入\s，即可查看数据库的字符编码 3.查看数据库的详细编码 输入：show variables like '%char...6.设置全局的数据库字符编码，即使基于整个MySQL服务的，当重启MySQL服务的时候，编码依然会变为原来的字符编码 set global character_set_database=gbk; ...但是我们重启MySQL数据库的时候，编码又是回复为原来的utf-8了。
文章目录 1.授予远程主机访问MySQL 2.MySQL用户的权限类型 3.查看用户权限 参考文献 1.授予远程主机访问MySQL 在 MySQL Server 端，执行 mysql 命令进入 mysql...需要通过-h指定MySQL服务端的主机地址。 示例二： 授予来自任意远程主机的用户dablelv对MySQL服务端的所有数据库和数据表拥有所有权限。...MySQL用户权限的列表。...; 查询结果如下： 查看 MySQL 所有用户的权限，可以从用户表 mysql.user 中查询。...select * from mysql.user where user="userName"; ---- 参考文献 MySQL用户权限类型 查看MYSQL数据库中所有用户及拥有权限
读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数据一致性问题。...3.1.3 设置缓存过期时间是关键点 从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案 所有的写操作以数据库为准，只要到达缓存过期时间，缓存删除 如果后面还有读请求的话，就会从数据库中读取新值然后回填缓存...，因为MySQL的主备也是通过binlog来实现的数据一致性 这里的消息推送工具你也可以采用别的第三方：kafka、rabbitMQ等来实现推送更新Redis!...—4— 总结 在高并发应用场景下，如果是对数据一致性要求高的情况下，要定位好导致数据和缓存不一致的原因。 解决高并发场景下数据一致性的方案有两种，分别是延时双删策略和异步更新缓存两种方案。...另外，设置缓存的过期时间是保证数据保持一致性的关键操作，需要结合业务进行合理的设置。
在使用MySQL时，数据不一致的情况也可能出现，所以，本文就来看看MySQL是如何保证数据一致的。 MySQL保证的一致性 在这之前先划清一下界限，看一下MySQL保证的是哪里的一致性。...在MySQL内部执行时因为某些故障而出现了不一致情况。 很显然，第三点是需要MySQL解决处理的。...而第一点是属于MySQL客户端的逻辑BUG，第二点会存在客户端在使用事务时不遵循规则的情况，都属于外部因素，MySQL不可控。 所以，MySQL保证的一致性是：在一个事务中的DML（增删改）操作。...接下来具体看一下InnoDB针对以上几种情况是如何处理解决，从而保证数据一致性的。...这个就不得不说到MySQL的XA两阶段提交协议了，在这之前，我一直以为XA是运用到MySQL与外部应用的，没想到是应用在MySQL内部的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
