首页
学习
活动
专区
圈层
工具
发布

技术分享 | MySQL 主从复制过滤新增库表过滤方案

1技术背景 如图所示,需要将原有的主从复制过滤的配置再新增几个库做同步,需要考虑一个效率最高的方式。 主从复制过滤 这里效率主要表示时间、空间成本,如何用更少的时间和空间完成配置变化。...命令示例如下 ## 数据还原 shell> mysql < db4_db5.sql ## 这个报错可以忽略,其他如果数据报错不可忽略 ERROR 1840 (HY000) at line 424:...SHOW SLAVE STATUS\G 4补充说明 备份方式 文档中用的 mysqldump 做的备份恢复示例,实际用 Xtrabackup 也可,只是 Xtrabackup 在恢复时需要结合可传输表空间特性做恢复...表级别复制过滤 文档中只是演示了库级的复制过滤添加,表级别的操作方式基本相同,只是针对不同库下不同表,不能同时备份(mysqldump 不支持)。...本文关键字:#MySQL# #主从复制# #备份恢复# ##

1.2K10

MySQL主从复制

主从是MySQL最基本的数据冗余与高可用方案,本文重点介绍一下如何搭建,以及如何只同步部分库或表 搭建主从复制 配置Master 配置my.cnf 修改mysql配置文件,不同的系统my.cnf路径不同...expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。...库一般不同步) binlog-ignore-db=mysql ## 只复制指定的表(忽略其他的表) replicate-do-table=blog.user ## 开启二进制日志功能,以备Slave...(其他的库都不复制,这条规则与binlog-ignore-db可以只使用一个) binlog-do-db=blog 在Slave的my.cnf中指定哪些表会被接收 ## 只复制指定的表(忽略其他的表)...可以,不过从库也需要开启二进制日志,如 ## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用 log-bin=mysql-slave1-bin 参考 MySQL 主从复制搭建

2.4K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mysql主从复制

    一、mysql主从同步原理 Mysql主从复制也可以称为Mysql主从同步,它是构建数据库高可用集群架构的基础。...Mysql支持单向,双向,链式级联,异步复制,复制过程中一台服务器充当主库(master),而一个或者多个服务器充当从库(slave) 1.1、主从复制功能 主从复制原理:master服务器上工作线程I...1.2、复制中的参数详解 log-bin:搭建主从复制,必须开启二进制日志 server-id:mysql在同一组主从结构中的唯一标识 sever-uuid:存放在数据目录中的auto.cnf中 read....000004', MASTER_LOG_POS=3034; # 开启主从 start salve # 查看主从复制状态 show slave status\G 三、mysql主从复制 (gtid)...var/lib/mysql/mysql.sock —error-numbers=1062 --user=root --password='bc.123456'

    2K21

    MySql主从复制

    主从集群 在MySql的生产环境中,由于单台MySql不能满足高可用性需求,一般通过主从复制(Master-Slave)方式同步数据,再通过读写分离(MySql-Proxy)来提升数据库并发负载能力。...,以便下一次备份从备份点开始 MySql主从复制需要三个线程: master的binlog dump thread slave的IO thread slave的Sql thread binlog dump...同一个事务不能被拆分,须分配到同一个work 如:同一个事务更新表1和表2的各一行,分配到两个work,最终执行结果一致,但如果在表1执行完成的瞬间,来一个查询请求,则就会看到事务执行到一半的结果,破坏了事务的隔离性...按库并行 这是MySQL最先推出的并行复制策略,模型如下: ? 如图所示,每个 worker 线程对应一个 hash 表,用于保存当前正在这个worker的执行队列里的事务所涉及到的库。...hash值通过”库名+表名+索引名+值“计算,若表上还有其他唯一索引,那么对每一个唯一索引,在insert语句上会多一个hash值。

    2.9K30

    MySQL 主从复制

    MySQL 主从复制 环境准备: win10 MySQL 5.5 (主机) Linux CentOS7 MySQL 5.7 (从机) ==主从复制原理图:== 20201224155619.png MySQL...一主一从常见配置 在开始之前需要注意一下几点: MySQL 版本一致且后台正常服务运行(博客开头以提及) 主从配置在[mysql]结点下,都是小写 主机修改 my.ini 配置文件(win10) ​ my.ini...配置文件在 MySQL 的安装目录下,一般默认在 C:\Program Files\MySQL目录下。...=mysql_01 设置 logbin 格式 binlog_format=STATEMENT(默认) ==参考示例图:== image.png mysql 主从复制起始时,从机不继承主机数据 从机修改...测试 主机新建库、新建表、insert 记录,从机复制 windowns: create database mydb_01; use mydb_01; create table mytb1(

    1.1K20

    MySQL主从复制

    MySQL主从复制 MySQL有四种同步方式: 异步复制(Async Replication) 同步复制(sync Replication) 半同步复制(Async Replication) 增强半同步复制...MySQL复制默认是异步复制,异步复制提供了最佳性能。...MySQL 5.5版本之后引入了半同步复制功能,主从服务器必须安装半同步复制插件,才能开启该复制功能。...MySQL增强半同步原理 如上图,增强半同步事务提交需要等待从库ACK消息,但未开启增强半同步时从库接收到binlog后不会向主库返回ACK信息,只有开启后才会在接收到binlog后向主库返回ACK信息...解决方案: 日后开启增强半同步需注意顺序,先开启从库后开启主库 参考资料 https://dev.mysql.com/doc/refman/5.7/en/faqs-replication.html https

    79130

    Mysql主从复制

    什么是Mysql主从复制 主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中。对于多级复制,数据库服务器即可充当主机,也可充当从机。...MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新。...Mysq主从复制的类型 基于语句的复制: 主服务器上面执行的语句在从服务器上面再执行一遍,在MySQL-3.23版本以后支持。...在MySQL主从复制架构中,读操作可以在所有的服务器上面进行,而写操作只能在主服务器上面进行。...主从复制架构虽然给读操作提供了扩展,可如果写操作也比较多的话(多台从服务器还要从主服务器上面同步数据),单主模型的复制中主服务器势必会成为性能瓶颈。 Mysql主从复制的工作原理 ?

    1.8K41

    Mysql主从复制

    主从复制要求 MySQL 主从复制对主机和 MySQL 的要求 (1)主从服务器操作系统版本和位数必须一致; (2)主节点(Master)和从节点(Slave)数据库版本必须一致; (3)主节点(Master...## 复制过滤:不需要备份的数据库,不输出(mysql 库一般不同步) log-bin = mysql01-bin ## 开启二进制日志功能 binlog_cache_size = 1M...validate_password_policy=0; GRANT REPLICATION SLAVE ON *.* TO 'sync'@'%' IDENTIFIED BY 'psvmc123456'; FLUSH PRIVILEGES; 锁表...就表示主从同步正常: Slave_IO_Running: Yes Slave_SQL_Running: Yes 主节点-解锁表 开启同步后解锁主节点数据库表 unlock tables; 重置主从复制...如果遇到同步出错,可在 Slave 上重置主从复制设置,步骤如下: 重置主从复制设置 stop slave; reset slave; 重新设置主从复制参数 change master to master_host

    1.8K50

    MySQL主从复制

    我们就以互联网最常用的MySQL数据库为例,一起探索SQL的奥秘。本文主要讲解MySQL主从复制原理和搭建过程。...MySQL主备的应用场景 1.sql语句需要锁表,导致暂时不能使用读服务,使用主从复制,让主库负责写,从库负责读,通过读从库保证业务的正常运作。...MySQL主从复制原理 binlog: binary log,主库中保存所有更新事件日志的二进制文件。 主从复制的基础是主库记录数据库的所有变更记录到binlog。...mysql主从复制是一个异步的复制过程,主库发送更新事件到从库,从库读取更新记录,并执行更新记录,使得从库的内容与主库保持一致。 每一个主从复制都有三个线程。...构建主从复制 1.在Master(192.168.0.207) 主MySQL上创建一个mysnc用户 用户名:mysync 密码:mysync [root@cdh2 ~]# systemctl restart

    2.1K43

    mysql主从复制

    mysql主从复制 MySQL主从复制是一种常见的数据库架构,用于实现数据的备份、负载均衡和故障恢复等功能。...主从复制概述 主从复制是指将一个MySQL数据库服务器(主服务器)的数据复制到另一个MySQL数据库服务器(从服务器)的过程。...主从复制原理 MySQL主从复制的原理基于二进制日志(Binary Log)和复制线程(Replication Thread)。...示例代码:MySQL主从复制的配置 下面是一个简单的MySQL主从复制配置示例: -- 在主服务器上设置二进制日志 # 主服务器配置文件 my.cnf [mysqld] log-bin=mysql-bin...示例代码:MySQL主从复制的应用 假设我们有一个电子商务网站,我们可以使用MySQL主从复制来实现负载均衡和灾难恢复。

    92110

    MySQL主从复制

    配置MySQL主从复制,先来讲讲一些理论。 MySQL复制功能提供分担读负载。 基于二进制日志的复制是异步的,那么复制有什么好处?...说到日志,MySQL的服务层日志有二进制日志,慢查询日志,通用日志。而存储引擎的日志有innodb的重做日志(Redo log),回滚日志(Undo log)。...Undo Log:未提交的事务,独立于表空间,需要随机访问,可以存储在高性能IO设备中。 那么二进制日志是什么?...二进制日志记录了所有对MySQL数据库的修改事件,包括了增删查改事件和对表结构进行修改的事件。 二进制日志格式,可以设置基于段的格式,比如binlog_format=statement。...环境配置如下: 1.master(192.168.10.21) MySQL 5.7.17 2.slave(192.168.10.6) MySQL 5.7.17 给master创建sync用户并分配所需权限

    1.8K20

    mysql主从复制

    mysql主从复制 mysql主从复制 主从复制的形式 一主一从 主主复制 一主多从—扩展系统读取的性能,因为读是在从库读取的 多主一从—5.7开始支持 联级复制— 用途和条件 用途 实时灾备,用于故障切换...读写分离,提供查询服务 备份,避免影响业务 必要条件 主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库 主从复制的原理 主要涉及三个线程:binlog...主从复制集群 创建主从配置文件 由于我这里使用docker搭建,所以需要把配置文件和数据文件映射到宿主机,让容器运行时挂载数据 所以在本地合适的地方创建目录,并添加配置文件 ├── master │  .../docker/data/cluster/mysql/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6 --character-set-server.../mysql/slave/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6 --character-set-server=utf8mb4

    1.5K10

    mysql 主从复制

    如果是A-->B-->C这样的复制模式,B的配置文件中要加上 log_slave_updates=1 Mysql主从复制 1.1Mysql主从复制原理 Mysql的复制是一个异步复制的过程,从一个主(master...打开mysql的二进制日志可以通过在启动mysql server的过程中使用“-log-bin”参数选项,或者在my.cnf配置文件中的msyqld参数组([mysqld]标识后的参数部分)增加“log-bin...1.3Mysql主从复制实现过程 环境介绍: 服务器名 IP地址 数据库版本 Data目录 Master 192.168.2.98 Mysql-5.5.24 /servyou/app/mysql/data.../ Slave 192.168.2.133 Mysql-5.5.24 /servyou/app/mysql/data/ 1.4Master端设置 1)   修改my.cnf配置文件; [mysqld]...)  启动备服务器的slave线程 mysql> start slave; 4)  验证 mysql> show slave status\G; ?

    1.4K50
    领券