MySQL 数据库如何使用 mydumper 和 myloader 数据快速备份和迁移
原创
MySQL 数据库如何使用 mydumper 和 myloader 数据快速备份和迁移
原创
博客：https://www.mintimate.cn Mintimate’s Blog，只为与你分享
当我们需要备份或者迁移大量 MySQL 数据时，可以使用 mydumper 和 myloader 工具进行快速备份和迁移。尤其是跨服务器迁移或者是本地数据库上云的时候，更快速地且稳定地完成数据迁移。
相比 MySQL/MariaDB 自带的 mysqldump(mariadump) 工具，mydumper 和 myloader 更加高效，且支持多线程备份和多线程恢复，可以大大缩短备份和迁移的时间。
别再打开 DBeaver、Navicat 或者 DataGrip 等数据库管理工具来两库对拷了。
mydumper
mydumper 开源的 MySQL 数据库逻辑备份工具，GitHub 开源地址：mydumper/mydumper。包含两个组件:
- mydumper: 负责导出 MySQL 数据库的一致性备份。
- myloader: 读取 mydumper 生成的备份文件，连接目标数据库并执行导入.
相比于 MySQL 自带的 mysqldump 工具，主要的优势:
- 多线程处理: 支持多线程备份，备份速度更快；同时使用事务快照，减少锁争用，降低对生产环境的影响。
- 配置灵活: 支持正则表达式过滤表，支持压缩备份，支持长查询处理，支持导出 CSV 文件等。
效果演示
举个例子，我这里有一个使用 MariaDB 官方 Docker 镜像部署的数据库。数据量大概有 300 万条记录，大小 2.5G 左右。MariaDB 的镜像是基于 Ubuntu 24 的:
直接安装:
# 进入容器
docker exec -it mariadb /bin/bash
# 更新软件包
apt update && apt upgrade -y
# 安装 wget 用来下载 mydumper
apt install wget -y
# 下载 mydumper
wget https://github.com/mydumper/mydumper/releases/download/v0.19.1-3/mydumper_0.19.1-3.bookworm_amd64.deb
# 安装 mydumper
apt install ./mydumper_0.19.1-3.bookworm_amd64.deb
# 查看 mydumper 版本
mydumper --version然后全数据库（剔除系统和测试库）全量备份，使用如下命令:
mydumper -u root -p '@******#' -t 4 --compress --regex '^(?!(mysql\.|sys\.|test\.))' -o /var/backups/fullMariaDB -v 3大概解释以下命令构成，在没有指定远程地址情况默认为本地数据库:
- -t 4: 使用 4 个线程进行备份。
- --compress: 使用 gzip 压缩备份文件。
- --regex '^(?!(mysql.|sys.|test.))': 使用正则表达式过滤表，只备份除了 mysql、sys、test 之外的表。
- -o /var/backups/fullMariaDB: 备份文件输出到 /var/backups/fullMariaDB 目录下。
- -v 3: 输出详细日志，包括成功的 info 级别日志。
腾讯云的轻量数据库，性能比 Docker 容器好很多，而且不需要我关注云备份和灾备；所以我想把备份文件迁移到腾讯云的轻量数据库上:
使用配套的 myloader 工具，将备份文件导入到腾讯云的轻量数据库上:
myloader -u root -p '4**********O' -h 10.0.4.15 -o --regex '^(?!(mysql\.|sys\.|test\.))' -d /var/backups/fullMariaDB -v 3相比备份时候使用的mydumper，这次添加-h参数，指定远程地址：
- -h 10.0.4.15: 指定远程地址为腾讯云轻量数据库的 IP 地址。
- -d /var/backups/fullMariaDB: 指定备份文件目录。
- -o: 如果目标数据库已经存在，那么进行覆盖。
视频教程
为了让大家更直观地了解如何使用 mydumper 和 myloader 进行数据迁移，我录制了一个视频教程，希望能帮助到大家。
主要内容：
- Mydumper 的操作前提；
- Mydumper 全量逻辑迁移演示；
- Mydumper 高级用法概要。
做教程视频不易（技术教程，受众小，B站根本不会推荐引流），请务必<strong>一键三连</strong>嗷～
如何安装
安装方法非常简单。Ubuntu 的软件包管理器可以直接下载（但是可能版本比较旧）。其他系统可以在 Mydumper 的 Release 内下载dpkg、rpm包安装:
比如: 在 Debian 12 上安装 mydumper 0.19.1-3:
# 下载 AMD64 版本的 mydumper
wget https://github.com/mydumper/mydumper/releases/download/v0.19.1-3/mydumper_0.19.1-3.bookworm_amd64.deb
# 安装
apt install ./mydumper_0.19.1-3.bookworm_amd64.deb
# 查看版本
mydumper --version如果是在 macOS 上使用，可以使用 Homebrew 安装：brew install mydumper。
另外，如果你的数据库是远程地址，本地没有 MySQL 的客户端；那么其实更建议拉取一个基于 MySQL 的 Docker 镜像并安装 mydumper；
最后备份的数据可以直接用 myloader 导入其他 MySQL 内，也可以直接用 docker cp 取出：
使用方法
权威的使用方法，可以参考:
比较重要的参数：
参数 | 说明 | 参数 | 说明 | |
|---|---|---|---|---|
| 数据库主机地址 |
| 数据库用户名 | |
| 数据库密码 |
| 数据库端口 | |
| UNIX域套接字文件 |
| 输出目录 | |
| 线程数(默认4) |
| 输出详细程度，0: 无输出, 1: 错误, 2: 警告, 3 = 详细, 默认 2 | |
| 指定数据库(逗号分隔) |
| 指定表(逗号分隔) | |
| 正则匹配db.table格式 |
| WHERE条件过滤数据 | |
| 忽略的存储引擎 |
| 从文件读取忽略列表 | |
| 分割文件大小(MB) |
| 按行数分割表数据 | |
| 压缩格式(GZIP/ZSTD) |
| 查询超时时间(秒) | |
| 不备份表结构 |
| 只备份结构 | |
| 正则匹配需要备份的表 |
| 正则匹配需要备份的分区 |
这里主要说一下使用场景，假设都是本地数据库，端口 3306：
# 备份指定表（指定数据库和表)
mydumper -u root -p Mintimate -B db1 -T tb1,tb2 -o /var/backups/
# 只备份表结构
mydumper -u root -p Mintimate -d -B db1 -o /var/backups/
# 不转储 mysql、sys 和 test 数据库（迁移常用）
mydumper -u root -p Mintimate --trx-tables --regex '^(?!(mysql\.|sys\.|test\.))' -o /var/backups/
# 仅转储 mysql 和 test 数据库
mydumper -u root -p Mintimate --trx-tables --regex '^(mysql\.|test\.)' -o /var/backups/
# 不转储以 test 开头的所有数据库
mydumper -u root -p Mintimate --trx-tables --regex '^(?!(test))' -o /var/backups/
# 转储不同数据库中的特定表
mydumper -u root -p Mintimate --trx-tables --regex '^(edumsdb\.el_edums_data_push_config$|externaldb\.authorization_token_info$)' -o /var/backups/
# 转储几个数据库，但要丢弃一些表
mydumper -u root -p Mintimate --trx-tables --regex '^(?=(?:(edumsdb\.|externaldb\.)))(?!(?:(edumsdb\.el_edums_data_push_config$|externaldb\.authorization_token_info$)))' -o /var/backups/对应的 myloader 恢复命令：
# 恢复制定数据库
myloader -u root -p Mintimate -s db1 -o -d /var/backups/
# 恢复指定数据库到制定数据库
myloader -u root -p Mintimate -s db1 -B db_target -o -d /var/backups/
# 恢复指定数据库的表到制定据库内
myloader -u root -p Mintimate -s db1 -T db1.tb1,db1.tb2 -B db_target -o -d /var/backups/
# 全量恢复
myloader -u root -p Mintimate -o -d /var/backups/
# 全量结构恢复
myloader -u root -p Mintimate -o --no-data -d /var/backups/
# 使用正则排除制定数据库
myloader -u root -p Mintimate -o --regex '^(?!(mysql\.|sys\.|test\.))' -d /var/backups/比如: 恢复 umami 数据库内的 website 表结构到远程服务器上的 umami_mirror 数据库内:
END
本文主要介绍了如何使用 mydumper 和 myloader 工具进行数据库的备份和恢复，以及如何使用 mydumper 进行增量备份。
另外，如果有小伙伴出现 MariaDB 迁移到 MySQL 8.x，遇到： Variable 'sql_mode' can't be set to the value of 'NO_AUTO_CREATE_USER'。这是因为 MySQL 8.x 移除了NO_AUTO_CREATE_USER。你可以执行这段来修复：
find /var/backups/fullMariaDB/ -type f -name "*.sql" -print0 | xargs -0 sed -i "s/NO_AUTO_CREATE_USER,//g"希望本文能帮助到大家，如果大家有更好的方法，欢迎留言交流。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
![[MYSQL] mysql备份方案](https://developer.qcloudimg.com/http-save/yehe-1130242/e06e7d995afa8e798d152f5999a8e38f.png)
腾讯云开发者
