ActionOMS | Mycat 分表有重复数据，如何迁移？

爱可生开源社区

发布于 2025-01-14 20:46:12

5400

代码可运行

文章被收录于专栏：爱可生开源社区爱可生开源社区

运行总次数：0

代码可运行

1前言

某客户需要将基于 Mycat[1] 中间件分库分表的数据迁移至 ActionDB[2]。计划使用 ActionOMS 迁移工具实施，从后端 MySQL 拉取数据。

迁移难点

客户环境存在源端分片设计不合理的情况，后端分片存在主键字段数据重复的情况，但客户希望这些重复的数据不要直接迁移到目标端，而是在目标端重新生成新的唯一的主键。

聚合后发现主键数据重复

简化架构图

源端分库分表架构

环境信息

ActionDB：4.2.1.7
ActionOMS：4.24.07.0
MyCat：1.6.7.3
MySQL：5.7.25

本文探究如何在这种情况下，在目标端生成不重复的主键并保留 ActionOMS 的数据校验功能来进行数据迁移。

2分库分表知识点

逻辑库（Schema）：业务开发人员通常在实际应用中并不需要知道中间件的存在，只需要关注数据库。所以可以把数据库中间件当作一个或多个数据库集群构成的逻辑库。
逻辑表（Table）
- 分片表：分片表是将指数据量很大的表切分到多个数据库实例中，所有分片组合起来构成了一张完整的表。
- 非分片表：并非所有的表在数据量很大时都需要进行分片，某些表可以不用分片。非分片表是相对于分片表而言的不需要进行数据切分的表。
- ER 表：基于 E-R 关系的数据分片策略，子表的记录与其所关联的父表的记录存放在同一个数据分片上，即子表依赖于父表。近通过表分组（TableGroup）保证数据关联查询不会跨库操作。
- 全局表：所有分片都复制了一份完整的数据，我们把这些冗余数据的表定义为全局表。

了解完以上概念，下面说具体的迁移思路。

3迁移思路

我们分表结构和表数据两个部分说。

表结构

根据架构图可知，源库上每个分片上的表结构是一样的。我们只需要取其中一个分片的表结构，应用在目标端即可。

表数据

我们根据逻辑表的类型分为三种情况来说。

情况一：全局表

根据上面的解释可知，全局表意味着所有分片上都是一样的完整的数据。所以选取一个分片拉去数据即可，不可重复拉取。

情况二：分片表，主键数据不重复

假设 MyCat 后端有 N 个 MySQL 实例，则需要 N 条链路（每个分片的数据汇总迁移到目标端一个库作为一份完整的数据）。

此处的链路数量，统计 MySQL 主实例数量即可。

情况三：分片表，主键数据有重复

为什么会有重复的数据？

笔者做以下猜测：源端存在多个分片，表中存在自增主键，但主键不是分片键。此时主键的数据只能确保分片内唯一，全局范围可能重复。

注意：数据冲突时，迁移工具的策略可能会存在忽略（insert ignore into … ）或覆盖（replace into …）的情况。

解决思路就是对表结构进行改造，但有三种改造的方式：

改造源端
改造目标端
改造源端&目标端

需判断表结构改造之后迁移工具能否进行数据校验。

下面，将用第 3 种表结构改造方式，达成目标端主键数据不重复并可以进行数据校验。

4改造实施

先将源端和目标端改造完，我们再进行数据迁移。

改造源端表结构

将源端每一个分片表的字段 c2 设置为 NOT NULL UK，用于数据校验。

ALTER TABLE test02
MODIFY c2 varchar(36) COLLATE utf8mb4_bin NOT NULL;

ALTER TABLE test02
ADD UNIQUE KEY (c2);

Mycat 端确认源端表结构更改已生效。

[root@10-186-64-61 ~]# mysql -h10.186.64.61 -uroot -p'123456' -P8066 -DEVANDB -e "show create table test02;"
+--------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table  | Create Table                                                                                                                                                                                                                                                                |
+--------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| test02 | CREATE TABLE `test02` (
  `c1` int(11) NOT NULL AUTO_INCREMENT,
  `c2` varchar(36) COLLATE utf8mb4_bin NOT NULL,
  `c3` datetime DEFAULT NULL,
  PRIMARY KEY (`c1`),
  UNIQUE KEY `c2` (`c2`)
) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin |
+--------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

改造目标端表结构

手动创建表结构，将字段 c2 设置为 NOT NULL UK，用于数据校验。在数据校验之前暂时不能建立主键。

因为源端字段 c1 当前在各个分片上数据是重复的，所以 c1 字段不能直接同步到目标端。目标端将主键 c1 列改成 c1_new。

（可选）由于目标端存在分区需求，我们将 c2 作为 KEY 分区字段，分区数量为 4 。

迁移前创建基础表结构：

CREATE TABLE `test02` (
  `c1_new` int(11) NOT NULL AUTO_INCREMENT,
  `c2` varchar(36)  NOT NULL,
  `c3` datetime DEFAULT NULL,
    UNIQUE KEY `c2` (`c2`))
PARTITION BY KEY(c2)
PARTITIONS 4;

数据校验完成之后执行添加主键，由于 ActionDB 主键必须包含分区键，主键则需设置为（c1_new,c2）：

alter table test02 add primary key (c1_new,c2);

最终表结构：

CREATE TABLE `test02` (
  `c1_new` int(11) NOT NULL AUTO_INCREMENT,
  `c2` varchar(36)  NOT NULL,
  `c3` datetime DEFAULT NULL,
    PRIMARY KEY (`c1_new`,`c2`),
    UNIQUE KEY `c2` (`c2`))
PARTITION BY KEY(c2)
PARTITIONS 4;