新增MySQL to ClickHouse，Squids DBMotion再添利器

DBMotion

Squids

继大改版之后，经过一个月的努力，Squids DBMotion再添一项利器——增加了对MySQL to ClickHouse的支持。除此之外，还新增了一些特性以及其它功能的变更。

ClickHouse

简介

ClickHouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），可以使用SQL查询，实时生成分析数据报告。ClickHouse的数据分析能力比传统数据库大幅提升，功能丰富、可靠性高，目前已成为交互式分析领域中最受欢迎的数据库之一。

新增

D B M o t i o n

特性

01

支持MySQL到ClickHouse的迁移

我们直接来看，在DBMotion上，是如何让你的OLTP在线交易平台上的数据迁移到ClickHouse离线分析平台上来的。

添加MySQL到ClickHouse的迁移任务

• 首先，进入 DBMotion的页面，点击免费使用。 https://squids.cn/product/dbmotion

• 登录DBMotion的任务列表页面。 https://console.squids.cn/console/transfer

• 单击“添加任务”按钮，进入“源端目标库配置”。选择MySQL->ClickHouse，填入迁移实例。

• 点击“测试连接以进行下一步”，进入“迁移选项配置”页。下图的源库，使用的是MySQL的测试库employee。

• 最后，需要用户确认配置，并进行预检查。

• 新建任务成功，返回任务列表。

查看迁移任务执行的情况

• 点击任务名称，进入任务详情页面。

• 进入对象迁移页面，可以看到6个表在3秒内迁移完成。

• 全量迁移。阿里云和华为云的跨云400万行迁移，每秒35000行左右。

• 增量迁移。记录了目前同步到的位点。

我们来验证一下增量同步是否正常：

• 在源库上对employee表进行了insert、update、delete操作。

• 在目标库上查询对应表数据是否一致：

从上图可以看到，同步速度延迟基本是秒级别，并且数据是完全一致的。

• 数据校验。DBMotion还提供了数据校验的功能。 如果源库和目标库数据不一致，则可以点击进行重新全量数据同步。

• 结束迁移。迁移完成以后，就可以点击“关闭增量，结束迁移”了。

02

断点续传功能

本次新增了断点续传功能，用户迁移失败或者手工中断迁移任务后，可以从失败或者中断的点继续同步。

用户在任务列表可以点击“暂停”按钮，来暂停这个迁移任务。

处于暂停状态的任务，可以点击“继续”按钮，继续执行迁移任务。

同样，处于同步失败状态的任务，在检查和修复问题后，也可以点击“继续”按钮来继续执行任务。

03

支持表级别的同步迁移

之前的版本只允许schema级别的迁移和验证。

2209版本支持表级别的选择。

04

丰富迁移过程展示页面

在对象迁移、全量迁移、增量迁移、数据校验展示页面，增加了迁移运行时间, 迁移速度以及剩余时间的展示，方便客户了解迁移的状态和进度信息。

其它

D B M o t i o n

更新

✦ ✦✦ ✦✦ ✦✦ ✦

1. 默认对ARCHIVE，MyISAM，MRG_MYISAM引擎表做innodb引擎转变, 其它默认不改变引擎。
2. 检查连接优化: 检查连接时明确具体原因, 明确到底是数据库连接不上、端口不通或网络不通等其他原因。
3. 预检查优化: 3.1数据库参数检查，新增sql_big_selects/max_join_size/sql_select_limit 检查。 3.2 非主键表检查显示表大小和行数 3.3 通过查询mysql.user表来做源端权限检查
4. 取消原来slave增量模式和mysqldump模式迁移用户功能。