云数据库 MySQL 使用 pt-online-schema-change 问题
云数据库 MySQL 5.6 版本开始支持 Online DDL。5.5版本做表结构变更时,为了避免锁表导致的业务影响,仍然建议用户使用 pt-online-schema-change 等开源工具完成该类操作,但不少用户通过 CVM 使用 pt-online-schema-change 对 MySQL 表结构变更时,遇到问题。
常见报错信息:
Use of uninitialized value $host in string eq at /usr/local/percona-toolkit-3.0.3/bin/pt-online-schema-change line 4284.
查看对应的源码:
sub _find_slaves_by_processlist {my ( $self, $dsn_parser, $dbh, $dsn ) = @_;my @slaves = map {my $slave = $dsn_parser->parse("h=$_", $dsn);$slave->{source} = 'processlist';$slave;}grep { $_ }map {my ( $host ) = $_->{host} =~ m/^([^:]+):/;if ( $host eq 'localhost' ) {$host = '127.0.0.1'; # Replication never uses sockets.}$host;} $self->get_connected_slaves($dbh);return @slaves;}
从代码上看是在通过 processlist 的方式寻找 slave 的信息,由于 TencentDB 对复制账号相关的信息做过处理,导致通过 processlist 拿不到 slave 的信息。
修复方式:
使用 pt-osc 的时候加上如下参数,不去检查 slave 的状态。
--recursion-method=none
TencentDB 导入数据报错 Specified key was too long
报错原因:
客户通过 CVM 的命令行向 MySQL 导入 XXXX.sql 文件时,MySQL 返回 Specified key was too long 的报错。
报错信息 “ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes”,其意思是“索引字段长度太长,超过了767bytes”。
innodb 存储引擎,多列索引的长度限制如下:
每个列的长度不能大于767bytes,所有组成索引列的长度和不能大于3072bytes。
myisam 存储引擎,多列索引的长度限制如下:
每个列的长度不能大于1000bytes,所有组成索引列的长度和不能大于1000bytes。
说明:
768 / 2 = 384个双字节或者767 / 3 = 255个三字节的字段(GBK 是双字节的、UTF8 是三字节的、UTF8MB4 是四字节的)
MySQL 5.6 及其以上版本,所有 myisam 表都会被自动转换为 innodb,所以在自建数据库上有超过767bytes的组合索引列,但是由于在自建库上 myisam 存储引擎,同样的建表语句在自建库上运行没问题,但是在 MySQL 5.6 版本以上就会有问题。
解决方案:
1. 修改备份文件中出错行组合索引列的长度。
常见:
create table test(test varchar(255) primary key)charset=utf8;
-- 成功
create table test(test varchar(256) primary key)charset=utf8;
-- 失败
ERROR 1071(42000):Specified key was too long; max key length is 767 bytes
2. 使用 TencentDB 5.5 版本,myisam 引擎不会被自动转换为 innodb。
select * from XX into outfile xxxx 报错是什么原因呢?
由于平台安全性原因,不支持开通 file 权限,不支持使用 select into outfile 方式导出数据 ,建议您使用其他方式导出。
MySQL 数据库插入 emoji 表情乱码怎么办?
需排查 MySQL 实例内部、客户端、到 MySQL 实例的连接3个方面,是否未统一使用或者支持 utf8mb4 字符集。
要实现存储 emoji 表情到 MySQL 实例,需要 MySQL 实例内部、客户端、到 MySQL 实例的连接3个方面统一使用或者支持 utf8mb4 字符集。
1. 首先需要 MySQL 实例设置字符集为 utf8mb4。可以通过登录控制台修改
character_set_server
参数。注意:
修改此参数会使数据库重启,建议您提前备份数据库,避免出现不必要的损失。
2. 用户的程序客户端需要保证输出的字符串的字符集为 utf8mb4。
3. 应用程序创建连接时需要指定执行字符集,以常见的 jdbc 连接为例:
对于jdbc连接,需要使用 MySQL Connector/J 5.1.13(含)以上的版本,示例代码如下:
String query = “set names utf8mb4”;stat.execute(query);