Redis主从频繁切换案例一则

现象

每天凌晨1：59分主从发生切换

分析

1. 检查server端是否有访问redis的定时任务 无
2. 检查哨兵和主节点心跳超时时间设置 5s 5s比较小，可能有阻塞。ping/pong也是遵循redis单线程队列的原则执行
3. 检查慢日志 slowlog get 100 发现某一集中时间点有4个连续的keys模糊查询命令，每个查询耗时1.8s 获得慢日志里的unix时间戳，通过date -d @<unix_timtstamp>解析成标准时间，正好为1：59时刻。

原因

每日凌晨程序中连续的4个keys模糊查询对redis造成阻塞，阻塞时间总共为7.2s，造成哨兵误判redis主节点宕机，导致主从每天凌晨频繁切换。

将keys命令通过scan来改造。