redis缓存使用中的大key问题

大key问题

何为大key?

1.单个简单的key存储的value很大

1. hash， set，zset，list 结构中存储过多的元素

可能出现大key的业务场景

1.配送范围特别大的门店 2.促销活动特别多的门店、商家等 3.高频用户下的订单列表

1. 等 ……

大key的危害

1. OPS低也会导致内存占用多、流量大，比如一次取走100K的数据，当OPS为1000时，就会产生100M/s的流量
2. 如果为list,hash等数据结构，大量的elements需要多次遍历，多次系统调用拷贝数据消耗时间
3. 主动删除、被动过期删除、数据迁移等，由于处理这一个KEY时间长，导致服务端发生阻塞

如何找到大key？

1. jimdb管理端，拓扑Tab页，点击实例可以使用大key扫描功能，该功能底层使用scan扫描所有key，会影响实例性能,选择业务低峰进行
2. redis 可使用redis-cli的“--bigkeys”选项查找大Key

如何解决大key？

1. 对于需要整取value的key,可以尝试将对象分拆成几个key-value， 使用multiGet获取值，这样分拆的意义在于分拆单次操作的压力，将操作压力平摊到多个实例中，降低对单个实例的IO影响
2. 对于每次需要取部分value的key,同样可以拆成几个key-value，也可以将这些存储在一个hash中，每个field代表具体属性，使用hget，hmget来获取部分value，使用hset，hmset来更新部分属性
3. 对于value中存储过多元素的key,同样可以将这部分元素拆分，以hash为例，正常的流程是：hget(hashKey, field)；hset(hashKey, field, value)。 现在可以固定一个桶数量，比如1w，每次存取的时候，先在本地计算field的hash值，对1w取模，确定field落在哪个key上,newHashKey = hashKey + ( hash(field) % 10000）; hset (newHashKey, field, value) ; hget(newHashKey, field),set，zset，list做法类似

参考资料

1. https://cloud.tencent.com/developer/article/1420342
2. https://juejin.im/post/5d8f0f7de51d4578323d51d0
3. https://www.javazhiyin.com/41124.html
4. http://tigcms.jd.com/details/S11dBQ5M7.html