问题描述: 由于某种原因,我必须需要将某个集合的键(Key)复制一份副本。并移动到目标库
拿到这个问题,脑海里一共有两种方式
将所有的此集合中的所有的值从redis里面读取出来,然后再存到目标库中。
思路清晰,不再过多赘述。
如果数据较少可以使用SMEMBERS
类型为set,其中有26781027个
由于直接使用redis命令不是那么方便,故Python代码如下
from loguru import logger
import redis
def conn_redis(db):
"""
link redis
:param db:
:return: Redis Link object
"""
REDIS_URL = f'redis://:{RedisPASSWD}@{RedisHOST}:{RedisPORT}/{db}'
redis_client = redis.from_url(REDIS_URL)
# 验证是否连接
# print(redis_client.info())
return redis_client
def get_val(key: str, step):
"""
get values
:param step:
:param key:str
:return:
"""
try:
redis_client = conn_redis(0)
# 获取键的大小
key_size = redis_client.scard(key)
key_type = redis_client.type(key)
logger.info(f'Key Name: {key}, key Type: {key_type} Key Size: {key_size}')
page = int(key_size // step) + 1
for i in range(0, page + 1):
result = redis_client.sscan(key, i, '*', step)[1]
yield result
except Exception as e:
logger.error(e)
def set_newVal(db):
redis_client = conn_redis(db)
redis_client.sadd("NewKey",result)
方案一优化
sadd("NewKey",result)还是比较慢。使用pipeline
由于是集合,可以使用集合的操作。
任何集合的本身的补、并、差都是本身 1.集合的交集& ,set.intersection() 2.集合的并集 | ,set. union() 3.集合的差集 set.difference(s2) 将集合s1里去掉和s2交集的部分 4.集合的交叉补集 set.symmetric_difference() 并集里去掉交集的部分
创建集合 1,2,3
取给定集合的并集存储在目标集合中
取给差集合的并集存储在目标集合中
这样就可以实现类似于copy的效果
所使用到的Redis命令
# help SMEMBERS
SMEMBERS key
summary: Get all the members in a set
since: 1.0.0
group: set
# help SSCAN
SSCAN key cursor [MATCH pattern] [COUNT count]
summary: Incrementally iterate Set elements 增量迭代集合元素
since: 2.8.0
group: set
# help SUNIONSTORE
SUNIONSTORE destination key [key ...]
summary: Add multiple sets and store the resulting set in a key 添加多个集合并将生成的集合存储在一个键中
since: 1.0.0
group: set
# help SDIFFSTORE
SDIFFSTORE destination key [key ...]
summary: Subtract multiple sets and store the resulting set in a key 减去多个集合并将得到的集合存储在一个键中
since: 1.0.0
group: set
采用先取后存以及使用集合的特性对于集合实现复制操作。