mysql 应用缓存清理

基础概念

MySQL应用缓存清理是指在MySQL数据库中，为了提高查询性能，将查询结果缓存起来，当相同的查询再次执行时，可以直接从缓存中获取结果，而不需要再次执行查询。然而，随着时间的推移，缓存中的数据可能会变得过时或不再需要，这时就需要清理缓存。

类型

查询缓存：MySQL自带的查询缓存功能，可以缓存SELECT语句的结果。
应用层缓存：在应用程序层面使用缓存，如Redis、Memcached等。

应用场景

高并发场景：在高并发环境下，缓存可以有效减轻数据库的压力。
读多写少场景：在读操作远多于写操作的场景下，缓存可以显著提高性能。
实时性要求不高的场景：对于实时性要求不高的数据，可以使用缓存来提高查询速度。

遇到的问题及解决方法

问题：缓存数据过时

原因：缓存中的数据可能因为数据库中的数据更新而变得过时。

解决方法：

设置合理的缓存过期时间：为缓存设置一个合理的过期时间，当缓存过期后，重新从数据库加载数据。
使用缓存失效机制：当数据库中的数据更新时，主动使缓存失效，强制重新加载数据。

-- 示例：设置查询缓存过期时间
SET GLOBAL query_cache_size = 64 * 1024 * 1024; -- 设置查询缓存大小
SET GLOBAL query_cache_type = ON; -- 开启查询缓存

问题：缓存雪崩

原因：大量缓存在同一时间失效，导致大量请求直接打到数据库上。

解决方法：

设置不同的缓存过期时间：为不同的缓存设置不同的过期时间，避免大量缓存同时失效。
使用分布式锁：在缓存失效时，使用分布式锁来控制并发访问数据库的数量。

# 示例：使用Redis的分布式锁
import redis
import time

r = redis.Redis()

def acquire_lock(lock_name, acquire_timeout=10):
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_timeout
    while time.time() < end:
        if r.setnx(lock_name, identifier):
            return identifier
        time.sleep(0.001)
    return False

def release_lock(lock_name, identifier):
    with r.pipeline() as pipe:
        while True:
            try:
                pipe.watch(lock_name)
                if pipe.get(lock_name) == identifier:
                    pipe.multi()
                    pipe.delete(lock_name)
                    pipe.execute()
                    return True
                pipe.unwatch()
                break
            except redis.WatchError:
                pass
    return False

问题：缓存穿透

原因：查询一个不存在的数据，导致每次查询都会打到数据库上。

解决方法：

布隆过滤器：使用布隆过滤器来过滤掉不存在的数据查询。
缓存空值：对于不存在的数据，也将其缓存起来，并设置一个较短的过期时间。

# 示例：使用布隆过滤器
from bloom_filter import BloomFilter

bf = BloomFilter(capacity=1000000, error_rate=0.001)

def is_exist(key):
    return bf.contains(key)

def add_to_bloom(key):
    bf.add(key)