Redis 缓存穿透/雪崩实战防御，从本地缓存到分布式锁的立体方案

QPS 10,000 → 缓存命中率70% → 数据库实际请求3,000次/秒  
QPS 10,000 → 缓存穿透率90% → 数据库实际请求9,000次/秒（3倍压力！）

public Object getData(String key) {
    // 问题1：缓存污染（大量NULL值占用内存）
    if ("NULL".equals(redis.get(key))) return null; 
    
    // 问题2：过期时间僵化（不同业务需要不同时效）
    redis.setex(key, 300, "NULL"); 
    
    // 问题3：无法区分"临时不存在"和"永久不存在"
}

# RedisBloom参数动态调整脚本
def adjust_bloom_filter(n, p=0.001):
    m = - (n * math.log(p)) / (math.log(2) ** 2)
    k = (m / n) * math.log(2)
    execute("BF.RESERVE", "protect_filter", p, int(m), int(k))

Caffeine.newBuilder()
    .maximumSize(10_000)  // 基于权重计数
    .expireAfterWrite(Duration.ofMinutes(10)) 
    .refreshAfterWrite(Duration.ofMinutes(5)) // 异步刷新
    .weigher((String key, Object value) -> {
        // 热点数据权重更高
        return isHotKey(key) ? 1 : 3;  
    })
    .recordStats() // 开启命中统计
    .build();

# 滑动窗口计数法
hot_keys = {}
TIME_WINDOW = 60  # 60秒窗口

def detect_hot_key(key):
    now = time.time()
    if key not in hot_keys:
        hot_keys[key] = {'count': 1, 'start': now}
    else:
        hot_keys[key]['count'] += 1
        # 计算QPS
        qps = hot_keys[key]['count'] / (now - hot_keys[key]['start'])
        if qps > 1000:  # 阈值
            trigger_protection(key)

场景：100线程并发获取锁
- 原生Redis锁：平均耗时45ms，失败率12%
- ZooKeeper锁：平均耗时78ms，失败率5%
- etcd锁：平均耗时35ms，失败率8%

// 基于业务ID的分片锁
int SHARD_COUNT = 32; 

String getLockKey(String businessKey) {
    int shardIndex = Math.abs(businessKey.hashCode()) % SHARD_COUNT;
    return "LOCK_SHARD_" + shardIndex;
}

// 获取分段锁
RLock shardLock = redisson.getLock(getLockKey("ORDER_1001"));

- name: redis_penetration
  rules:
  - alert: HighPenetrationRate
    expr: sum(redis_miss_requests) / sum(redis_total_requests) > 0.05
    for: 5m
    labels:
      severity: critical
    annotations:
      description: 缓存穿透率超过5%阈值

预测算法 = 时序预测(ARIMA模型) + 事件预测(活动日历)  
扩容触发条件：
  1. 当前负载 > 70% 持续3分钟
  2. 预测1小时后负载 > 80%
  3. 穿透率突增50%以上

缩容条件：
  1. 持续1小时负载 < 40%
  2. 穿透率 < 1% 持续2小时

public Item getItem(String itemId) {
    // 1. 布隆过滤器校验
    if (!bloomFilter.mightContain(itemId)) {
        return null; 
    }
    
    // 2. 本地缓存查询
    Item item = caffeineCache.get(itemId, k -> {
        // 3. 获取分段锁
        RLock lock = redisson.getLock("ITEM_LOCK_" + k.hashCode() % 64);
        try {
            if (lock.tryLock(50, 5000, TimeUnit.MILLISECONDS)) {
                // 4. 二次校验缓存
                Item dbItem = redis.get(k);
                if (dbItem == null) {
                    dbItem = db.query(k);
                    redis.setex(k, 60, dbItem);
                }
                return dbItem;
            } else {
                // 5. 降级返回旧数据
                return localSnapshot.get(k);
            }
        } finally {
            lock.unlock();
        }
    });
    return item;
}

# 使用Redis-CLI预热
cat hot_keys.txt | xargs -n 1 redis-cli get

预测模型输入：
  - 历史访问模式
  - 业务事件日历
  - 实时流量特征
  
输出决策：
  - 动态调整过期时间
  - 自动识别穿透攻击
  - 预加载预测数据