Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >详解Redisson分布式限流的实现原理

详解Redisson分布式限流的实现原理

作者头像
科技新语
发布于 2023-02-14 09:48:11
发布于 2023-02-14 09:48:11
89000
代码可运行
举报
运行总次数:0
代码可运行

我们目前在工作中遇到一个性能问题,我们有个定时任务需要处理大量的数据,为了提升吞吐量,所以部署了很多台机器,但这个任务在运行前需要从别的服务那拉取大量的数据,随着数据量的增大,如果同时多台机器并发拉取数据,会对下游服务产生非常大的压力。之前已经增加了单机限流,但无法解决问题,因为这个数据任务运行中只有不到10%的时间拉取数据,如果单机限流限制太狠,虽然集群总的请求量控制住了,但任务吞吐量又降下来。如果限流阈值太高,多机并发的时候,还是有可能压垮下游。 所以目前唯一可行的解决方案就是分布式限流

  我目前是选择直接使用Redisson库中的RRateLimiter实现了分布式限流,关于Redission可能很多人都有所耳闻,它其实是在Redis能力上构建的开发库,除了支持Redis的基础操作外,还封装了布隆过滤器、分布式锁、限流器……等工具。今天要说的RRateLimiter及时其实现的限流器。接下来本文将详细介绍下RRateLimiter的具体使用方式、实现原理还有一些注意事项,最后简单谈谈我对分布式限流底层原理的理解。

RRateLimiter使用

  RRateLimiter的使用方式异常的简单,参数也不多。只要创建出RedissonClient,就可以从client中获取到RRateLimiter对象,直接看代码示例。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
RedissonClient redissonClient = Redisson.create();
RRateLimiter rateLimiter = redissonClient.getRateLimiter("xindoo.limiter");
rateLimiter.trySetRate(RateType.OVERALL, 100, 1, RateIntervalUnit.HOURS); 
复制代码

  rateLimiter.trySetRate就是设置限流参数,RateType有两种,OVERALL是全局限流 ,PER_CLIENT是单Client限流(可以认为就是单机限流),这里我们只讨论全局模式。而后面三个参数的作用就是设置在多长时间窗口内(rateInterval+IntervalUnit),许可总量不超过多少(rate),上面代码中我设置的值就是1小时内总许可数不超过100个。然后调用rateLimiter的tryAcquire()或者acquire()方法即可获取许可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
rateLimiter.acquire(1); // 申请1份许可,直到成功
boolean res = rateLimiter.tryAcquire(1, 5, TimeUnit.SECONDS); // 申请1份许可,如果5s内未申请到就放弃
复制代码

  使用起来还是很简单的嘛,以上代码中的两种方式都是同步调用,但Redisson还同样提供了异步方法acquireAsync()和tryAcquireAsync(),使用其返回的RFuture就可以异步获取许可。

RRateLimiter的实现

  接下来我们顺着tryAcquire()方法来看下它的实现方式,在RedissonRateLimiter类中,我们可以看到最底层的tryAcquireAsync()方法。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    private <T> RFuture<T> tryAcquireAsync(RedisCommand<T> command, Long value) {
        byte[] random = new byte[8];
        ThreadLocalRandom.current().nextBytes(random);

        return commandExecutor.evalWriteAsync(getRawName(), LongCodec.INSTANCE, command,
                "——————————————————————————————————————"
                + "这里是一大段lua代码"
                + "____________________________________",
                Arrays.asList(getRawName(), getValueName(), getClientValueName(), getPermitsName(), getClientPermitsName()),
                value, System.currentTimeMillis(), random);
    }
复制代码

  映入眼帘的就是一大段lua代码,其实这段Lua代码就是限流实现的核心,我把这段lua代码摘出来,并加了一些注释,我们来详细看下。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
local rate = redis.call("hget", KEYS[1], "rate")  # 100 
local interval = redis.call("hget", KEYS[1], "interval")  # 3600000
local type = redis.call("hget", KEYS[1], "type")  # 0
assert(rate ~= false and interval ~= false and type ~= false, "RateLimiter is not initialized")
local valueName = KEYS[2]      # {xindoo.limiter}:value 用来存储剩余许可数量
local permitsName = KEYS[4]    # {xindoo.limiter}:permits 记录了所有许可发出的时间戳  
# 如果是单实例模式,name信息后面就需要拼接上clientId来区分出来了
if type == "1" then
    valueName = KEYS[3]        # {xindoo.limiter}:value:b474c7d5-862c-4be2-9656-f4011c269d54
    permitsName = KEYS[5]      # {xindoo.limiter}:permits:b474c7d5-862c-4be2-9656-f4011c269d54
end
# 对参数校验 
assert(tonumber(rate) >= tonumber(ARGV[1]), "Requested permits amount could not exceed defined rate")
# 获取当前还有多少许可 
local currentValue = redis.call("get", valueName)   
local res
# 如果有记录当前还剩余多少许可 
if currentValue ~= false then
    # 回收已过期的许可数量
    local expiredValues = redis.call("zrangebyscore", permitsName, 0, tonumber(ARGV[2]) - interval)
    local released = 0
    for i, v in ipairs(expiredValues) do
        local random, permits = struct.unpack("Bc0I", v)
        released = released + permits
    end
    # 清理已过期的许可记录
    if released > 0 then
        redis.call("zremrangebyscore", permitsName, 0, tonumber(ARGV[2]) - interval)
        if tonumber(currentValue) + released > tonumber(rate) then
            currentValue = tonumber(rate) - redis.call("zcard", permitsName)
        else
            currentValue = tonumber(currentValue) + released
        end
        redis.call("set", valueName, currentValue)
    end
    # ARGV  permit  timestamp  random, random是一个随机的8字节
    # 如果剩余许可不够,需要在res中返回下个许可需要等待多长时间 
    if tonumber(currentValue) < tonumber(ARGV[1]) then
        local firstValue = redis.call("zrange", permitsName, 0, 0, "withscores")
        res = 3 + interval - (tonumber(ARGV[2]) - tonumber(firstValue[2]))
    else
        redis.call("zadd", permitsName, ARGV[2], struct.pack("Bc0I", string.len(ARGV[3]), ARGV[3], ARGV[1]))
        # 减小可用许可量 
        redis.call("decrby", valueName, ARGV[1])
        res = nil
    end
else # 反之,记录到还有多少许可,说明是初次使用或者之前已记录的信息已经过期了,就将配置rate写进去,并减少许可数 
    redis.call("set", valueName, rate)
    redis.call("zadd", permitsName, ARGV[2], struct.pack("Bc0I", string.len(ARGV[3]), ARGV[3], ARGV[1]))
    redis.call("decrby", valueName, ARGV[1])
    res = nil
end
local ttl = redis.call("pttl", KEYS[1])
# 重置
if ttl > 0 then
    redis.call("pexpire", valueName, ttl)
    redis.call("pexpire", permitsName, ttl)
end
return res
复制代码

  即便是加了注释,相信你还是很难一下子看懂这段代码的,接下来我就以其在Redis中的数据存储形式,然辅以流程图让大家彻底了解其实现实现原理。

  首先用RRateLimiter有个name,在我代码中就是xindoo.limiter,用这个作为KEY你就可以在Redis中找到一个map,里面存储了limiter的工作模式(type)、可数量(rate)、时间窗口大小(interval),这些都是在limiter创建时写入到的redis中的,在上面的lua代码中也使用到了。

  其次还俩很重要的key,valueName和permitsName,其中在我的代码实现中valueName是{xindoo.limiter}:value ,它存储的是当前可用的许可数量。我代码中permitsName的具体值是{xindoo.limiter}:permits,它是一个zset,其中存储了当前所有的许可授权记录(含有许可授权时间戳),其中SCORE直接使用了时间戳,而VALUE中包含了8字节的随机值和许可的数量,如下图:

  {xindoo.limiter}:permits这个zset中存储了所有的历史授权记录,知道了这些信息,相信你也就理解了RRateLimiter的实现原理,我们还是将上面的那大段Lua代码的流程图绘制出来,整个执行的流程会更直观。

  看到这大家应该能理解这段Lua代码的逻辑了,可以看到Redis用了多个字段来存储限流的信息,也有各种各样的操作,那Redis是如何保证在分布式下这些限流信息数据的一致性的?答案是不需要保证,在这个场景下,信息天然就是一致性的。原因是Redis的单进程数据处理模型,在同一个Key下,所有的eval请求都是串行的,所有不需要考虑数据并发操作的问题。在这里,Redisson也使用了HashTag,保证所有的限流信息都存储在同一个Redis实例上。

RRateLimiter使用时注意事项

  了解了RRateLimiter的底层原理,再结合Redis自身的特性,我想到了RRateLimiter使用的几个局限点(问题点)。

RRateLimiter是非公平限流器

  这个是我查阅资料得知,并且在自己代码实践的过程中也得到了验证,具体表现就是如果多个实例(机器)取竞争这些许可,很可能某些实例会获取到大部分,而另外一些实例可怜巴巴仅获取到少量的许可,也就是说容易出现旱的旱死 涝的涝死的情况。在使用过程中,你就必须考虑你能否接受这种情况,如果不能接受就得考虑用某些方式尽可能让其变公平。

Rate不要设置太大

  从RRateLimiter的实现原理你也看出了,它采用的是滑动窗口的模式来限流的,而且记录了所有的许可授权信息,所以如果你设置的Rate值过大,在Redis中存储的信息(permitsName对应的zset)也就越多,每次执行那段lua脚本的性能也就越差,这对Redis实例也是一种压力。个人建议如果你是想设置较大的限流阈值,倾向于小Rate+小时间窗口的方式,而且这种设置方式请求也会更均匀一些。

限流的上限取决于Redis单实例的性能

  从原理上看,RRateLimiter在Redis上所存储的信息都必须在一个Redis实例上,所以它的限流QPS的上限就是Redis单实例的上限,比如你Redis实例就是1w QPS,你想用RRateLimiter实现一个2w QPS的限流器,必然实现不了。 那有没有突破Redis单实例性能上限的方式?单限流器肯定是实现不了的,我们可以拆分多个限流器,比如我搞10个限流器,名词用不一样的,然后每台机器随机使用一个限流器限流,实际的流量不就被分散到不同的限流器上了吗,总的限流上线不也就上来了。

分布式限流的本质

分布式限流的本质实际上就是协同,协同的本质就是信息交换,信息交换最重要的的就是信息的准确性和一致性。 更简单粗暴理解,分布式限流的本质原理其实还是分布式数据一致性的原理,而限流只是数据结果的一种决策。所以只要以任何方式能让信息同步,且保证信息的正确性就可以实现一个分布式限流器了,这就是我理解的本质思路。

   其实从上面的RRateLimiter的实现原理也可以看出来,它不就是存储了一些信息吗! 那我不用Redis,而是使用mysql行不行。实际肯定是可以的,只要将的上面Lua代码中的所有操作都放到一个事务里,且事务的级别改成串行化,依旧能实现RRateLimiter同样的功能。如果你具备Mysql相关知识的话,肯定也能基于Mysql将RRateLimiter的API封装出来,但是封装出来的限流器,其限流的上限就取决于Mysql实例的性能上限。

   最近chatGPT比较火,我也问了下它对分布式限流本质原理的理解,下面是它的回答,大家觉得怎么样?

分布式限流的本质原理是通过在分布式系统中共享限流状态来限制系统中单位时间内的请求数量,从而避免系统因流量过大而崩溃。 这是通过使用一些共享的存储组件,如数据库,缓存,分布式锁等来实现的。在每次请求时,系统会检查当前的请求数量是否超过了预先设定的限制,如果超过了限制,请求就会被拒绝;如果未超过限制,请求就会被允许。 通过使用分布式限流技术,系统可以在高并发情况下保持稳定的性能,并避免因流量过大而导致的系统崩溃。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
聊聊redisson的RRateLimiter
redisson/src/main/java/org/redisson/api/RRateLimiter.java
code4it
2024/04/23
4710
可以了,基于Redis和Lua实现分布式令牌桶限流
限流是一个很大的话题,准备把其中的所有限流器都实现一遍,以此也算全都写过了,到时候再用也不至于会心虚,毕竟真实写完成过。本文主要讲述了如何基于 Redis 与 Lua实现分布式令牌桶的限流方案。
Java程序猿阿谷
2021/02/04
2.6K0
浅谈限流组件的应用和设计原则
做业务的同学都知道,在现实情况中,往往会出现流量暴增的情况。这些流量可能来自于黑客的爬虫,也可能来自于节日大促,或者其他一些渠道。当然业界都有对策,比如反爬、熔断、降级、限流等等不一而足。
xiaoxi666
2021/08/10
6570
分布式限流
在单机系统中,限流逻辑直接放在服务接口中即可,Guava RateLimiter 可以方便的实现。
dys
2019/03/07
1.9K0
限流--分布式限流
上一篇《限流--单机限流》讲述了单机限流的原理和技术实现,那么在现在分布式架构盛行的互联网时代,对于资源紧俏或者出于安全防范的目的,对一些核心的接口会做限流,或者对于一些黑灰产业在应用入口处做拦截或者限流。先举两个例子让大家更有体感:
叔牙
2020/11/19
1.1K0
限流--分布式限流
可能要用心学高并发核心编程,限流原理与实战,分布式令牌桶限流
本节介绍的分布式令牌桶限流通过Lua+Java结合完成,首先在Lua脚本中完成限流的计算,然后在Java代码中进行组织和调用。
愿天堂没有BUG
2022/10/28
3750
可能要用心学高并发核心编程,限流原理与实战,分布式令牌桶限流
用Redis实现接口限流
在高并发环境下,为了缓解数据库,服务器的压力,往往需要对一些接口进行限制操作。比如某个接口10s内只能调用5次,需要怎么做呢?
Lvshen
2022/05/05
6370
用Redis实现接口限流
分布式Semaphore
最早用来解决进程同步与互斥问题的机制: 包括一个称为信号量的变量及对它进行的两个原语操作(PV操作)
码农戏码
2021/03/23
1.3K0
分布式限流方案的探索与实践
这三把"利器"各有其特点,通常会结合使用,以达到最佳的效果。例如,可以通过缓存来减少数据库的访问,通过降级来应对系统故障,通过限流来防止系统过载。在设计高并发系统时,需要根据系统的具体需求和特点,合理地使用这些技术。接下来本文会主要介绍一些业界常用的限流方法。
腾讯技术工程官方号
2024/03/15
2.1K0
分布式限流方案的探索与实践
分布式锁—6.Redisson的同步器组件
(5)读写锁之读锁RedissonReadLock和写锁RedissonWriteLock
东阳马生架构
2025/05/15
820
基于Redis和Lua的分布式限流
 Java单机限流可以使用AtomicInteger,RateLimiter或Semaphore来实现,但是上述方案都不支持集群限流。集群限流的应用场景有两个,一个是网关,常用的方案有Nginx限流和Spring Cloud Gateway,另一个场景是与外部或者下游服务接口的交互,因为接口限制必须进行限流。
程序员历小冰
2019/04/07
1.9K0
基于Redis和Lua的分布式限流
redis+lua 实现分布式令牌桶,高并发限流
方案一、在提供给业务方的Controller层进行控制。 1、使用guava提供工具库里的RateLimiter类(内部采用令牌捅算法实现)进行限流 2、使用Java自带delayqueue的延迟队列实现(编码过程相对麻烦,此处省略代码) 3、使用Redis实现,存储两个key,一个用于计时,一个用于计数。请求每调用一次,计数器增加1,若在计时器时间内计数器未超过阈值,则可以处理任务 方案二、在短信发送至服务商时做限流处理 方案三、同时使用方案一和方案二
stys35
2020/04/03
2.2K0
短小强悍!一个基于 Redis 的限流系统的设计~
本文讲述基于 Redis 的限流系统的设计,主要会谈及限流系统中限流策略这个功能的设计;在实现方面,算法使用的是令牌桶算法来,访问 Redis 使用 lua 脚本。
java思维导图
2018/12/19
2.7K0
短小强悍!一个基于 Redis 的限流系统的设计~
想通关分布式系统「限流问题」?来一篇源码实战
在分布式领域,我们难免会遇到并发量突增,对后端服务造成高压力,严重甚至会导致系统宕机。为避免这种问题,我们通常会为接口添加限流、降级、熔断等能力,从而使接口更为健壮。Java领域常见的开源组件有Netflix的hystrix,阿里系开源的sentinel等,都是蛮不错的限流熔断框架。
程序员鹏磊
2019/12/10
5060
【高并发】亿级流量场景下如何实现分布式限流?看完我彻底懂了!!
作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址:
冰河
2020/10/29
6270
【高并发】亿级流量场景下如何实现分布式限流?看完我彻底懂了!!
涨薪5K必学高并发核心编程,限流原理与实战,分布式计数器限流
这里介绍两种限流的实现方案:Nginx Lua分布式计数器限流和RedisLua分布式计数器限流。
愿天堂没有BUG
2022/10/28
3310
涨薪5K必学高并发核心编程,限流原理与实战,分布式计数器限流
分布式限流
经典限流算法 在介绍分布式限流之前,先介绍经典限流算法。经过笔者自己的整理,核心的算法主要可以总结为以下两类四种: A类:计数器法,滑动窗口法 B类:令牌桶法,漏桶法 这里的四种算法通常都是在应用级别讨论的,这里不重复介绍这四种算法的实现思路了,只不过我人为的将他们分成了A,B两类。 A类算法,否决式限流。即如果系统设定限流方案是1分钟允许100次调用,那么真实请求1分钟调用200次的话,意味着超出的100次调用,得到的是空结果或者调用频繁异常。 B类算法,阻塞式限流。即如果系统设定限流方案是1分钟允许10
kirito-moe
2018/04/27
1.4K0
Redis 实现多规则限流的思考与实践
市面上很多介绍redis如何实现限流的,但是大部分都有一个缺点,就是只能实现单一的限流,比如1分钟访问1次或者60分钟访问10次这种,但是如果想一个接口两种规则都需要满足呢,我们的项目又是分布式项目,应该如何解决,下面就介绍一下redis实现分布式多规则限流的方式。
架构精进之路
2024/01/08
6150
Redis 实现多规则限流的思考与实践
分布式环境下限流方案的实现redis RateLimiter Guava,Token Bucket, Leaky Bucket
对于web应用的限流,光看标题,似乎过于抽象,难以理解,那我们还是以具体的某一个应用场景来引入这个话题吧。在日常生活中,我们肯定收到过不少不少这样的短信,“双11约吗?,千款….”,“您有幸获得唱读卡,赶快戳链接…”。这种类型的短信是属于推广性质的短信。为什么我要说这个呢?听我慢慢道来。一般而言,对于推广营销类短信,它们针对某一群体(譬如注册会员)进行定点推送,有时这个群体的成员量比较大,甚至可以达到千万级别。因此相应的,发送推广短信的量也会增大。然而,要完成这些短信发送,我们是需要调用服务商的接口来完成的。倘若一次发送的量在200万条,而我们的服务商接口每秒能处理的短信发送量有限,只能达到200条每秒。那么这个时候就会产生问题了,我们如何能控制好程序发送短信时的速度昵?于是限流这个功能就得加上了
用户6182664
2020/05/11
6K0
Spring Cloud 分布式服务限流实战,已经为你排好了
在一个分布式高并发的系统设计中,限流是一个不可忽视的功能点。如果不对系统进行有效的流量访问限制,在双十一和抢票这种流量洪峰的场景下,很容易就会把我们的系统打垮。而作为系统服务的卫兵的网关组件,作为系统服务的统一入口,更需要考虑流量的限制,直接在网关层阻断流量比在各个系统中实现更合适。Spring Cloud Gateway的实现中,就提供了限流的功能,下面主要分析下Spring Cloud Gateway中是如何通过一段lua脚本实现限流功能的。
搜云库技术团队
2019/12/24
1.4K0
推荐阅读
相关推荐
聊聊redisson的RRateLimiter
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验