RocketMQ是一个分布式消息中间件,底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块:Nameserver, Broker, Producer, Consumer。
结合部署结构图,描述集群工作流程:
图中broker集群有俩个broker,每个broker各有6个队列; 图中2个producer,每个producer轮询均匀的发送消息到broker集群的所有队列; 图中2个consumer,每个consumer消费6个队列;
从上图中可以看出broker端内部是分为很多个具体的队列,producer发送的时候均匀的发送到所有的队列,而consumer是平均的消费队列。
Nameserver用于存储Topic、Broker关系信息,功能简单,稳定性高。
多个Nameserver之间相互没有通信,单台Nameserver宕机不影响其他Nameserver与集群;即使整个Nameserver集群宕机,已经正常工作的Producer,Consumer,Broker仍然能正常工作,但新起的Producer, Consumer,Broker就无法工作。 Nameserver压力不会太大,平时主要开销是在维持心跳和提供Topic-Broker的关系数据。
但有一点需要注意,Broker向Namesr发心跳时,会带上当前自己所负责的所有Topic信息,如果Topic个数太多(万级别),会导致一次心跳中,就Topic的数据就几十M,网络情况差的话,网络传输失败,心跳失败,导致Nameserver误认为Broker心跳失败。
1,高并发读写服务
Broker的高并发读写主要是依靠以下两点:
2、负载均衡:
Broker上存Topic信息,Topic由多个队列组成,队列会平均分散在多个Broker上,而Producer的发送机制保证消息尽量平均分布到所有队列中,最终效果就是所有消息都平均落在每个Broker上。(采用轮询负载均衡)
3、动态伸缩能力
Broker的伸缩性体现在两个维度:Topic, Broker。
3,高可用&高可靠
高可用:集群部署时一般都为主备,备机实时从主机同步消息,如果其中一个主机宕机,备机提供消费服务,但不提供写服务。
高可靠:所有发往broker的消息,有同步刷盘和异步刷盘机制;同步刷盘时,消息写入物理文件才会返回成功,异步刷盘时,只有机器宕机,才会产生消息丢失,broker挂掉可能会发生,但是机器宕机崩溃是很少发生的,除非突然断电
4,Broker与Nameserver的心跳机制 单个Broker跟所有Nameserver保持心跳请求,心跳间隔为30秒,心跳请求中包括当前Broker所有的Topic信息。Nameserver会反查Broer的心跳信息,如果某个Broker在2分钟之内都没有心跳,则认为该Broker下线,调整Topic跟Broker的对应关系。但此时Nameserver不会主动通知Producer、Consumer有Broker宕机。
消费者启动时需要指定Nameserver地址,与其中一个Nameserver建立长连接。消费者每隔30秒从nameserver获取所有topic的最新队列情况,这意味着某个broker如果宕机,客户端最多要30秒才能感知。连接建立后,从Nameserver中获取当前消费Topic所涉及的Broker,直连Broker。
Consumer跟Broker是长连接,会每隔30秒发心跳信息到Broker。Broker端每10秒检查一次当前存活的Consumer,若发现某个Consumer 2分钟内没有心跳,就断开与该Consumer的连接,并且向该消费组的其他实例发送通知,触发该消费者集群的负载均衡。
先讨论消费者的消费模式,消费者有两种模式消费:集群消费,广播消费。
消费者端的负载均衡,就是集群消费模式下,同一个group的所有消费者平均消费该Topic的所有队列。
Producer启动时,也需要指定Nameserver的地址,从Nameserver集群中选一台建立长连接。如果该Nameserver宕机,会自动连其他Nameserver。直到有可用的Nameserver为止。
生产者每30秒从Nameserver获取Topic跟Broker的映射关系,更新到本地内存中。再跟Topic涉及的所有Broker建立长连接,每隔30秒发一次心跳。在Broker端也会每10秒扫描一次当前注册的Producer,如果发现某个Producer超过2分钟都没有发心跳,则断开连接。
#### 生产者端的负载均衡
生产者发送消息时,会自动轮询当前所有可发送的broker,一条消息发送成功,下次换另外一个broker发送,以达到消息平均落到所有的broker上。
这里需要注意一点:假如某个Broker宕机,意味生产者最长需要30秒才能感知到。在这期间会向宕机的Broker发送消息。当一条消息发送到某个broker失败后,会往该broker自动再重发2次,假如还是发送失败,则抛出发送失败异常。业务捕获异常,重新发送即可。客户端里会自动轮询另外一个Broker重新发送,这个对于用户是透明的。
《RocketMQ实战与原理解析》