RocketMQ架构

一、技术架构

RocketMQ是一款基于分布式架构设计的消息中间件，它能够处理大规模消息流并提供低延迟的消息传递。以下是RocketMQ的主要技术架构组件：

1. NameServer：NameServer是RocketMQ的核心组件之一，主要用于管理整个消息系统的元数据信息，如Broker的地址、主题的路由信息等。NameServer是一个几乎无状态的节点，可以集群部署，节点之间无需进行信息同步。当Broker启动时，会向NameServer注册自己的信息，包括主题和队列的路由信息。Producer和Consumer会与NameServer建立长连接，并定期从NameServer拉取Topic路由信息。
2. Broker：Broker是消息中转的角色，负责存储消息、转发消息。Broker采用主从集群模式，实现多副本存储和高可用。每个Broker节点都要与所有的NameServer节点建立长连接，以注册Topic路由信息和发送心跳。在Broker主从模式中，Slave节点会主动从Master节点拉取消息。
3. Producer：Producer负责生产消息，一般由业务系统负责。Producer会将业务应用系统里产生的消息发送到Broker服务器。Producer与NameServer的任意一个节点建立长连接，并定期从NameServer拉取Topic路由信息。Producer是否采用集群，取决于它所在的业务系统。
4. Consumer：Consumer负责消费消息，一般是后台系统负责异步消费。Consumer与NameServer的任意一个节点建立长连接，并定期从NameServer拉取Topic路由信息。

RocketMQ的架构支持水平扩展，可以方便地添加新的消息生产者和消费者来应对负载增加的情况。同时，RocketMQ还提供了丰富的消息拉取模式、高效的订阅者水平扩展能力、实时的消息订阅机制以及亿级消息堆积能力。此外，RocketMQ还支持多种语言的客户端SDK，如Java、C++、Python等，使开发者能够使用自己熟悉的编程语言与RocketMQ进行交互。

然而，RocketMQ的部署和配置相对复杂，需要对集群和网络进行合理规划。对于新手来说，上手可能会有一些困难。

因此总的来说，RocketMQ架构上主要分为四部分，如上图所示：

1. Producer：消息发布的角色，支持分布式集群方式部署。
2. Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式消费消息。
3. NameServer：管理Broker代理服务器。
4. BrokerServer：RocketMQ的核心，负责消息的接收和转发。

二、部署架构

RocketMQ 网络部署特点：

1. NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
2. Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId 来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。
3. Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic 服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
4. Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息。
5. 结合部署架构图，集群工作流程可作如下描述：

• 启动NameServer，通过监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
• Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
• 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
• Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，包含Topic中所有队列列表然后选择一个队列，与队列所在的Broker建立长连接再向Broker发消息。
• Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！