腾讯云中间件专家服务-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

腾讯云中间件专家服务

专栏成员

58

文章

102764

阅读量

47

订阅数

TDMQ-pulsar消息的顺序性

消息队列 TDMQ 消息队列 CMQ 版

Pulsar中消息的顺序性和几个因素有关：用户自己的业务线程数、Producer 的路由模式(SinglePartition、RoundRobinPariion等、Topie是否分区、发送方式（同步、异步），是否开启批量发送、消息是否有Key。每个Producer实例都有一个属于自已的发送队列，不管是同步发送还是异步发送，所有的消息都会先进入这个队列。同步发送是基于异步发送实现的----异步发送会返回一个CompletablePuture对象，同步发送只是在此基础上同步等特而已（通过CompletableFuture,get（）实现)。因此，同步发送的消息也会先进入发送队列，不过每次入队后都会触发发送操作。

2022-05-06

1.2K0

ckafka、Pulsar、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别

消息队列 CKafka 版消息队列 TDMQ 消息队列 CMQ 版

ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别

2022-04-25

3.6K1

【最佳实践】巡检项：消费者创建与健康检查

消息队列 TDMQ

在 TDMQ Pulsar 版控制台中，订阅代表一个具体的消费者以及其对某个 Topic 的订阅关系。当一个消费者订阅了某个 Topic 之后，则该 Topic 下的消息均可以被其消费。一个订阅可以订阅多个 Topic ，例如用户在一个 Topic 下创建了一个订阅后，其不仅会订阅当前的 Topic，还会订阅系统自动创建的重试队列 Topic。

2022-03-29

5680

【最佳实践】巡检项：死信队列检查

消息队列 TDMQ

死信队列是一种特殊的消息队列，用于集中处理无法被正常消费的消息的队列。当消息在重试队列中达到一定重试次数后仍未能被正常消费，TDMQ Pulsar 版会判定这条消息在当前情况下无法被消费，将其投递至死信队列。

2022-03-29

3230

【最佳实践】巡检项：TDMQ监控检查

消息队列 TDMQ

TDMQ是一个发布-订阅模型的消息系统，由 Broker、Apache BookKeeper、Producer、Consumer 等组件组成。

2022-03-29

5680

关注专栏作者，随时接收最新技术干货

腾讯 | 技术

腾讯中间件 | 技术咨询工程师

巡检项：开启Ckafka跨可用区部署

消息队列 CKafka 版

CKafka 专业版支持跨可用区部署，在拥有3个或3个以上可用区的地域购买 CKafka 实例时，可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上，这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。目前，仅专业版支持跨可用区部署，标准版无法支持。

2022-03-24

8850

巡检项：开启Ckafka跨可用区部署

私有网络 kafka 消息队列 CKafka 版

CKafka 专业版支持跨可用区部署，在拥有3个或3个以上可用区的地域购买 CKafka 实例时，可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上，这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。目前，仅专业版支持跨可用区部署，标准版无法支持。

2022-03-24

7860

业务级容灾切换演练实践

业务容灾是所有容灾中最复杂的一种场景，涉及到业务应用、中间件、数据库及底层的计算、存储、网络等资源。就云上业务容灾来讲整个容灾覆盖到IaaS、PaaS、SaaS层。在容灾方案确认并且实施落地之后，就需要进行容灾切换演练工作。下面主要介绍下容灾切换演练的流程及具体操作细节。

2021-12-20

2.4K0

自建kafka迁移到云上Ckafka整体方案

消息队列 CKafka 版架构设计

3. CKafka 消费端新起消费者，配置新的 CKafka 集群的 bootstrap-server，消费新的 CKafka 集群。

2021-12-03

1.7K0

消息中间件RocketM高可用容灾设计架构

-- 全部由 Broker Master 节点组成（即可能部署两个或者更多 Broker），生产者发送的数据会分别存入不同的 Broker 中，这样能够避免某个 Broker 一直接收处理数据从而负载过高。

2021-12-02

1.6K0

Ckafka 实现跨可用区容灾部署案例

消息队列 CKafka 版

CKafka 专业版支持跨可用区部署，在拥有3个或3个以上可用区的地域购买 CKafka 实例时，可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上，这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。

2021-11-12

1.4K0

业务容灾切换案例

产品容灾主要就是将云产品做跨可用区或者跨地域部署，实现多地部署，如果某一个地域出现了问题的时候，可以进行自动切换，确保整体可用。

2021-11-12

1.2K0

SpringBoot+Kafka+ELK 完成海量日志收集

kafka spring apache zookeeper javascript

用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值

2021-09-23

4K1

容灾演练-故障切换

容灾设计过程当中需要考虑的故障切换的场景有很多，数据中心内部的高可用切换不在本次讨论范围之内，我们讨论的是容灾恢复过程中的关键跨数据中心级的故障切换场景，从网络层到存储层都会涉及到，其主要涉及如下几个方面：

2021-09-16

2.9K0

kafka压测工具及实践指南

消息队列 CKafka 版

并发压测topic所有partition，比如topic ods_finder_log_19501_sec_i 总共300个partition，用20台机器压测，每台机器启动15个进程，每个进程分配一个partition

2021-08-26

8670

容灾案例：Kafka集群快速扩容的方案总结

系统架构消息队列 CKafka 版

熟悉Apache Kafka的同学都知道，当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时，新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量，节点负载等因素的影响，导致迁移时间较长，甚至出现迁移不动的情况。同时数据迁移也会增大当前节点的压力，可能导致集群进一步崩溃。

2021-08-20

1.6K0

消息中间件之Kafka集群跨区容灾迁移实践案例

架构设计消息队列 CKafka 版

Kafka作为当今一款最为流行的高性能消息中间件，确保其高可用性并具备跨区容灾能力是很多企业运维人员的职责之一。现在我们将我们平时帮客户做kafka集群跨区容灾迁移实践经验分享给大家，供参考。

2021-08-20

2K2

客户容灾案例—zookeeper容灾迁移方案

在至少有一个Leader存在的前提下，进行Zookeeper的在线增量、在线减量、在线迁移在全过程中ZooKeeper不停止服务

2021-07-26

1.7K0

中间件PaaS层组件容灾方案及实践

es 消息队列 CKafka 版 kafka tcp/ip 云数据库 Redis®

当下，随着数字化技术不断深入，愈来愈多企业将核心业务搬到线上。业务系统高可用、可扩展、容灾能力决定企业系统的连续性，中间件作为构建企业核心系统的重要组成部分，其高可用容灾能力也将决定应用系统的。本文结合腾讯云中间件各PaaS产品的容灾能力及实践，以一个行业头部客户业务容灾实践举例，来展开说明基于腾讯云中间件PaaS层相关产品的实践。

2021-05-31

4.4K12

Kafka消息存储原理

unix node.js http kafka 批量计算

Kafka作为一个高性能的消息队列中间件，有着高效的消息存储方式。我们知道在Kafka中，消息是以topic的形式进行逻辑上的隔离，一个topic又可以分为多个分区，当我们发送消息的时候，会根据某种规则（可以是默认规则，也可以是自定义规则），把消息存储到某个分区当中，同时消息会被分配一个序列号，也就是我们常说的offset，这个offset是一个不断递增的数值。

2021-03-23

1.4K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态