文档中心>消息队列 CKafka 版>实践教程>集群容量规划实践教程

集群容量规划实践教程

最近更新时间:2024-09-10 16:15:51

我的收藏
在使用消息队列 CKafka 时,规格主要是带宽和存储,同时还包括可用区分布、分区数等,这些指标一定程度上决定了集群的负载能力。然而,在实际的运行过程中,由于业务场景的差异性,集群的实际负荷可能会受到多种因素的影响,例如:消息大小、消息是否有压缩、消息的收发比例、Topic 的副本数及其关键属性等。所以,单纯的将集群带宽、存储占比等作为集群是否扩容的唯一判断指标,是不够全面的。
为了更好地保障业务的稳定运行、合理地规划和管理集群容量,目前在高级监控提供了集群负载的指标。该指标可以帮助您以更简单的方式,获取当前集群的负荷情况,从而为评估当前 CKafka 集群是否需要扩容作参考。

适用场景

CKafka 专业版。
某些特殊业务场景下,带宽使用率低但是集群负载高,需要结合集群负载指标进行集群带宽扩容。

指标查看路径

查看节点级的集群整体负载情况,具体可参见 查询高级监控(专业版)

参考策略

为了确保您生产业务的稳定性和 CKafka 集群的处理性能,建议根据集群的部署方式和负载情况,合理规划集群容量。如果集群负载超过以下参考值,建议及时增加集群带宽规格。
单可用区部署
当集群部署在单个可用区时,建议集群负载最大值保持在 70% 左右。
多可用区部署
当集群部署在多个可用区时,需要考虑一定的冗余,以便于当某个 AZ 发生非预期异常时,剩余可用的 AZ 可以正常负荷业务运行。例如:
2 AZ 部署:当单 AZ 不可用时,集群剩余一半节点,结合 70% 的使用率,建议集群常态负载保持在 35% 以下。
3 AZ 部署:当单 AZ 不可用时,集群剩余 2/3 节点,结合 70% 的使用率,建议集群常态负载保持在 47% 以下。