订阅管理

最近更新时间:2024-10-11 15:25:01

我的收藏

操作场景

订阅代表一个具体的消费者以及其对某个 Topic 的订阅关系。当一个消费者订阅了某个 Topic 之后,则该 Topic 下的消息均可以被其消费。CKafka 连接器的订阅服务提供了服务端保存用户消费点位的功能,本文介绍在 CKafka 控制台新增订阅关系和重置消费位点的操作方法。

前提条件

操作步骤

新增订阅

设置 offset

在离线数据处理等场景下,有时需要对 offset 进行重置,用于消费前一时间段的消息。
1. Topic 列表 中,找到需要创建订阅的 Topic ,单击 Topic 的 ID 进入 Topic 基本信息页面。
2. 在页面上方选择订阅关系页签,单击目标订阅操作列的 offset 设置
3. 在 offset 设置窗口,选择以 Topic 或者 Partition 为维度进行设置,单击下一步
以 Topic 为维度设置:适用于批量重设消费位点,按业务设置消费位点等场景。
以 Partition 为维度设置:适用于在了解各个 Partition 消费情况后,针对分区设置消费位点。
4. 选择需要重置 offset 的 Topic 信息(不选则默认全部 Topic 的 offset 均重置)或者 Partition 信息,单击下一步
5. 对 offset 进行指定。
img


注意
offset 设置范围要在最小 offset 和最大 offset 之间。在配置时,如果小于最小 offset 会从最小 offset 进行消费,如果大于最大 offset 会从最大 offset 进行消费。
重置消费分组时,需保证没有消费者在消费分组内才能进行重置,否则不能进行重置。

查看消费者详情

在订阅关系列表页,单击操作列的查看消费者详情,可以查看该消费组中的消费者信息,具体消费者和订阅 Topic 的对应关系。
在订阅关系列表页,单击消费者名称列左侧的小三角,可以展示出该消费者组订阅的主题信息,包含主题名称、分区数目、提交的 offset 位置,最大的 offset 位置以及未消费消息条数等。
单击操作列的查看详情可以看到分区级别的 offset 消费情况。



注意
由于 offset 信息是在消费端维护的,因此 offset 的位置和消费者提交 offset 的方式有关,是异步展示的,并不一定代表实时的消费情况。

删除订阅

在订阅关系列表中,单击目标消费者操作栏的删除,二次确认后可直接删除该消费者。
注意:
删除消费者组后,其中的消费者重新建立消费连接时,会重置 offset,即从头开始消费。