操作场景
CKafka 连接器支持监控您创建的资源,如弹性 Topic、任务链路等,您可以根据这些监控数据,分析资源的使用情况,针对可能存在的风险及时进行处理。
本文介绍在 CKafka 连接器支持的监控指标和查看监控数据的操作方法。
监控指标及含义
任务监控-数据接入
监控指标 | 说明 |
每批平均处理数据耗时(ms) | 每批平均处理数据耗时。 |
输出记录数(Count) | 从转换输出并为此任务写入 Kafka 的记录数。 |
输入记录数(Count) | 从转换输出并为此任务写入 Kafka 的记录数。 |
每批输入平均耗时(ms) | 每批平均处理数据耗时。 |
每批输入最大耗时(ms) | 批次拉取最大耗时。 |
任务监控-数据流出
监控指标 | 说明 |
平均处理耗时(ms) | 往下游投递消息的平均耗时。 |
最大处理耗时(ms) | 往下游投递消息的最大耗时。 |
输入记录数(Count) | 向上游读取的记录数。 |
输出记录数(Count) | 向下游成功投递的记录数。 |
数据库监控
说明
仅支持源数据为 MySQL,PostgreSQL,TDSQL_C,SQL Server 的数据库。
监控指标 | 说明 |
订阅延迟(ms) | 上次更改事件的时间戳与处理它的任务之间的毫秒数。这些值将包含运行数据库服务器和连接器的机器上的时钟之间的任何差异。 |
Topic 监控
监控指标 | 说明 |
Topic 最大生产流量(MB/s) | Topic 最大生产流量(不含副本流量)。 |
Topic 最大消费流量(MB/s) | Topic 最大消费流量。 |
Topic 消费消息条数(条) | Topic 的实际消费消息条数,按照所选择的时间粒度统计求和。 |
Topic 消费流量(MB) | Topic 的实际消费流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。 |
Topic 占用磁盘的消息总量(MB) | Topic 实际占用磁盘的消息总量(不包含副本),按照所选择的时间粒度取最新值。 |
Topic 生产消息条数(条) | Topic 的实际生产消息条数,按照所选择的时间粒度统计求和。 |
Topic 生产流量(MB) | Topic 的实际生产流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。 |
Topic 落盘的消息总条数(条) | Topic 的实际的落盘的消息总条数(不包含副本),按照所选择的时间粒度取最新值。 |
Topic 消费限流次数(Count/s) | Topic 消费限流次数,按照所选择的时间粒度统计求和。 |
Topic 生产限流次数(Count/s) | Topic 生产限流次数,按照所选择的时间粒度统计求和。 |
Topic-Partition 监控
监控指标 | 说明 |
Partition 消费流量(MBytes) | Partition 的实际消费流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。 |
Partition 生产流量(MBytes) | Partition 的实际生产流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。 |
Partition 消费消息条数(Count) | Partition 的实际消费消息条数,按照所选择的时间粒度统计求和。 |
Partition 落盘的消息总条数(Count) | Partition 的实际的落盘的消息总条数(不包含副本),按照所选择的时间粒度取最新值。 |
Partition 占用磁盘的消息总量(MB) | Partition 实际占用磁盘的消息总量(不包含副本),按照所选择的时间粒度取最新值。 |
Partition 生产消息条数(Count) | Partition 的实际生产消息条数,按照所选择的时间粒度统计求和。 |
功能入口
查看 CKafka 连接器监控数据有两个入口:
入口一(仅支持查看 Topic 监控):登录 CKafka 控制台,在弹性 Topic 列表页面找到要查看的 Topic,单击Topic 的“ID”,进入基本信息页面,在页面上方单击监控页签。
入口二(支持查看所有监控数据):登录 CKafka 控制台 ,在连接器 > 任务列表页面找到要查看的任务,单击任务的“ID”,进入基本信息页面,在页面上方单击监控页签。
在监控页面,选择好要查看的页签,设置好时间范围后,可以查看对应的监控指标。
图标 | 说明 |
| 单击可查看监控指标同环比。 |
| 单击可刷新获取最新的监控数据。 |
| |
| 勾选后可在图表上显示图例信息。 |