支持的监控指标

最近更新时间:2024-10-31 17:34:32

我的收藏

指标说明

统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。
统计粒度:60s、300s。
BPS:表示每秒传输的数据量。
RPS:表示每秒传输的行数。

数据迁移

MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL

指标分类
指标中文名称
指标英文名称
单位
说明
BPS-全量阶段
源实例全量导出 BPS
MigrateDumperBps
MB/s
全量阶段,DTS 每秒从源实例导出的数据量。
目标实例全量导入 BPS
MigrateLoaderBps
MB/s
全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段
源实例增量导出 BPS
MigrateRiverBps
MB/s
增量阶段,DTS 每秒从源实例导出的数据量。
目标实例增量导入 BPS
MigrateSinkerBps
MB/s
增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段
源实例全量导出 RPS
MigrateDumperRps
Count/s
全量阶段,DTS 每秒从源实例导出的数据行数。
目标实例全量导入 RPS
MigrateLoaderRps
Count/s
全量阶段,DTS 每秒导入到目标实例的数据行数。
RPS-增量阶段
源实例数据抽取 RPS(同源实例增量导出RPS)
MigrateCaptureRps
Count/s
该指标为过渡阶段,后续仅保留源实例增量导出 RPS。
源实例增量导出 RPS
MigrateRiverRps
Count/s
增量阶段,DTS 每秒从源实例导出的数据行数。
目标数据装载 RPS(同目标实例增量导入RPS)
MigrateLoadRps
Count/s
该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
目标实例增量导入 RPS
MigrateSinkerRps
Count/s
增量阶段,DTS 每秒导入到目标实例的数据行数。
网络延迟-全量阶段
DTS 全量导出时与源实例网络延迟
MigrateDumperNetworkLag
ms
全量阶段,DTS 数据导出与源实例的网络延迟。
DTS 全量导入时与目标实例网络延迟
MigrateLoaderNetworkLag
ms
全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段
DTS 增量导出时与源实例网络延迟
MigrateRiverNetworkLag
ms
增量阶段,DTS 数据导出与源实例的网络延迟。
DTS 增量导入时与目标实例网络延迟
MigrateSinkerNetworkLag
ms
增量阶段,DTS 数据导入与目标实例的网络延迟。
数据迁移延迟时间
MigrateLag
s
增量阶段,目标实例和源实例的时间延迟。
计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。
源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。 “数据迁移延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。
数据迁移延迟数据量
MigrateLagData
MBytes
增量阶段,目标实例和源实例的数据差距。
计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。 源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。
RPS 使用率
目标实例增量导入 RPS 使用率
MigrateSinkerRpsUsage
%
RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。
当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

数据同步

MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL

指标分类
指标中文名
指标英文名
单位
说明
BPS-全量阶段
源实例全量导出 BPS
ReplicationDumperBps
MB/s
全量阶段,DTS 每秒从源实例导出的数据量。
目标实例全量导入 BPS
ReplicationLoaderBps
MB/s
全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段
源实例增量导出 BPS
ReplicationRiverBps
MB/s
增量阶段,DTS 每秒从源实例导出的数据量。
目标实例增量导入 BPS
ReplicationSinkerBps
MB/s
增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段
源实例全量导出 RPS
ReplicationDumperRps
Count/s
全量阶段,DTS 每秒从源实例导出的数据行数。
目标实例全量导入 RPS
ReplicationLoaderRps
Count/s
全量阶段,DTS 每秒导入到目标实例的数据行数。
RPS-增量阶段
源实例数据抽取 RPS(同源实例增量导出RPS)
ReplicationCaptureRps
Count/s
该指标为过渡阶段,后续仅保留源实例增量导出 RPS。
源实例增量导出 RPS
ReplicationRiverRps
Count/s
增量阶段,DTS 每秒从源实例导出的数据行数。
目标数据装载 RPS(同目标实例增量导入RPS)
ReplicationLoadRps
Count/s
该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
目标实例增量导入 RPS
ReplicationSinkerRps
Count/s
增量阶段,DTS 每秒导入到目标实例的数据行数。
网络延迟-全量阶段
DTS 全量导出时与源实例网络延迟
ReplicationDumperNetworkLag
ms
全量阶段,DTS 数据导出与源实例的网络延迟。
DTS 全量导入时与目标实例网络延迟
ReplicationLoaderNetworkLag
ms
全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段
DTS 增量导出时与源实例网络延迟
ReplicationRiverNetworkLag
ms
增量阶段,DTS 数据导出与源实例的网络延迟。
DTS 增量导入时与目标实例网络延迟
ReplicationSinkerNetworkLag
ms
增量阶段,DTS 数据导入与目标实例的网络延迟。
数据同步延迟时间
DtsReplicationLag
s
增量阶段,目标实例和源实例的时间同步延迟。
计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。 源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据同步延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。
数据同步延迟数据量
DtsReplicationLagData
MBytes
增量阶段,目标实例和源实例的数据同步差距。
计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。 源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。
RPS 使用率
目标实例增量导入 RPS 使用率
ReplicationSinkerRpsUsage
%
RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。
当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。
当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

数据订阅

MySQL/TDSQL-C MySQL

指标分类
指标中文名
指标英文名
单位
指标说明
数据生产
订阅服务与源库的 GTID 差距个数
ProducerLag
Count
数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。
当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
订阅服务每秒解析事务数
ProducerTps
Count/s
增量阶段,DTS 每秒从源实例 Binlog 抽取解析的事务数。
源实例增量导出 BPS
SubscribeRiverBps
MB/s
增量阶段,DTS 每秒从源实例导出的数据量。
Kafka 增量导入 BPS
SubscribeSinkerBps
MB/s
增量阶段,DTS 每秒导入到订阅内置 Kafka 的数据量。
数据消费
订阅消费分区未消费记录数
SubscribeConsumePartitionUnConsume
Count
待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。
订阅消费分区消费延迟时间
SubscribeConsumePartitionLatency
s
消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。

MariaDB/Percona/TDSQL MySQL

指标分类
指标中文名
指标英文名
单位
指标说明
数据生产
订阅服务与源库的 GTID 差距个数
ProducerLag
Count
数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。
当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
订阅服务每秒解析事务数
ProducerTps
Count/s
DTS 每秒从源实例 Binlog 抽取解析的事务数。
数据消费
订阅消费分区未消费记录数
SubscribeConsumePartitionUnConsume
Count
待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。
订阅消费分区消费延迟时间
SubscribeConsumePartitionLatency
s
消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。

TDSQL PostgreSQL

指标中文名
指标英文名
单位
指标说明
订阅服务与源库的 LSN 差距
ProducerLsnLag
MBytes
数据订阅服务已解析的日志位点与源库最新产生的日志位点之间的 LSN 差距。
订阅服务每秒解析事务数
ProducerTps
Count/s
DTS 每秒从源实例 Binlog 抽取解析的事务数。