指标说明
统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。
统计粒度:60s、300s。
BPS:表示每秒传输的数据量。
RPS:表示每秒传输的行数。
数据迁移
MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL
指标分类 | 指标中文名称 | 指标英文名称 | 单位 | 说明 |
BPS-全量阶段 | 源实例全量导出 BPS | MigrateDumperBps | MB/s | 全量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例全量导入 BPS | MigrateLoaderBps | MB/s | 全量阶段,DTS 每秒导入到目标实例的数据量。 |
BPS-增量阶段 | 源实例增量导出 BPS | MigrateRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例增量导入 BPS | MigrateSinkerBps | MB/s | 增量阶段,DTS 每秒导入到目标实例的数据量。 |
RPS-全量阶段 | 源实例全量导出 RPS | MigrateDumperRps | Count/s | 全量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标实例全量导入 RPS | MigrateLoaderRps | Count/s | 全量阶段,DTS 每秒导入到目标实例的数据行数。 |
RPS-增量阶段 | 源实例数据抽取 RPS(同源实例增量导出RPS) | MigrateCaptureRps | Count/s | 该指标为过渡阶段,后续仅保留源实例增量导出 RPS。 |
| 源实例增量导出 RPS | MigrateRiverRps | Count/s | 增量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标数据装载 RPS(同目标实例增量导入RPS) | MigrateLoadRps | Count/s | 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 |
| 目标实例增量导入 RPS | MigrateSinkerRps | Count/s | 增量阶段,DTS 每秒导入到目标实例的数据行数。 |
网络延迟-全量阶段 | DTS 全量导出时与源实例网络延迟 | MigrateDumperNetworkLag | ms | 全量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 全量导入时与目标实例网络延迟 | MigrateLoaderNetworkLag | ms | 全量阶段,DTS 数据导入与目标实例的网络延迟。 |
网络延迟-增量阶段 | DTS 增量导出时与源实例网络延迟 | MigrateRiverNetworkLag | ms | 增量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 增量导入时与目标实例网络延迟 | MigrateSinkerNetworkLag | ms | 增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 数据迁移延迟时间 | MigrateLag | s | 增量阶段,目标实例和源实例的时间延迟。 计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。 源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。
“数据迁移延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 |
| 数据迁移延迟数据量 | MigrateLagData | MBytes | 增量阶段,目标实例和源实例的数据差距。 计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。
源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。 |
RPS 使用率 | 目标实例增量导入 RPS 使用率 | MigrateSinkerRpsUsage | % | RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。 当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。 当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。 |
数据同步
MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL
指标分类 | 指标中文名 | 指标英文名 | 单位 | 说明 |
BPS-全量阶段 | 源实例全量导出 BPS | ReplicationDumperBps | MB/s | 全量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例全量导入 BPS | ReplicationLoaderBps | MB/s | 全量阶段,DTS 每秒导入到目标实例的数据量。 |
BPS-增量阶段 | 源实例增量导出 BPS | ReplicationRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| 目标实例增量导入 BPS | ReplicationSinkerBps | MB/s | 增量阶段,DTS 每秒导入到目标实例的数据量。 |
RPS-全量阶段 | 源实例全量导出 RPS | ReplicationDumperRps | Count/s | 全量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标实例全量导入 RPS | ReplicationLoaderRps | Count/s | 全量阶段,DTS 每秒导入到目标实例的数据行数。 |
RPS-增量阶段 | 源实例数据抽取 RPS(同源实例增量导出RPS) | ReplicationCaptureRps | Count/s | 该指标为过渡阶段,后续仅保留源实例增量导出 RPS。 |
| 源实例增量导出 RPS | ReplicationRiverRps | Count/s | 增量阶段,DTS 每秒从源实例导出的数据行数。 |
| 目标数据装载 RPS(同目标实例增量导入RPS) | ReplicationLoadRps | Count/s | 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 |
| 目标实例增量导入 RPS | ReplicationSinkerRps | Count/s | 增量阶段,DTS 每秒导入到目标实例的数据行数。 |
网络延迟-全量阶段 | DTS 全量导出时与源实例网络延迟 | ReplicationDumperNetworkLag | ms | 全量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 全量导入时与目标实例网络延迟 | ReplicationLoaderNetworkLag | ms | 全量阶段,DTS 数据导入与目标实例的网络延迟。 |
网络延迟-增量阶段 | DTS 增量导出时与源实例网络延迟 | ReplicationRiverNetworkLag | ms | 增量阶段,DTS 数据导出与源实例的网络延迟。 |
| DTS 增量导入时与目标实例网络延迟 | ReplicationSinkerNetworkLag | ms | 增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 数据同步延迟时间 | DtsReplicationLag | s | 增量阶段,目标实例和源实例的时间同步延迟。 计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。
源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据同步延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 |
| 数据同步延迟数据量 |
DtsReplicationLagData
| MBytes | 增量阶段,目标实例和源实例的数据同步差距。 计算方法:源实例最新的 Binlog Event 文件位点减去目标实例当前正在执行的最新一条源实例 Binlog Event 的文件位点。 当这两个位点跨越 Binlog 文件时,该值有估算成分。
源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。 |
RPS 使用率 | 目标实例增量导入 RPS 使用率 | ReplicationSinkerRpsUsage | % | RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。 当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。 当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。 |
数据订阅
MySQL/TDSQL-C MySQL
指标分类 | 指标中文名 | 指标英文名 | 单位 | 指标说明 |
数据生产 |
订阅服务与源库的 GTID 差距个数 | ProducerLag | Count | 数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。 |
| 订阅服务每秒解析事务数 | ProducerTps | Count/s | 增量阶段,DTS 每秒从源实例 Binlog 抽取解析的事务数。 |
| 源实例增量导出 BPS | SubscribeRiverBps | MB/s | 增量阶段,DTS 每秒从源实例导出的数据量。 |
| Kafka 增量导入 BPS | SubscribeSinkerBps | MB/s | 增量阶段,DTS 每秒导入到订阅内置 Kafka 的数据量。 |
数据消费 | 订阅消费分区未消费记录数 | SubscribeConsumePartitionUnConsume | Count | 待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。 |
| 订阅消费分区消费延迟时间 | SubscribeConsumePartitionLatency | s | 消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。 |
MariaDB/Percona/TDSQL MySQL
指标分类 | 指标中文名 | 指标英文名 | 单位 | 指标说明 |
数据生产 | 订阅服务与源库的 GTID 差距个数 | ProducerLag | Count | 数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反应真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。 |
| 订阅服务每秒解析事务数 | ProducerTps | Count/s | DTS 每秒从源实例 Binlog 抽取解析的事务数。 |
数据消费 | 订阅消费分区未消费记录数 | SubscribeConsumePartitionUnConsume | Count | 待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。 |
| 订阅消费分区消费延迟时间 | SubscribeConsumePartitionLatency | s | 消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。 |
TDSQL PostgreSQL
指标中文名 | 指标英文名 | 单位 | 指标说明 |
订阅服务与源库的 LSN 差距 | ProducerLsnLag | MBytes | 数据订阅服务已解析的日志位点与源库最新产生的日志位点之间的 LSN 差距。 |
订阅服务每秒解析事务数 | ProducerTps | Count/s | DTS 每秒从源实例 Binlog 抽取解析的事务数。 |