提交任务以后,可进入数据集成 > 实时运维页面查看并监控当前任务状态、读写指标统计、日志及配置当前任务监控规则。
统计指标
统计指标页面展示了任务内读写及资源运行情况。
读写指标
展示当前任务读写整体条数、全增量同步阶段、以及读写速度等。
| 指标参数 | 说明 |
同步概览 | 累计读取 | 本次任务运行期间,从来源端实际读取数据条数。此指标不包含筛选过滤等方式剔除的数据总量。 |
| 累计成功写入 | 本次任务运行期间,已读取的数据中成功写入到目标端的数据总量。 |
| 累计脏数据 | 本次任务运行期间,已读取的数据中异常写入失败的数据总量。此指标不包含任务配置中主动忽略/过滤而导致未写入的数据,包括指定部分停止、异常重启等运行策略,以及数据过滤等。 |
| 累计运行时长 | 本次任务启动后,累计总运行时长(包含暂停时间)。 |
| 累计读取库 | 本次任务运行期间,从来源端实际读取数据库数量。 |
| 累计读取表 | 本次任务运行期间,从来源端实际读取数据表数量,并且分别全量同步阶段和增量同步阶段数量。 |
全增量同步进度 | 全量/增量状态 | 提供未启动、进行中和已完成三种状态。 |
| 全量同步阶段 | 读取源端库表中的所有记录,本阶段内仅统计读取成功且有存量业务数据的表,并且同步展示增量启动时间、统计时间、全量结束时间。 |
| 增量同步阶段 | 从 binlog 消费变更数据,本阶段内仅统计读取成功且有新增业务数据的表,并且同步展示增量启动时间。 |
| 读取速度 | 读取速度 = 统计间隔内总读取条数 / 统计间隔。 |
| 读取吞吐 | 读取吞吐 = 统计间隔内总读取总量 / 统计间隔。 |
| 写入速度 | 写入速度 = 统计间隔内成功写入条数 / 统计间隔。 |
读写详情 | 写入吞吐 | 写入吞吐 = 统计间隔内成功写入总量 / 统计间隔。 |
| 写入延时 | 来源 Source 端至写入 Sink 端之间的链路延迟,写入延时 = 系统时间 - 记录读取时间(读取端 LatencyMarker 时间戳)。 |
| 作业重启次数 | 统计间隔内当前任务重启次数。 |
资源指标
展示当前任务使用资源情况。
| 指标参数 | 说明 |
CheckPoint | 上次 Checkpoint 大小 | 当前作业最近一次的 Checkpoint 大小。 |
| Checkpoint 耗时 | 当前作业的 Checkpoint 耗时。 |
| Checkpoint 失败总次数 | 当前作业的 Checkpoint 的失败总次数。 |
TaskManager | TaskManager CPU 使用率 | 当前作业 TaskManager 的 CPU 使用率。 |
| TaskManager 堆内存使用量 | 当前作业 TaskManager 堆内存的用量。 |
| TaskManager 老年代总 GC 次数 | 当前作业 TaskManager 老年代 GC 次数。 |
| TaskManager 老年代总 GC 时间 | 当前作业 TaskManager 老年代 GC 时间。 |
| TaskManager 物理内存用量 | 当前作业 TaskManager 所在的 JVM 的物理内存用量(RSS),包括堆内、堆外、Native 等所有区域的总内存用量。 |
JobManager | JM CPU Load | TaskManager 维度的 JVM 最近 CPU 利用率。 |
| JM Head Memory | TaskManager 维度的堆内存使用情况。 |
| JM GC Count | TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Count,GC(垃圾回收)次数。 |
| JM GC Time | TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Time,GC(垃圾回收)时间。 |
链路详情
展示整库任务下每张表的读写情况(仅整库同步时会展示此页面)。
运行日志
展示运行日志。
配置告警
配置告警页面支持对实时任务创建监控规则及告警渠道。