任务运维

最近更新时间:2024-07-25 11:24:21

我的收藏
提交任务以后,可进入数据集成 > 实时运维页面查看并监控当前任务状态、读写指标统计、日志及配置当前任务监控规则。




统计指标

统计指标页面展示了任务内读写及资源运行情况。

读写指标

展示当前任务读写整体条数、全增量同步阶段、以及读写速度等。




指标参数
说明
同步概览
累计读取
本次任务运行期间,从来源端实际读取数据条数。此指标不包含筛选过滤等方式剔除的数据总量。
累计成功写入
本次任务运行期间,已读取的数据中成功写入到目标端的数据总量。
累计脏数据
本次任务运行期间,已读取的数据中异常写入失败的数据总量。此指标不包含任务配置中主动忽略/过滤而导致未写入的数据,包括指定部分停止、异常重启等运行策略,以及数据过滤等。
累计运行时长
本次任务启动后,累计总运行时长(包含暂停时间)。
累计读取库
本次任务运行期间,从来源端实际读取数据库数量。
累计读取表
本次任务运行期间,从来源端实际读取数据表数量,并且分别全量同步阶段和增量同步阶段数量。
全增量同步进度
全量/增量状态
提供未启动、进行中和已完成三种状态。
全量同步阶段
读取源端库表中的所有记录,本阶段内仅统计读取成功且有存量业务数据的表,并且同步展示增量启动时间、统计时间、全量结束时间。
增量同步阶段
从 binlog 消费变更数据,本阶段内仅统计读取成功且有新增业务数据的表,并且同步展示增量启动时间。
读取速度
读取速度 = 统计间隔内总读取条数 / 统计间隔。
读取吞吐
读取吞吐 = 统计间隔内总读取总量 / 统计间隔。
写入速度
写入速度 = 统计间隔内成功写入条数 / 统计间隔。
读写详情
写入吞吐
写入吞吐 = 统计间隔内成功写入总量 / 统计间隔。
写入延时
来源 Source 端至写入 Sink 端之间的链路延迟,写入延时 = 系统时间 - 记录读取时间(读取端 LatencyMarker 时间戳)。
作业重启次数
统计间隔内当前任务重启次数。

资源指标

展示当前任务使用资源情况。




指标参数
说明
CheckPoint
上次 Checkpoint 大小
当前作业最近一次的 Checkpoint 大小。
Checkpoint 耗时
当前作业的 Checkpoint 耗时。
Checkpoint 失败总次数
当前作业的 Checkpoint 的失败总次数。
TaskManager
TaskManager CPU 使用率
当前作业 TaskManager 的 CPU 使用率。
TaskManager 堆内存使用量
当前作业 TaskManager 堆内存的用量。
TaskManager 老年代总 GC 次数
当前作业 TaskManager 老年代 GC 次数。
TaskManager 老年代总 GC 时间
当前作业 TaskManager 老年代 GC 时间。
TaskManager 物理内存用量
当前作业 TaskManager 所在的 JVM 的物理内存用量(RSS),包括堆内、堆外、Native 等所有区域的总内存用量。
JobManager
JM CPU Load
TaskManager 维度的 JVM 最近 CPU 利用率。
JM Head Memory
TaskManager 维度的堆内存使用情况。
JM GC Count
TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Count,GC(垃圾回收)次数。
JM GC Time
TaskManager 维度的 Status.JVM.GarbageCollector.<GarbageCollector>.Time,GC(垃圾回收)时间。

链路详情

展示整库任务下每张表的读写情况(仅整库同步时会展示此页面)。




运行日志

展示运行日志。




配置告警

配置告警页面支持对实时任务创建监控规则及告警渠道。