由客户云上购买和使用的资源实例与产品产生的监控事件包括:
事件中文名 | 事件英文名 | type | 有无恢复概念 | 事件描述 | 处理方法与建议 |
集群当前 APIServer 负载较高 | High APIServer load | tke:ErrorEvent:ApiserverOverloadWarn | 有 | 集群 APIServer 负载较高,接近告警阈值 | 排查是否有异常客户端高频调用、是否有控制器在大量 reconcile,必要时扩容控制面 |
当前节点 GPU 状态异常(节点 Pod 已经被驱逐) | Node GPU status abnormal (Pods on the node have been drained) | tke:ErrorEvent:NodeGpuStatusWarn | 有 | 节点 GPU 出现异常,节点上的 Pod 已被驱逐 | 检查节点 GPU 驱动与硬件状态,确认 nvidia-device-plugin 运行正常,及时处理被驱逐 Pod 的调度问题 |
当前节点 GPU 状态异常(Pod 启动可能存在异常) | Current node GPU status abnormal (There may be Pod startup exceptions.) | tke:ErrorEvent:NodeGpuStatusSerious | 有 | 节点 GPU 出现严重异常,Pod 启动可能存在异常 | 检查节点 GPU 设备文件、驱动版本及硬件健康度,必要时联系运维进行硬件维修 |
控制台操作事件(基于操作审计投递) | Console operations (CloudAudit) | tke:CloudEvent:ConsoleCall | 无 | 通过腾讯云控制台对 TKE 集群执行了操作(基于操作审计投递) | 确认操作是否为预期行为,记录操作人与时间用于审计 |
云 API 操作事件(基于操作审计投递) | Cloud API actions (CloudAudit) | tke:CloudEvent:ApiCall | 无 | 通过云 API 对 TKE 集群执行了操作(基于操作审计投递) | 确认操作是否为预期行为,保存 requestID 便于问题追溯 |
节点 OOM | Node OOM | tke:ErrorEvent:SystemOom | 有 | 节点内核发生 OOM,已触发 OOM Killer | 查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制 |
Pod 状态异常 | Pod status error | tke:ErrorEvent:PodStatusWarn | 有 | Pod 处于异常状态(CrashLoopBackOff、ImagePullBackOff 等) | 使用 kubectl describe pod 与 kubectl logs 查看事件详情,定位镜像、配置或资源问题后修复 |
节点网络不可达 | Node network is unreachable | tke:ErrorEvent:NodeNetworkUnavailable | 有 | 节点网络不可达,处于 NotReady 状态 | 检查节点网络配置、安全组规则、VPC 路由与网卡状态,使用 kubectl describe node 查看详细事件 |
节点磁盘空间已耗尽 | Node disk space is exhausted | tke:ErrorEvent:NodeOutOfDisk | 有 | 节点磁盘空间已耗尽,kubelet 停止向该节点调度新 Pod | 清理无用文件或扩容节点数据盘,必要时驱逐低优先级 Pod 释放空间 |
集群 CoreDNS 高可用存在安全隐患 | High-risk SPOF detected on cluster CoreDNS | tke:ErrorEvent:CorednsHaRisk | 无 | 集群 CoreDNS 高可用存在安全隐患(如单副本部署) | 将 CoreDNS 调整为多副本部署并配置反亲和性,避免单点故障影响集群 DNS 解析 |
集群 CoreDNS 域名解析可能存在问题 | Cluster CoreDNS domain name resolution may be abnormal | tke:ErrorEvent:CorednsNslookupWarn | 无 | 集群 CoreDNS 域名解析可能存在问题 | 检查 CoreDNS Pod 状态、节点 resolv.conf 配置及上游 DNS 连通性 |
主机节点 oom | Host node OOM | tke:ErrorEvent:Oom | 有 | 主机节点发生 OOM,触发 OOM Killer | 查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制 |
节点磁盘空间将要耗尽 | Node disk space is about to run out | tke:ErrorEvent:NodeHasDiskPressure | 有 | 节点磁盘空间即将耗尽(剩余不足 15% 或 1GiB) | 清理无用文件、扩容数据盘或驱逐低优先级 Pod,避免节点进入 NoSchedule 状态 |
小程序操作事件(基于操作审计投递) | Mini program operations (CloudAudit) | tke:CloudEvent:MiniProgramCall | 无 | 通过小程序对 TKE 集群执行了操作(基于操作审计投递) | 确认操作是否为预期行为,记录小程序来源便于审计 |
节点跨可用区容灾存在风险 | Risks found in across-AZ node disaster recovery | tke:ErrorEvent:NodeHaWarn | 无 | 节点跨可用区容灾存在风险(所有节点位于同一可用区) | 将工作负载节点分布到多个可用区,提升集群抗可用区级故障能力 |
集群节点存在高风险单点故障 | High-risk SPOF detected on cluster nodes | tke:ErrorEvent:NodeHaSerious | 无 | 集群节点存在高风险单点故障(关键组件无副本) | 为关键组件配置多副本并跨可用区部署,移除单点故障隐患 |
节点内存将要耗尽 | Node memory is about to run out | tke:ErrorEvent:NodeHasInsufficientMemory | 有 | 节点内存即将耗尽(剩余不足 100MiB) | 检查内存使用热点 Pod,必要时扩容节点或调整 Pod 资源 requests/limits |
集群当前 APIServer 严重过载 | Extremely high APIServer load on the cluster | tke:ErrorEvent:ApiserverOverloadSerious | 有 | 集群 APIServer 严重过载,流量超过告警阈值 | 立即排查异常调用源,必要时扩容控制面或限流异常客户端 |
节点 Inode 不足 | Insufficient node inode | tke:ErrorEvent:NodeInodePressure | 有 | 节点 Inode 使用率过高,文件系统无法创建新文件 | 定位并清理产生大量小文件的容器或目录,必要时扩容数据盘 |
集群当前资源数量超过了推荐值 | Number of resources in the cluster exceeds the recommended value | tke:ErrorEvent:ApiserverEtcdObjectCountsWarn | 有 | 集群当前资源数量超过了推荐值 | 清理无用资源(孤儿 Pod、过期 ConfigMap 等),拆分集群或扩容 etcd |
集群当前资源数量超过了最大配额 | Number of resources in the cluster exceeds the quota. | tke:ErrorEvent:ApiserverEtcdObjectCountsSerious | 有 | 集群当前资源数量超过了最大配额 | 立即清理无用资源或拆分集群,避免 etcd 写入失败影响控制面 |
节点异常 | Node exception | tke:ErrorEvent:NodeNotReady | 有 | 节点状态变为 NotReady,无法被调度 | 使用 kubectl describe node 查看具体原因,检查 kubelet、容器运行时及节点资源状态 |
全部事件 | All events | tke:ErrorEvent:All | 无 | 全部事件的过滤选项 | 仅在需要全量审计或测试时使用,建议按业务需要订阅具体事件类型以降低噪音 |
集群 CoreDNS 版本存在安全隐患 | Risk found at cluster CoreDNS version | tke:ErrorEvent:CorednsVersionRisk | 无 | 集群 CoreDNS 版本存在已知风险或已停止维护 | 升级 CoreDNS 到当前稳定版本,参考官方升级文档验证兼容性 |
集群规格自动升配成功 | AutoUpgradeClusterLevelSucceed | tke:ErrorEvent:AutoUpgradeClusterLevelSucceed | 无 | 集群规格自动升配成功 | 在控制台确认升配后规格与计费变更,评估业务资源配额是否需要同步调整 |
容器服务变更发布成功 | ReleaseSuccess | tke:ErrorEvent:ReleaseSuccess | 无 | 容器服务变更发布成功 | 记录发布版本号与时间,关注业务指标确认发布效果 |
容器服务变更发布失败 | ReleaseFail | tke:ErrorEvent:ReleaseFail | 无 | 容器服务变更发布失败 | 查看发布日志定位失败原因,修复后重试或执行回滚 |
容器服务变更发布取消 | ReleaseCancel | tke:ErrorEvent:ReleaseCancel | 无 | 容器服务变更发布被取消 | 确认取消原因,评估是否需要重新发起发布 |
容器服务变更审批成功 | ReleaseApproveSuccess | tke:ErrorEvent:ReleaseApproveSuccess | 无 | 容器服务变更审批通过 | 记录审批人与审批时间,满足合规留痕要求 |
因费用不足导致集群规格自动升配失败 | AutoUpgradeClusterLevelFailForInsufficientFunds | tke:ErrorEvent:AutoUpgradeClusterLevelFailForInsufficientFunds | 无 | 因账户余额不足导致集群规格自动升配失败 | 及时充值或调整集群规格自动升配策略,避免影响业务可用性 |
集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失风险 | IpmasqCidrLackRisk | tke:ErrorEvent:IpmasqCidrLackRisk | 无 | 集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失,集群网段 SNAT 存在风险 | 修改 kube-system 命名空间下名为 ip-masq-agent-config 的 ConfigMap,将集群网段加入 NonMasqueradeCIDRs |
实例维护升级(107) | InstanceMaintenanceUpgrade | tke:ErrorEvent:InstanceMaintenanceUpgradeWarn | 无 | 节点宿主机需要在线维护升级(架构或软件升级) | 提前将业务 Pod 驱逐到其他节点或确认具有高可用能力,配合完成维护窗口 |
实例硬盘预警(106) | InstanceDiskWarning | tke:ErrorEvent:InstanceDiskWarningWarn | 无 | 节点本地硬盘存在坏盘隐患或寿命将尽 | 提前迁移业务 Pod,联系运维进行硬盘更换或维修 |
实例网络连接异常(104) | InstanceNetworkException | tke:ErrorEvent:InstanceNetworkExceptionWarn | 无 | 节点底层网络连接突发故障 | 关注业务连通性指标,联系运维定位并恢复网络 |
实例硬盘异常(103) | InstanceDiskException | tke:ErrorEvent:InstanceDiskExceptionWarn | 无 | 节点本地硬盘突发故障 | 迁移业务 Pod,联系运维进行硬件修复 |
实例运行异常(102) | InstanceRunningException | tke:ErrorEvent:InstanceRunningExceptionWarn | 无 | 节点宿主机突发软硬件故障,实例异常宕机或重启 | 立即迁移业务 Pod 并联系运维进行故障排查 |
实例运行隐患(101) | InstanceRunningRisk | tke:ErrorEvent:InstanceRunningRiskWarn | 无 | 节点宿主机存在软硬件隐患 | 提前迁移业务 Pod 并联系运维进行预防性维护 |