容器服务

最近更新时间:2026-07-06 15:07:02

我的收藏
由客户云上购买和使用的资源实例与产品产生的监控事件包括:
事件中文名
事件英文名
type
有无恢复概念
事件描述
处理方法与建议
集群当前 APIServer 负载较高
High APIServer load
tke:ErrorEvent:ApiserverOverloadWarn
集群 APIServer 负载较高,接近告警阈值
排查是否有异常客户端高频调用、是否有控制器在大量 reconcile,必要时扩容控制面
当前节点 GPU 状态异常(节点 Pod 已经被驱逐)
Node GPU status abnormal (Pods on the node have been drained)
tke:ErrorEvent:NodeGpuStatusWarn
节点 GPU 出现异常,节点上的 Pod 已被驱逐
检查节点 GPU 驱动与硬件状态,确认 nvidia-device-plugin 运行正常,及时处理被驱逐 Pod 的调度问题
当前节点 GPU 状态异常(Pod 启动可能存在异常)
Current node GPU status abnormal (There may be Pod startup exceptions.)
tke:ErrorEvent:NodeGpuStatusSerious
节点 GPU 出现严重异常,Pod 启动可能存在异常
检查节点 GPU 设备文件、驱动版本及硬件健康度,必要时联系运维进行硬件维修
控制台操作事件(基于操作审计投递)
Console operations (CloudAudit)
tke:CloudEvent:ConsoleCall
通过腾讯云控制台对 TKE 集群执行了操作(基于操作审计投递)
确认操作是否为预期行为,记录操作人与时间用于审计
云 API 操作事件(基于操作审计投递)
Cloud API actions (CloudAudit)
tke:CloudEvent:ApiCall
通过云 API 对 TKE 集群执行了操作(基于操作审计投递)
确认操作是否为预期行为,保存 requestID 便于问题追溯
节点 OOM
Node OOM
tke:ErrorEvent:SystemOom
节点内核发生 OOM,已触发 OOM Killer
查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制
Pod 状态异常
Pod status error
tke:ErrorEvent:PodStatusWarn
Pod 处于异常状态(CrashLoopBackOff、ImagePullBackOff 等)
使用 kubectl describe pod 与 kubectl logs 查看事件详情,定位镜像、配置或资源问题后修复
节点网络不可达
Node network is unreachable
tke:ErrorEvent:NodeNetworkUnavailable
节点网络不可达,处于 NotReady 状态
检查节点网络配置、安全组规则、VPC 路由与网卡状态,使用 kubectl describe node 查看详细事件
节点磁盘空间已耗尽
Node disk space is exhausted
tke:ErrorEvent:NodeOutOfDisk
节点磁盘空间已耗尽,kubelet 停止向该节点调度新 Pod
清理无用文件或扩容节点数据盘,必要时驱逐低优先级 Pod 释放空间
集群 CoreDNS 高可用存在安全隐患
High-risk SPOF detected on cluster CoreDNS
tke:ErrorEvent:CorednsHaRisk
集群 CoreDNS 高可用存在安全隐患(如单副本部署)
将 CoreDNS 调整为多副本部署并配置反亲和性,避免单点故障影响集群 DNS 解析
集群 CoreDNS 域名解析可能存在问题
Cluster CoreDNS domain name resolution may be abnormal
tke:ErrorEvent:CorednsNslookupWarn
集群 CoreDNS 域名解析可能存在问题
检查 CoreDNS Pod 状态、节点 resolv.conf 配置及上游 DNS 连通性
主机节点 oom
Host node OOM
tke:ErrorEvent:Oom
主机节点发生 OOM,触发 OOM Killer
查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制
节点磁盘空间将要耗尽
Node disk space is about to run out
tke:ErrorEvent:NodeHasDiskPressure
节点磁盘空间即将耗尽(剩余不足 15% 或 1GiB)
清理无用文件、扩容数据盘或驱逐低优先级 Pod,避免节点进入 NoSchedule 状态
小程序操作事件(基于操作审计投递)
Mini program operations (CloudAudit)
tke:CloudEvent:MiniProgramCall
通过小程序对 TKE 集群执行了操作(基于操作审计投递)
确认操作是否为预期行为,记录小程序来源便于审计
节点跨可用区容灾存在风险
Risks found in across-AZ node disaster recovery
tke:ErrorEvent:NodeHaWarn
节点跨可用区容灾存在风险(所有节点位于同一可用区)
将工作负载节点分布到多个可用区,提升集群抗可用区级故障能力
集群节点存在高风险单点故障
High-risk SPOF detected on cluster nodes
tke:ErrorEvent:NodeHaSerious
集群节点存在高风险单点故障(关键组件无副本)
为关键组件配置多副本并跨可用区部署,移除单点故障隐患
节点内存将要耗尽
Node memory is about to run out
tke:ErrorEvent:NodeHasInsufficientMemory
节点内存即将耗尽(剩余不足 100MiB)
检查内存使用热点 Pod,必要时扩容节点或调整 Pod 资源 requests/limits
集群当前 APIServer 严重过载
Extremely high APIServer load on the cluster
tke:ErrorEvent:ApiserverOverloadSerious
集群 APIServer 严重过载,流量超过告警阈值
立即排查异常调用源,必要时扩容控制面或限流异常客户端
节点 Inode 不足
Insufficient node inode
tke:ErrorEvent:NodeInodePressure
节点 Inode 使用率过高,文件系统无法创建新文件
定位并清理产生大量小文件的容器或目录,必要时扩容数据盘
集群当前资源数量超过了推荐值
Number of resources in the cluster exceeds the recommended value
tke:ErrorEvent:ApiserverEtcdObjectCountsWarn
集群当前资源数量超过了推荐值
清理无用资源(孤儿 Pod、过期 ConfigMap 等),拆分集群或扩容 etcd
集群当前资源数量超过了最大配额
Number of resources in the cluster exceeds the quota.
tke:ErrorEvent:ApiserverEtcdObjectCountsSerious
集群当前资源数量超过了最大配额
立即清理无用资源或拆分集群,避免 etcd 写入失败影响控制面
节点异常
Node exception
tke:ErrorEvent:NodeNotReady
节点状态变为 NotReady,无法被调度
使用 kubectl describe node 查看具体原因,检查 kubelet、容器运行时及节点资源状态
全部事件
All events
tke:ErrorEvent:All
全部事件的过滤选项
仅在需要全量审计或测试时使用,建议按业务需要订阅具体事件类型以降低噪音
集群 CoreDNS 版本存在安全隐患
Risk found at cluster CoreDNS version
tke:ErrorEvent:CorednsVersionRisk
集群 CoreDNS 版本存在已知风险或已停止维护
升级 CoreDNS 到当前稳定版本,参考官方升级文档验证兼容性
集群规格自动升配成功
AutoUpgradeClusterLevelSucceed
tke:ErrorEvent:AutoUpgradeClusterLevelSucceed
集群规格自动升配成功
在控制台确认升配后规格与计费变更,评估业务资源配额是否需要同步调整
容器服务变更发布成功
ReleaseSuccess
tke:ErrorEvent:ReleaseSuccess
容器服务变更发布成功
记录发布版本号与时间,关注业务指标确认发布效果
容器服务变更发布失败
ReleaseFail
tke:ErrorEvent:ReleaseFail
容器服务变更发布失败
查看发布日志定位失败原因,修复后重试或执行回滚
容器服务变更发布取消
ReleaseCancel
tke:ErrorEvent:ReleaseCancel
容器服务变更发布被取消
确认取消原因,评估是否需要重新发起发布
容器服务变更审批成功
ReleaseApproveSuccess
tke:ErrorEvent:ReleaseApproveSuccess
容器服务变更审批通过
记录审批人与审批时间,满足合规留痕要求
因费用不足导致集群规格自动升配失败
AutoUpgradeClusterLevelFailForInsufficientFunds
tke:ErrorEvent:AutoUpgradeClusterLevelFailForInsufficientFunds
因账户余额不足导致集群规格自动升配失败
及时充值或调整集群规格自动升配策略,避免影响业务可用性
集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失风险
IpmasqCidrLackRisk
tke:ErrorEvent:IpmasqCidrLackRisk
集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失,集群网段 SNAT 存在风险
修改 kube-system 命名空间下名为 ip-masq-agent-config 的 ConfigMap,将集群网段加入 NonMasqueradeCIDRs
实例维护升级(107)
InstanceMaintenanceUpgrade
tke:ErrorEvent:InstanceMaintenanceUpgradeWarn
节点宿主机需要在线维护升级(架构或软件升级)
提前将业务 Pod 驱逐到其他节点或确认具有高可用能力,配合完成维护窗口
实例硬盘预警(106)
InstanceDiskWarning
tke:ErrorEvent:InstanceDiskWarningWarn
节点本地硬盘存在坏盘隐患或寿命将尽
提前迁移业务 Pod,联系运维进行硬盘更换或维修
实例网络连接异常(104)
InstanceNetworkException
tke:ErrorEvent:InstanceNetworkExceptionWarn
节点底层网络连接突发故障
关注业务连通性指标,联系运维定位并恢复网络
实例硬盘异常(103)
InstanceDiskException
tke:ErrorEvent:InstanceDiskExceptionWarn
节点本地硬盘突发故障
迁移业务 Pod,联系运维进行硬件修复
实例运行异常(102)
InstanceRunningException
tke:ErrorEvent:InstanceRunningExceptionWarn
节点宿主机突发软硬件故障,实例异常宕机或重启
立即迁移业务 Pod 并联系运维进行故障排查
实例运行隐患(101)
InstanceRunningRisk
tke:ErrorEvent:InstanceRunningRiskWarn
节点宿主机存在软硬件隐患
提前迁移业务 Pod 并联系运维进行预防性维护