首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

kubernetes关于eks一次异常问题的复盘

-31-17-92节点出现了一次镜像ImagePullBackOff,由于我镜像仓库位于国内我当时怀疑是网络问题,将镜像修改tag 上传到了dockerhub仓库,but 在宿主机操作docker pull...kubernetes关于eks一次网络问题的复盘出现的异常现象docker image镜像无法下载节点上pod 无法连接内网域名(包括集群内svc地址and aws 数据库redis域名),ping 没有任何返回...mysql服务也出现连接失败的错误MySQL异常:SQL state HY000; error code 2002 如下:图片eks自有组建都在不停的重启,比较明显的服务有aws-node ebs-csi-node...组件不断重启,不能正常运行,拿这两个组件尝试了一下 delete 异常节点上的traefik ebs-csi-node组件,等待pod重新running后再无异常图片这里的重点关注词:resource...扫了一眼:一个截图的game-screenshot 的nodejs程序造成的.....之前为什么没有......11月份他们改了程序方式....总算找到了罪魁祸首,僵尸进程没有处理....长时间运行是会出现更多的僵尸进程

1.2K61
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    记一次EKS troubleshoting问题

    首先根据开发者提供的应用名,顺藤摸瓜,很快找到对应的pod, 登录到Pod查看日志,确实存在应用访问SVC超时的现象, pod因为访问超时异常导致内存过大OOM 很多次(程序得好好检查超时异常是否处理恰当...在新创建的pod中,使用curl命令模拟请求测试,经测试正常,告知业务方问题得到缓解。周六中午又有开发者反馈业务超时仍然存在。WTF!看来问题并不是表面那么容易解决!...业务阻塞超时都发生跨EKS nodeport访问上。 由于eks版本原因,需要对容器进行迁移,因此在迁移期间,出现了跨EKS的nodeport的访问技术方案。...在老EKS集群中。...AWS EKS在创建pod的时候,会分配IP,这些分配的IP可能会在eth0, 也可能在eth1, eni插件会自动添加策略路由,因此会存在着不对称路由和SNAT的问题。

    92820

    5月月报 | TKE 容器给大小儿童发礼物啦~

    服务 弹性容器服务(Elastic Kubernetes Service,EKS)是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式。...支持通过CRD配置日志采集,CRD 对 Pod 无侵入性,支持单行、多行、分隔符、完全正则、JSON 等多种日志解析方式; 支持“包年包月”的 EKS 预留券正式公测。...购买预留券后,可抵扣匹配 Pod 运行时产生的按量计费费用; 支持虚拟节点修改自定义 DNS,修改后调度到该虚拟节点的 Pod 默认全部采用该 DNS 配置; 支持 cos-csi,可以通过 pvc...的方式为 Pod 挂载 cosfs; 支持创建 Pod 时自动为 Pod 分配 EIP,Pod 不再强依赖 NAT 网关才能进行外网通信。...Loglistener支持内网下载;满足用户在不同地域下通过内网地址下载Loglistener安装包,避免因外网链接导致安全风险。

    1.7K40

    Kubernetes v1.24版特性介绍篇

    Amazon EKS、Azure AKS 和 Google GKE 现在都默认使用 containerd,但如果您有任何节点自定义,您应该确保它们不需要更新。...例如,一个测试版 API 有一个错误,它将出现在 90% 的已部署集群上。 从 Kubernetes 1.24 开始,新的 beta API 将默认禁用。...存储容量与存储卷扩展双双迎来通用版本 存储容量跟踪通过CSIStorageCapacity对象公开当前可用的存储容量,并对使用后续绑定的CSI存储卷的pod进行调度增强。...在未来的1.26版本中,此功能还将从API服务器中删除。 关于CNI版本的重要变更 在升级至1.24之前,请确认并测试你所使用的容器运行时能够在新版本中正常工作。...其他更新 毕业至稳定版 在1.24版本中,共有14项增强功能迎来稳定版: 容器存储接口(CSI)存储卷扩展 Pod Overhead:统计绑定至Pod沙箱、但未绑定至指定容器的资源。

    1K10

    Kubernetes 年度关键进展回顾

    ,从而决定Pod是否要和目标Pod部署在同一组Node中。...过去,当集群中某一节点发生故障时,node controller会在全局统一的超时时间后驱逐节点上所有的Pod;而在基于taints tolerations的驱逐模式下,每个Pod都可以独立设置超时时间...在1.8之前,Kubernetes已经通过Pod QoS方式实现了节点及的“优先级”——节点内存不足时,OS内核会根据kubelet预制的OOM参数杀掉低QoS的pod,从而保证重要的Pod可以持续运行...CSI则是1.9版本新引入的alpha版本,未来更深度的存储框架能力将基于CSI实现,值得长期关注。...、云平台上获得一致的维护体验,5)Kubernetes在云平台之前接入、迁移、释放变得更简单。

    86260

    8月容器产品技术月报来袭 | 技术书籍等你拿

    支持Pod以incluster模式访问APIServer 2. 节点安装脚本支持自动获取默认网卡 3. 上线北京地区(北京的开发者们可以更丝滑快速体验边缘节点建设哦!)...腾讯云弹性容器服务EKS 安全稳定的无服务器Kubernetes服务 弹性容器服务(Elastic Kubernetes Service,EKS)是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式...Pod Event 补全,与原生 K8s 对齐。K8s集群运行事件更丰富啦,pod运行中问题定位也更方便。快来体验哦!...扩展组件,支持在原有的检测基础上,可以节点配置自愈策略。...,使v3和v2可分别使用相对应的健康检查方法,同时解决健康检查易超时等问题。

    95788

    腾讯云原生混合云-第三方集群弹EKS应对突发流量的利器

    因此我们针对这种场景推出了便捷在单集群内利用公有云资源应对突发业务流量的能力:第三方集群弹 EKS,EKS是腾讯云弹性容器服务,可以秒级创建和销毁大量 POD 资源,用户仅需提出 POD 资源需求即可,...仅需要在集群中安装相关插件包即可快速获得扩容到 EKS 的能力。 ?...EKS 上; 局部开关: 在工作负载层面,用户可指定单个工作负载在本集群保留N个副本后,其他副本在腾讯云 EKS 中创建; 为了确保所有工作负载在本地 IDC 均有足够的副本数,当突发流量过去,触发缩容时...EKS pod 可与 underlay 网络模式的本地集群 pod、node 互通(需要在腾讯云VPC中添加本地pod cidr的路由,参考路由配置[1]),第三方集群弹 EKS 已在 TKEStack..."{EKS POD 放置的子网ID}"    zone: "{EKS POD 放置的可用区}" eklet: podUsedApiserver: {当前集群的API Server地址} 安装 tke-resilience

    2.1K20

    作业帮上万个CronJob和在线业务混部,如何解决弱隔离问题并进一步提升资源利用率?

    问题一:集群内节点稳定性 由于业务上存在很多分钟级执行的定时任务,导致pod的创建和销毁非常频繁,单个节点平均每分钟有上百个容器创建和销毁,机器的稳定性问题频繁出现。...除此之外,dockerd负载过高、响应变慢、kubelet PLEG超时导致节点unready等问题。...EKS的虚拟节点是serverless形态的Kubernetes服务,可以加入到现有TKE集群中,部署在虚拟节点上的pod具备与部署在正常TKE节点上的pod具备一致的网络连通性,但虚拟节点上的pod是在...主要耗时在以下两个步骤: 业务镜像拉取加速 虚拟节点pod创建和初始化加速 针对第一个问题:EKS提供镜像缓存的功能,第一次拉取的时候稍微慢一些,拉下来后默认会缓存一段时间,同一个业务第二次启动就不需要再拉取镜像...总结 通过TKE+EKS虚拟节点的方式,我们将正常在线任务和定时任务隔离开,有效保障了在线业务的稳定性,结合自研Job任务调度器、EKS镜像缓存、pod 启动加速等能力,实现任务pod秒级调度并启动,

    54031

    作业帮上万个 CronJob 和在线业务混部,如何解决弱隔离问题并进一步提升资源利用率?

    问题一:集群内节点稳定性 由于业务上存在很多分钟级执行的定时任务,导致 pod 的创建和销毁非常频繁,单个节点平均每分钟有上百个容器创建和销毁,机器的稳定性问题频繁出现。...除此之外,dockerd 负载过高、响应变慢、kubelet PLEG 超时导致节点 unready 等问题。...EKS 的虚拟节点是 serverless 形态的 Kubernetes 服务,可以加入到现有的TKE 集群中,部署在虚拟节点上的 pod 具备与部署在正常 TKE 节点上的 pod 具备一致的网络连通性...主要耗时在以下两个步骤: 业务镜像拉取加速 虚拟节点 pod 创建和初始化加速 针对第一个问题:EKS 提供镜像缓存的功能,第一次拉取的时候稍微慢一些,拉下来后默认会缓存一段时间,同一个业务第二次启动就不需要再拉取镜像...总结 通过 TKE + EKS 虚拟节点的方式,我们将正常在线任务和定时任务隔离开,有效保障了在线业务的稳定性,结合 自研 Job 任务调度器、EKS 镜像缓存、pod 启动加速等能力,实现 任务pod

    2.3K83
    领券