首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >节点有 CPU 仍 Pending:eni-ip 只统计已绑定 IP

节点有 CPU 仍 Pending:eni-ip 只统计已绑定 IP

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-19 12:27:21
发布于 2026-11-19 12:27:21
70
举报

副本扩上去之后,节点 CPU、内存请求都还有余量,新 Pod 却停在 Pending。 kubectl describe pod 的事件不是 Insufficient cpu,而是 Insufficient tke.cloud.tencent.com/eni-ip。VPC-CNI 共享网卡下,调度器认的是已经绑到节点上的 IP,不是机型规格表上的理论网卡上限。

调度看的是已绑定 IP

TKE 的 VPC-CNI 把 Pod 放进 VPC 子网,地址来自弹性网卡上的辅助 IP,不经过节点网桥。共享网卡模式下一张网卡挂多个辅助 IP,分给不同 Pod,用来换密度。节点会注册扩展资源 tke.cloud.tencent.com/eni-ip:Capacity 是该节点最多能绑定的 IP 数,Allocatable 是已经绑定的 IP 数。多 Pod 共享网卡的文档写明,Pod 调度不到某节点,就是该节点的 IP 用尽了。

这里的用尽,不是网卡规格用尽。Allocatable 只反映当前已绑定数量。按 Pod 数量限制文档的默认表,8 核节点在多网卡模式下上限可以到 95;非固定 IP 的空节点却只会先维持最小预绑定,默认是 5。Capacity 显示 95、Allocatable 显示 5 时,这一轮能调度的只有这 5 个已绑定且尚未占用的 IP。还没调度上去的 Pod 不会把池子一次撑到 Capacity:文档里的扩容条件是已绑定数小于节点上的 Pod 数加最小预绑定,Pending 的 Pod 不在这个 Pod 数里。

所以卡住时先对事件里的资源名,再看节点上的 Capacity 和 Allocatable,然后决定是加预绑定、等绑定完成,还是换更大规格。只看 kubectl top node 或 CPU Request,会把网络配额误判成调度器或 HPA 的问题。HPA 只算出要多少副本,放不放得下由这个扩展资源决定。

集群如果同时开了 Global Router 和 VPC-CNI,走共享网卡的工作负载要声明注解。直连 Pod 的文档里,写法是 tke.cloud.tencent.com/networks: tke-route-eni。没进这套 IP 池的 Pod 不消耗 eni-ip。只开了 VPC-CNI、没有 Global Router 时,工作负载是否还必须写这行,以当前集群的网络插件行为为准;注解的含义以文档为准,它声明该工作负载使用共享网卡。

代码语言:yaml
复制
apiVersion: apps/v1
kind: Deployment
metadata:
  name: api
  namespace: example
spec:
  replicas: 6
  selector:
    matchLabels:
      app: api
  template:
    metadata:
      labels:
        app: api
      annotations:
        tke.cloud.tencent.com/networks: tke-route-eni
    spec:
      containers:
        - name: api
          image: example.com/api:1.2.3
          resources:
            requests:
              cpu: 100m
              memory: 128Mi

预绑定池怎么扩、怎么还

非固定 IP 模式在每个节点上维护网卡和 IP 池。已绑定数量夹在两个值之间:下限是节点上的 Pod 数加最小预绑定,上限是 Pod 数加最大预绑定。低于下限就继续绑定,直到相等。高于上限时,大约每 2 分钟释放一个空闲 IP,直到回到上限。若机型允许的最大绑定数已经小于当前绑定数,空闲 IP 会直接释放到这个最大值,不再按 2 分钟一个来。

共享网卡的最小、最大预绑定默认都是 5,而且不能设成 0。非固定 IP 的能力说明写明,目前不支持完全按需分配。节点一多,每台都占着预绑定 IP,子网会被空池吃掉一块。换来的是启动速度:池里有空闲 IP 时,新建 Pod 从本节点池里领,不必现去 VPC 申请。

Pod 删除后,非固定 IP 不立刻还回 VPC,而是还回该节点的池,供下一个 Pod 复用。删掉一半副本后,子网里的可用 IP 不会马上增加,节点 Allocatable 也不会马上下降。按当前 Running 数去估子网占用,会把预绑定和待释放的 IP 漏掉。

固定 IP 模式是另一套账。新节点不预绑定辅助 IP,按需向 IPAMD 要;带固定 IP 的 Pod 删除后,地址继续留在 VPC 里,同名 Pod 重建时复用。回收时机由开启固定 IP 时配置的策略决定,具体选项以固定 IP 文档为准。两种模式的子网余量不能混着算。

网卡上限和子网是另外两道闸

预绑定只决定现在能调度几个。天花板是节点能绑多少辅助网卡、每张网卡能挂多少辅助 IP,再乘上容器子网还剩多少地址。节点主网卡上的地址是节点自己的,不要把它算进 Pod IP。

Pod 数量限制文档给出的默认关系是:多网卡时,单节点 Pod IP 上限等于最大可绑定辅助网卡数乘以单网卡可绑定辅助 IP 数;只开单网卡时,上限就是这一张网卡的辅助 IP 数。多网卡要组件版本支持,非固定 IP 模式 v3.3 及以上,固定 IP 模式 v3.4 及以上。下面是该文档按 CPU 核数给的默认参考,不是每一款机型的承诺值。文档同时写明机型会有出入,以弹性网卡使用限制和节点 Capacity 为准。

CPU 核数

辅助网卡上限

单网卡辅助 IP

多网卡 Pod IP 上限

单网卡 Pod IP 上限

1

1

5

5

5

2–6

3

9

27

9

8–10

5

19

95

19

12 及以上

7

29

203

29

绑定新网卡时,优先选可用 IP 最多的容器子网。子网地址用尽,或单张网卡的 IP 配额用尽,继续绑定都会失败。容器网络概述还要求节点和容器子网在同一可用区,并建议容器子网不要和云服务器、负载均衡共用。跨可用区加了节点、子网却只建在一个可用区,表现同样是 Pod 起不来,事件不会是 CPU 不足。

独占网卡另算:每个 Pod 独占一张弹性网卡,数量只受节点可绑定网卡数限制,文档只覆盖部分机型,密度通常远低于共享网卡。它适合少数要独立网卡、独立安全组的 Pod,不适合拿来解决副本多了调度失败。独占网卡的预绑定默认最小、最大都是 1,注解也是另一对,不要套用共享网卡的 5。

预绑定和滚动更新的取舍

预绑定调大,突发扩容更快,每节点长期占住的子网 IP 也更多。调小能省 IP,但一次扩容超过空闲池时,多出来的副本要等新 IP 绑定完成后才能调度。文档没有给出绑定耗时的固定秒数,不要在发布窗口里假设等一会儿就好。

释放侧默认是慢的:大约每 2 分钟还一个多余的空闲 IP。eniipamd v3.5.0 及以上可以在组件配置里打开快速释放;更早版本是给 kube-system 里的 tke-eni-agent 加上 --enable-quick-release。快速释放下,每 2 分钟检查一次,把空闲 IP 释放到等于最大预绑定为止。和慢释放的差别是一次检查可以还多个,不是把目标改掉。

滚动更新会把 IP 占用抬高。Deployment 如果设置了 maxSurge,旧 Pod 退出前会先拉起新 Pod,短时间要同时持有新旧两套地址。预绑定池不够、子网又紧时,新 Pod Pending,发布看起来像卡在滚动,根因是 IP 而不是镜像或探针。快速释放若在这个间隙把空闲 IP 交回子网,下一波重建就要重新绑定;子网刚好用尽时,失败会从调度不足变成绑定失败。IP 紧的集群,发布前按副本数、 maxSurge 重叠、各节点最大预绑定三项一起估子网,而不是只看当前 Running 数。

集群级默认预绑定写在 tke-eni-ipamd 的参数里,共享网卡是 --ip-min-warm-target 和 --ip-max-warm-target,默认都是 5。文档写明,这个默认值只影响之后新加入的节点。已经在集群里的节点,要改对应 NEC 上的注解,改完会立刻做一次预绑定检查。

核对与调整

先确认失败原因是扩展资源,而不是镜像、亲和性或污点。下面的节点名、命名空间都是示例。

代码语言:bash
复制
kubectl describe pod -n example -l app=api
kubectl describe node 10.0.0.12

事件里出现 Insufficient tke.cloud.tencent.com/eni-ip,这是 kube-scheduler 对扩展资源不足的标准写法,前面的节点数以实际输出为准。再到节点描述的 Allocated resources 里看这个资源的 Requests 有没有顶到 Allocatable。顶满了,就是已绑定 IP 分完了。Capacity 仍明显高于 Allocatable,说明机型上限还没用满,缺的是绑定;两者接近,才是网卡配额到顶。节点上没有这个 key,说明它没注册 VPC-CNI 扩展资源,先确认网络模式,不要继续加 CPU。

调整单节点预绑定时,文档要求最小、最大两个注解同时存在,且满足 0 ≤ 最小值 ≤ 最大值,否则修改失败。能力说明又写明预绑定不能设为 0。两边不一致时,以组件实际拒绝为准,不要假设写成 0 就能关掉预占。下面的 1 和 3 是文档示例,不是推荐值:调大占 IP,调小则突发更慢。

代码语言:bash
复制
kubectl annotate nec 10.0.0.12 tke.cloud.tencent.com/route-eni-ip-min-warm-target=1 tke.cloud.tencent.com/route-eni-ip-max-warm-target=3 --overwrite
kubectl get nec 10.0.0.12 -o yaml

独占网卡用 tke.cloud.tencent.com/direct-eni-min-warm-target 和 tke.cloud.tencent.com/direct-eni-max-warm-target,不要写到共享网卡节点上。还要压低单节点网卡数或单网卡 IP 数时,用 tke.cloud.tencent.com/route-eni-max-attach 和 tke.cloud.tencent.com/max-ip-per-route-eni。这两个值不能小于节点上已经在用的数量,否则修改失败;写得比机型真实配额更大也不会变出 IP。

v3.5.0 之前如果要改新节点的默认值,文档是编辑 kube-system 里的 tke-eni-ipamd,在容器 args 里加上 --ip-min-warm-target 和 --ip-max-warm-target。改 Deployment 会滚动重启组件,先在测试集群看新节点的 Allocatable 是否按新默认值起来。v3.5.0 及以上也可以在组件管理里改 eniipamd 的预绑定默认值和快速释放,控制台字段以当前版本为准。

代码语言:bash
复制
kubectl get deploy tke-eni-ipamd -n kube-system -o yaml

在输出的 args 里核对当前默认值。调度成功但 Pod 不通,不要回到 eni-ip 上继续加配额。文档要求关闭 rp_filter,tke-eni-agent 会把 net.ipv4.conf.all.rp_filter 和主网卡对应项设为 0;手工改回 1 之后网络会不通。这是转发问题,不是调度问题。

上线前对一下

  • 事件资源名是 tke.cloud.tencent.com/eni-ip,不是 cpu 或 memory。
  • 看 Allocatable 和已分配的 Requests,不要把 Capacity 当成还能调度的个数。
  • 非固定 IP 的共享网卡默认预绑定最小、最大都是 5,且不能设 0;集群级默认只影响新节点。
  • 子网占用按各节点 Pod 数加最大预绑定估算,再加上 maxSurge 造成的新旧重叠。容器子网与节点同可用区,尽量不要和 CVM、CLB 混用。
  • 多网卡密度依赖组件版本,非固定 IP 要 v3.3 及以上。单网卡、独占网卡不要套用多网卡那一列。
  • 删除 Pod 后 IP 先回节点池。只有空闲数超过最大预绑定,才大约每 2 分钟向 VPC 放回一个;额度内的 IP 留在节点上。不要用几秒内子网可用数不变判断泄漏。

参考文档:

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 调度看的是已绑定 IP
  • 预绑定池怎么扩、怎么还
  • 网卡上限和子网是另外两道闸
  • 预绑定和滚动更新的取舍
  • 核对与调整
  • 上线前对一下
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档