这次记录一个 vLLM 推理服务扩容时遇到的问题。

原本只是想把副本扩到新的 GPU 节点池，先看 Pod 状态：

```bash
kubectl get pod -n inference -o wide
```

```text
infer-api-7fdbb8c9d9-q2p6x   0/1   ContainerCreating   gpu-node-08
```

节点已经分配到了，但容器一直没有起来。

继续看事件：

```bash
kubectl describe pod infer-api-7fdbb8c9d9-q2p6x -n inference
```

```text
Pulling image "vllm/vllm-openai:latest"
Failed to pull image: context deadline exceeded
Warning  Failed  kubelet  Error: ImagePullBackOff
```

一开始我还准备看模型目录和 RuntimeClass，后来发现这一步还没到模型加载。当前卡点就是镜像拉取。

## 先把镜像列出来

这个服务不是只有一个业务容器，实际会碰到几类镜像：

| 镜像 | 用途 |
|---|---|
| `vllm/vllm-openai` | 推理接口 |
| `nvidia/cuda` | GPU runtime 验证 |
| `prometheus/prometheus` | 指标采集 |
| `pause` | K8s Pod sandbox |

先在本地按来源拉一遍：

```bash
docker pull docker.1ms.run/vllm/vllm-openai:latest
docker pull nvcr.1ms.run/nvidia/cuda:12.4.1-runtime-ubuntu22.04
docker pull quay.1ms.run/prometheus/prometheus:latest
docker pull k8s.1ms.run/pause:3.10
```

这一步只验证镜像链路，不验证推理性能。

## 再到目标节点上测

实际 Pod 由节点上的 containerd 拉镜像，所以还要在 `gpu-node-08` 上测一遍：

```bash
crictl pull docker.1ms.run/vllm/vllm-openai:latest
crictl pull nvcr.1ms.run/nvidia/cuda:12.4.1-runtime-ubuntu22.04
crictl pull quay.1ms.run/prometheus/prometheus:latest
crictl pull k8s.1ms.run/pause:3.10
```

确认本地缓存：

```bash
crictl images | grep -E "vllm|cuda|prometheus|pause"
```

节点上这一步过了，再继续看：

```bash
kubectl describe node gpu-node-08
kubectl get events -n inference --sort-by=.lastTimestamp
kubectl logs -n inference deploy/infer-api
```

## 后面把预热前置了

这次之后，我没有把镜像拉取放在扩容过程中碰运气，而是在扩容前先做节点预热。

节点少的时候，直接循环执行：

```bash
images=(
  "docker.1ms.run/vllm/vllm-openai:latest"
  "nvcr.1ms.run/nvidia/cuda:12.4.1-runtime-ubuntu22.04"
  "quay.1ms.run/prometheus/prometheus:latest"
  "k8s.1ms.run/pause:3.10"
)

for image in "${images[@]}"; do
  crictl pull "${image}"
done
```

节点多的时候，用一个临时 DaemonSet 会方便些：

```yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: gpu-image-prewarm
  namespace: ops
spec:
  selector:
    matchLabels:
      app: gpu-image-prewarm
  template:
    metadata:
      labels:
        app: gpu-image-prewarm
    spec:
      nodeSelector:
        accelerator: nvidia
      initContainers:
        - name: pull-vllm
          image: docker.1ms.run/vllm/vllm-openai:latest
          command: ["sh", "-c", "python -V || true"]
        - name: pull-cuda
          image: nvcr.1ms.run/nvidia/cuda:12.4.1-runtime-ubuntu22.04
          command: ["sh", "-c", "nvidia-smi || true"]
      containers:
        - name: hold
          image: k8s.1ms.run/pause:3.10
```

## 这次记录下来的顺序

我的排查顺序最后变成这样：

1. 先看 Pod event，不直接看业务日志。
2. 确认是不是 `ImagePullBackOff` 或拉取超时。
3. 把镜像按 Docker Hub、NVIDIA、Quay、K8s 分组。
4. 本地用 `docker pull` 验证入口。
5. 目标节点用 `crictl pull` 验证真实运行时。
6. 镜像阶段过了，再看 GPU runtime、模型目录和接口健康检查。

这次问题本身不复杂，但容易排偏。Pod 还在拉镜像时，去改模型参数没有意义。先把镜像阶段拆出来，后面的排查会清楚很多。

一开始我还准备看模型目录和 RuntimeClass，后来发现这一步还没到模型加载。当前卡点就是镜像拉取。

vLLM 服务扩容卡在 ImagePullBackOff 的排查记录

云计算

运维

人工智能

vLLM推理服务扩容时遇到镜像拉取失败问题，排查发现是ImagePullBackOff错误。通过分组验证DockerHub、NVIDIA等镜像源，使用crictl命令在目标节点预拉取镜像。建议在扩容前使用DaemonSet预热镜像，避免扩容过程中出现拉取超时问题。

容器

Docker

4核4G3M云服务器 新用户低至38元/年！

2026采购季 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

vLLM 服务扩容卡在 ImagePullBackOff 的排查记录-腾讯云开发者社区-腾讯云

vLLM 服务扩容卡在 ImagePullBackOff 的排查记录

vLLM 服务扩容卡在 ImagePullBackOff 的排查记录

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐