这次只是做预检，不是完整上线记录。

服务用 vLLM 跑，目标是放到 K8s 里给内部测试环境用。接口在单机上能返回结果，但我不想直接把 Deployment 扔进集群里等报错，所以先按几层拆开看：镜像、GPU 节点、Pod 事件、探针和回滚。

## 先拉关键镜像

我先确认几个基础镜像能进环境：

```bash
docker pull docker.1ms.run/vllm/vllm-openai:latest
docker pull docker.1ms.run/nvidia/cuda:12.4.1-runtime-ubuntu22.04
docker pull docker.1ms.run/prom/prometheus:latest
```

这一步只是排除依赖问题。镜像能拉，不代表服务能上线；镜像都拉不动，后面看 GPU 调度和探针也容易被干扰。

## 再看 GPU 节点

我先看节点标签：

```bash
kubectl get node -L accelerator
kubectl describe node <gpu-node-name>
```

推理服务要明确跑到 GPU 节点上，不然 Pod Pending 时会很难判断是资源不足，还是调度条件写错了。

我这边 Deployment 里先保留了最小资源声明：

```yaml
resources:
  limits:
    nvidia.com/gpu: "1"
```

## 探针不要按普通接口服务写

模型加载比普通 Web 服务慢。之前有一次服务还在加载模型，探针已经开始失败，最后表现成容器反复重启。

这次我把 `startupProbe`、`readinessProbe`、`livenessProbe` 分开：

```yaml
startupProbe:
  httpGet:
    path: /health
    port: 8000
  failureThreshold: 60
  periodSeconds: 5
```

先让模型有足够时间启动，再让 readiness 决定什么时候接流量。

## 启动后看事件和日志

```bash
kubectl -n ai-infer get pod -l app=llm-api
kubectl -n ai-infer describe pod -l app=llm-api
kubectl -n ai-infer logs deploy/llm-api --tail=120
```

如果卡在 Pending，先看 GPU 和节点标签。  
如果是 `ImagePullBackOff`，先看镜像和节点网络。  
如果是探针失败，先看模型加载时间。  

这几个分支先分开，排查会简单很多。

## 回滚也先跑一遍

```bash
kubectl -n ai-infer rollout status deploy/llm-api
kubectl -n ai-infer rollout history deploy/llm-api
```

推理服务回滚不只是 Deployment。镜像版本、模型目录、启动参数都要能对应上。否则回滚以后接口是旧的，模型权重却不是旧的，问题会更隐蔽。

## 这次预检留下的结论

AI 推理服务上 K8s，不要只看接口能不能返回。GPU 资源、镜像依赖、模型目录、探针和回滚都要先过一遍。

我这轮只确认了几件事：关键镜像能拉，GPU 节点能识别，Pod 事件能看懂，探针没有过早误杀，回滚命令有记录。等这些基础问题清楚了，再看吞吐和成本优化。

服务用 vLLM 跑，目标是放到 K8s 里给内部测试环境用。接口在单机上能返回结果，但我不想直接把 Deployment 扔进集群里等报错，所以先按几层拆开看：镜像、GPU 节点、Pod 事件、探针和回滚。

我给一个推理服务做 K8s 上线前预检

云计算

运维

人工智能

预检vLLM服务K8s部署方案，重点排查GPU节点调度、镜像依赖、探针配置和回滚机制。通过分层验证确保基础环境正常，避免直接上线导致复杂问题。优化探针设置防止模型加载期误判，完善回滚流程保证服务一致性。

容器

4核4G3M云服务器 新用户低至38元/年！

2026采购季 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我给一个推理服务做 K8s 上线前预检-腾讯云开发者社区-腾讯云

我给一个推理服务做 K8s 上线前预检

我给一个推理服务做 K8s 上线前预检

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐