K8s 架构师的核心能力不是"会装集群",而是把可用性目标(SLO)翻译成副本数、调度约束、故障域和应急流程。本文按"集群基线 → 工作负载 → 网络入口 → 存储 → 高可用 → 上线运维"的工程主线展开。
生产集群起步建议 3 控制面 + N 工作节点,控制面跨可用区部署,etcd 与 API Server 同机(stacked etcd)。用 kubeadm 初始化时关闭 Swap、配置 cgroupdriver=systemd,并显式声明 controlPlaneEndpoint 指向 VIP/LB,为后续扩容留口:
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.30.0
controlPlaneEndpoint: "k8s-vip.internal:6443"
networking:
podSubnet: "10.244.0.0/16"
serviceSubnet: "10.96.0.0/12"
apiServer:
extraArgs:
audit-log-path: /var/log/kubernetes/audit.log
audit-log-maxage: "30"
etcd:
local:
dataDir: /var/lib/etcd基线必做:审计日志开启、RBAC 最小权限、准入控制(PodSecurity restricted)、镜像仓库白名单、kubelet 资源预留(system-reserved),否则节点资源耗尽时系统组件会被 OOM 杀掉。
高可用的第一层是冗余 + 快速摘除故障实例。探针决定流量是否进入,PDB 决定滚动升级/驱逐时最少存活数,HPA 决定容量弹性:
apiVersion: apps/v1
kind: Deployment
metadata:
name: order-api
spec:
replicas: 4
strategy:
rollingUpdate: { maxUnavailable: 0, maxSurge: 1 }
selector:
matchLabels: { app: order-api }
template:
metadata:
labels: { app: order-api }
spec:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels: { app: order-api }
containers:
- name: app
image: registry.internal/order-api:1.4.2
ports: [{ containerPort: 8080 }]
readinessProbe:
httpGet: { path: /healthz/ready, port: 8080 }
periodSeconds: 5
livenessProbe:
httpGet: { path: /healthz/live, port: 8080 }
initialDelaySeconds: 15
resources:
requests: { cpu: "500m", memory: "512Mi" }
limits: { memory: "1Gi" }
---
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata: { name: order-api-pdb }
spec:
minAvailable: 3
selector:
matchLabels: { app: order-api }要点:maxUnavailable: 0 保证升级不掉容量;readiness 与 liveness 必须分离(就绪探针查依赖,存活探针只查进程自身),否则依赖抖动会引发全量重启雪崩;topologySpreadConstraints 把副本打散到多可用区。
内部用 Service + NetworkPolicy 做东西向隔离,外部用 Gateway API/Ingress 统一入口,并在入口层做多副本 + 跨区:
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: { name: order-api-allow }
spec:
podSelector:
matchLabels: { app: order-api }
ingress:
- from:
- namespaceSelector: { matchLabels: { name: gateway } }
ports: [{ protocol: TCP, port: 8080 }]
policyTypes: [Ingress]默认拒绝 + 白名单放行是生产网络的基线。Ingress Controller 至少 2 副本并反亲和,证书用 cert-manager 自动轮换。
无状态服务随意漂移,有状态服务必须用 StatefulSet + 稳定网络标识 + 动态 PVC,并选支持多副本的存储类(如 Ceph RBD、云盘 CSI):
apiVersion: apps/v1
kind: StatefulSet
metadata: { name: kafka }
spec:
serviceName: kafka-headless
replicas: 3
selector:
matchLabels: { app: kafka }
template:
metadata: { labels: { app: kafka } }
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels: { app: kafka }
topologyKey: kubernetes.io/hostname
containers:
- name: kafka
image: bitnami/kafka:3.7
volumeMounts:
- { name: data, mountPath: /bitnami/kafka }
volumeClaimTemplates:
- metadata: { name: data }
spec:
accessModes: [ReadWriteOnce]
storageClassName: csi-ssd
resources: { requests: { storage: 100Gi } }高可用 = 多副本 + 多故障域 + 可恢复。控制面 etcd 定期快照并异地存放,这是最后一道防线:
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
snapshot save /backup/etcd-$(date +%F).db恢复演练必须定期做:删一个控制面节点、杀掉一个可用区、注入网络分区,验证 PDB 生效、副本自动重建、etcd 仍能选主。没演练过的高可用等于没有高可用。
用 ArgoCD 做声明式发布,集群状态以 Git 为唯一事实源,回滚即 revert:
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata: { name: order-api, namespace: argocd }
spec:
project: default
source:
repoURL: https://git.internal/platform.git
path: apps/order-api/overlays/prod
targetRevision: main
destination:
server: https://kubernetes.default.svc
namespace: prod
syncPolicy:
automated: { prune: true, selfHeal: true }可观测三件套缺一不可:metrics(Prometheus + SLO 告警)、logs(集中采集带 trace_id)、traces(OpenTelemetry)。告警只对用户可感知的 SLO 报警,避免噪音淹没真故障。
K8s 应用架构师的进阶路径是:基线稳固的集群 → 冗余可摘除的工作负载 → 隔离清晰的网络入口 → 有状态可靠存储 → 可演练的高可用 → GitOps 与 SLO 驱动的运维。高可用从来不是某个组件的开关,而是故障域设计、容量冗余和恢复流程三者的乘积。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。