Kubernetes推理网关智能路由：按队列深度分配大模型请求实战

大模型推理请求的时延和资源消耗极度离散，同一批请求可能在几十毫秒到几十秒之间随机分布。这种负载下，轮询或最小连接数这类静态路由很快就暴露出调度盲区——部分推理 Pod 排队积压，另一些却近乎空转。要解决这个问题，行业内一个被反复验证的路径是围绕 Kubernetes 推理网关智能路由做队列深度分配，用实时队列长度驱动流量分发。