KV 缓存面临的内存容量墙和带宽瓶颈分别指什么？

1. 内存容量墙：显存装不下

内存容量墙指 KV 缓存总量（单 token 大小 × 上下文长度 × 并发请求数）受限于 GPU 显存上限。当上下文长度与并发数上升时，缓存体积线性增长，超出单卡 HBM 容量后便无法继续服务更多请求或更长上下文，形成容量天花板。

2. 带宽瓶颈：数据搬不过来

带宽瓶颈指解码每步都要从显存读取模型权重与全部 KV 缓存，系统的吞吐受显存带宽（字节/秒）限制，而非受算力（FLOPs/秒）限制。缓存越长，每步需读取的字节越多，解码速度随之下降，带宽成为实际速率上限。

3. 二者共同决定可服务规模

容量墙决定"能放多少"，带宽瓶颈决定"能跑多快"。部署时必须在二者约束下权衡上下文长度、并发数与批大小，这正是 KV 缓存优化（压缩、分页、共享、量化）需要同时应对的两个维度。