传统连续显存分配在 KV 缓存上会造成哪些内存碎片问题？

1. 内部碎片：为最大长度预留而浪费

传统做法按请求可能达到的最大序列长度，预先分配一整块连续显存。多数请求实际长度远小于上限，被预留却未使用的部分形成内部碎片，造成大量显存闲置。

2. 外部碎片：分配释放后难以复用

不同请求长度不一，分配与释放交错进行，空闲显存被打散成不连续的小块，难以拼凑出满足新请求所需的整块连续空间，形成外部碎片，进一步降低可用容量。

3. 无法跨请求共享相同前缀

当多个请求共享同一系统提示词或检索上下文时，连续分配方案会各自独立计算并保存一份前缀的 KV 缓存，无法在请求间复用相同内容，重复占用显存；此外对齐填充也会产生额外浪费。