混合注意力指在模型内部将完整注意力与局部、稀疏等低成本注意力机制组合使用的架构设计。完整注意力擅长捕捉远距离关联,但计算开销随上下文长度快速增长;局部或稀疏注意力则将多数计算限制在更小范围内。二者组合的目标是在关键层保留全局理解能力,在其他层减少不必要的全量扫描。Hy4 flash 采用了这一设计,具体的层级配置官方暂未公开。
混合注意力是 Hy4 flash 将 KV cache 压缩至 Hy3 的 1/24、Hy4 的 1/6 的架构基础之一,使 1M 长上下文推理的显存开销降到可承受的水平,为低成本的大规模部署创造了条件。