
> 1:7 Full:SWA相对激进稀疏比的混合注意力设计，用约 15% 的头负责长距离的信息召回（召回头），注重Full Attention 就能维持模型的长程理解能力，约 85% 的注意力头天然只关注局部信息（流式头），追求极致推理效率。

### 架构创新：1:7 Full:SWA稀疏比的混合注意力设计

MiMo-V2.5-Pro最核心的创新在于其**Hybrid SWA+MoE+多模态的复合架构**，特别是采用极致的1:7 Full:SWA稀疏比设计。这一设计是实现推理成本大幅下降的基石。（这个是一个比较激进的比例，也有可能是小米初步验证过的高性价比方案，行业里面 3:1 或 1:3 是兼顾性能与效率的稳妥选择）

#### 1. 混合注意力机制的原理与优势

**传统全注意力架构的计算复杂度为O(n²)**，其中n为序列长度。当处理百万级Token的长上下文时，这种平方级复杂度会导致显存和计算资源的指数级增长，使得API成本居高不下。

![](https://developer.qcloudimg.com/http-save/yehe-1293908/960cca427be3ac7f4092d0bb73da24e9.png)

**小米的Hybrid SWA架构通过混合使用局部滑动窗口注意力(Sliding Window Attention, SWA)和全局注意力(Global Attention, GA)**，将计算复杂度从O(n²)降至接近O(w*n)。具体而言：

![](https://developer.qcloudimg.com/http-save/yehe-1293908/cfb072e526de82d1df51f432923e7bd2.png)

- **全局注意力(GA)层**：保留完整上下文的注意力计算，适合需要全局依赖理解的关键层（如输入层和输出层）。
- **滑动窗口注意力(SWA)层**：仅关注最近的w个Token（小米设置为128 Token），计算复杂度为O(n×w)。

### Sliding Window Attention 的优缺点说明，
**优点**
- 计算复杂度降低：从 ( O(n^2) ) 降至 ( O(n⋅w) )。
- 可扩展到长序列：支持 8K-16K tokens 甚至更长。
- 适用于文档级任务：如长文摘要、法律分析、医疗 NLP 任务。
**缺点**
- 不能捕捉远距离依赖：只能处理窗口范围内的 token 交互。
- 需要全局注意力补充：必须结合 Global Attention 来补充远程信息

Sliding Window Attention 解决了 Transformer 计算复杂度随序列长度二次增长的问题。
通过限制每个 token 只关注局部窗口内的 token，使得计算复杂度降低为 ( O(n⋅w) )。适用于长文本处理，并可结合 Global Attention 进一步提升模型性能。🚀 这是 Transformer 在长文本任务上的关键优化方案之一！

**MiMo-V2.5-Pro的70层Transformer中，仅10层使用GA，其余60层采用SWA**，形成了1:7的稀疏比。这种设计使得其prefill计算量（首次上下文计算）仅相当于一个10层的GA模型，而实际层数却达到70层，显著提升了模型容量与计算效率的平衡。


#### 2. 计算量的阶跃式下降

通过Hybrid SWA架构，MiMo-V2.5-Pro实现了计算量的显著下降：

| 计算阶段 | 传统全GA架构 | MiMo-V2.5-Pro的Hybrid SWA架构 | 计算量降低比例 |
|---------|------------|---------------------------------|--------------|
| Prefill阶段 | 70层 × O(n²) | 10层 × O(n²) + 60层 × O(n×128) | 约85-90% |
| decode阶段 | 每层O(n²) | 每层O(n) + SWA层O(128) | 约90-95% |

**在prefill阶段，70层模型的计算量主要由10层GA贡献**，而60层SWA的计算量几乎可忽略不计；在decode阶段，每一步生成新Token时，所有层的计算量都从O(n²)降至O(n)，实现了计算效率的质变。

**这种架构设计使MiMo-V2.5-Pro的原始推理成本远低于行业平均水平**，为后续的API大幅降价奠定了基础。罗福莉表示："此次价格调整，只是我们决定把这些结构性成本优势直接让利给开发者。"

### 全链路优化：突破重构推理系统

单纯依靠架构创新无法完全释放MiMo-V2.5-Pro的成本潜力。小米技术团队对推理系统进行了全链路重构，实现了五大核心技术突破，将Hybrid SWA的理论优势转化为实际的商业价值。

#### 1. KVCache双池分治：存储效率提升7倍

**问题**：传统框架对SWA的支持存在缺陷，实质上仍以存储完整KVCache的代价兼容SWA模式，导致理论收益难以兑现。

**解决方案**：小米设计了KVCache双池分治架构，将存储分为FullKVPool与SWAKVPool：

- **FullKVPool**：按需增长、长期保存，存储GA层的完整KV数据。
- **SWAKVPool**：采用环形缓冲区设计，严格按窗口大小配置容量，实现O(w)存储约束。

**效果**：
- 整体KVCache存储需求降至全GA方案的约1/7
- 在长序列场景下（如1M上下文），存储效率提升约7倍
- 与传统单池方案相比，相同硬件条件下可处理的并发请求量提升5-7倍

#### 2. SWA-aware前缀树：命中率提升至93%

**问题**：传统前缀树在SWA模式下容易出现"伪命中"问题。当滑动窗口移动时，即使大部分前缀相同，但由于窗口边界变化，传统前缀树会判定为不命中，导致缓存利用率低下。

**解决方案**：
- 引入"窗口安全长度"匹配规则，确保SWA模式下前缀复用的正确性
- 优化淘汰机制与索引管理，减少缓存碎片
- 绑定淘汰路径与请求生命周期，支持独立淘汰策略

**效果**：
- 线上平均缓存命中率达到93%
- 高频用户场景下缓存命中率超过95%
- 相比传统前缀树（命中率约60-70%），缓存利用率提升约50%

#### 3. GCache分布式缓存：跨级搬运成本趋近于零

**问题**：当KVCache超出GPU显存容量时，必须将部分数据转移到CPU内存或SSD，而这些跨级搬运会带来巨大的延迟和带宽开销。

**解决方案**：小米自研了GCache三级缓存系统，实现KVCache在GPU显存、CPU内存和NVMe SSD间的自动流转：

- **架构设计**：采用非中心化元数据管理，支持内存/磁盘多级缓存与平滑扩缩容
- **通信优化**：通过RDMA通信实现单进程170GB/s读吞吐、280μs延迟
- **存储策略**：基于访问热度自动将数据在三级缓存间流转，减少无效搬运

**效果**：
- 跨级数据搬运成本降至优化前的近1/7
- 显存外的KVCache存储（CPU/SSD）延迟从毫秒级降至微秒级
- 在相同成本下可承载的缓存量成倍提升，支持更长上下文窗口

#### 4. KVCache亲和调度：L2命中率提升25%

**问题**：传统调度策略无法感知KVCache的位置，导致请求可能被路由到没有缓存的GPU实例，造成频繁的跨设备数据迁移。

**解决方案**：小米实现了KVCache亲和调度与计算量感知优先调度：

- **请求路由**：优先将请求路由到已缓存其前缀的GPU实例
- **负载均衡**：结合计算量感知策略，避免短请求被长请求拖慢
- **缓存协同**：三级长度分桶策略，提升缓存共享效率

**效果**：
- L2缓存命中率提升约25%
- 单机吞吐量提升约30%
- 用户首次响应时间(TTFT) P90降低约30%
- 缓存状态一致性问题显著改善，避免因状态不一致导致的缓存失效

#### 5. decode阶段MTP加速：前128Token加速2.3倍

**问题**：传统解码方式逐Token生成，无法充分利用GPU并行计算能力，导致解码阶段效率低下。

**解决方案**：小米在decode阶段引入了多令牌预测(MTP)加速技术：

- **并行预测**：支持SWA的KVCache优化使有效容量提升近5倍
- **CUDA优化**：结合CUDA Graph显存调优与PD分离预分配优化
- **分层加速**：原生支持3层MTP加速，不同位置的Token采用不同加速策略

**效果**：
- 前128 Token生成速度提升约2.3倍
- 128-256 Token生成速度提升约1.5倍
- 单节点并发处理能力显著增强，相同硬件条件下可支持更多并发请求
- 显存利用率提升，支持更大批量推理

### "国模+国芯"：未来成本进一步降低的基础

小米MiMo-V2.5-Pro的降价不仅仅是当前技术优化的结果，更与小米的"国模+国芯"战略密切相关。这一战略为未来API成本的进一步下降奠定了基础。

#### 1. 国产芯片的能效比优势

**小米MiMo-V2.5系列几乎覆盖所有国产推理芯片**，包括阿里平头哥真武810E、天数智芯、燧原科技、沐曦和昆仑芯等。

这些国产芯片在能效比上具有显著优势：

- **平头哥真武810E**：能效比达500 IPS/W，远超国际主流水平
- **天数智芯**：通过PD分离架构（Prefill/Decode解耦）提升推理吞吐60%
- **FP8计算支持**：国产芯片普遍支持FP8混合精度计算，与MiMo-V2.5-Pro的架构设计高度契合

**与英伟达A100/H100相比，国产芯片在相同性能条件下具有更低的采购成本和更高的能效比**，为API服务提供商降低了硬件投入和能源消耗成本。

#### 2. 软硬协同优化的边际成本优势

小米MiMo-V2.5系列与国产芯片的深度适配带来了显著的软硬协同优势：

- **平头哥真武810E**：支持FP8混合精度计算，集成HGAI软件栈，实现vLLM框架的"分钟级"适配
- **天数智芯**：通过Transformer-Engine架构，为MiMo-V2.5-Pro提供无损量化工具包，在完全保障模型精度前提下实现长文本处理效率提升50%、算力利用率提升60%
- **燧原科技**：基于自研驭算TopsRider软件栈进行深度优化，实现高吞吐、低延迟的稳定运行

**这种软硬协同优化使API服务提供商能够充分利用国产芯片的特性，进一步降低单位Token的推理成本**。



#### 3. 供应链自主可控与政策支持

"国模+国芯"战略不仅在技术层面具有优势，还带来了供应链和政策层面的支持：

- **供应链自主可控**：国产芯片的供应链不受国际限制，避免了因芯片短缺导致的成本上升
- **算力补贴政策**：深圳、北京等地推出"训力券"和国产芯片采购补贴政策，最高抵扣60%算力费用
- **规模化部署优势**：国产芯片的规模化应用（如深圳14000P集群）摊薄了边际成本

**这些因素共同作用，使小米能够在国产芯片生态中获得更低的硬件成本和更高的能效比**，为API价格的进一步下调提供了空间。

### 五、成本与商业策略的良性循环

小米的降价策略不仅是技术能力的体现，更是精心设计的商业闭环：

**1. 缓存命中率与成本的正向循环**

小米的API价格分为"缓存命中"和"未命中缓存"两档。以MiMo-V2.5-Pro为例，缓存命中时输入价格仅为每百万Token 0.025元，而未命中时价格高达3元。

**小米通过"百万亿Token创造者激励计划"（已发放100万亿免费Token）吸引开发者调用**，积累海量缓存数据，从而将缓存容量优势转化为高有效命中长度。这种策略形成了"降本→获客→再降本"的良性循环，使API服务在接近满负载运行的情况下仍能维持收支平衡。

**2. Token Plan计费体系的重构**

小米对Token Plan计费体系进行了全面重构，实现了"加量不加价"：

- **Lite套餐**：定价39元，可用Token从0.6亿提升至41亿（提升约68倍）
- **Standard套餐**：定价99元，可用Token从2亿提升至110亿（提升约55倍）
- **Pro套餐**：定价329元，可用Token从7亿提升至380亿（提升约54倍）
- **Max套餐**：定价659元，可用Token从16亿提升至820亿（提升约51倍）

**这种计费体系重构使同等付费价格下，用户可使用的Token数量提升至原来的5至8倍**，显著降低了用户的使用门槛，同时保持了API服务的盈利性。

### 与竞品对比：成本结构的革命性变化

将小米MiMo-V2.5-Pro与DeepSeek-V4-Pro、GPT-5.5 Pro等竞品进行对比，可以更清晰地看出小米在成本结构上的创新：

| 技术指标 | MiMo-V2.5-Pro | DeepSeek-V4-Pro | GPT-5.5 Pro |
|---------|--------------|----------------|------------|
| 上下文窗口 | 1M | 1M | ≤256k |
| 缓存命中价 | 0.025元/百万tokens | 0.02元/百万tokens | 0.3元/百万tokens |
| 未命中缓存价 | 3元/百万tokens | 1元/百万tokens | 7元/百万tokens |
| 输出价 | 6元/百万tokens | 6元/百万tokens | 21元/百万tokens |
|KVCache存储需求 | 1/7同级方案 | 1/5同级方案 | 基准(1x) |
|prefill计算量 | 1/7同级方案 | 1/5同级方案 | 基准(1x) |
|缓存命中率 | 平均93% | 平均85% | 平均70% |

数据来源：

**从对比中可以看出，小米MiMo-V2.5-Pro在KVCache存储和prefill计算量上实现了行业领先的优化**，使其在长上下文场景下具有显著的成本优势。同时，其高缓存命中率也进一步降低了实际调用成本。

### 未来趋势：从"能力溢价"到"效率竞赛"

小米MiMo-V2.5-Pro的降价策略标志着大模型行业竞争焦点的显著转移：

**1. 行业格局的K型分化**

当前国内大模型市场呈现出明显的K型分化特征：
- **低价开源阵营**：以小米和DeepSeek为代表，将缓存命中价锚定在0.025元/百万tokens左右
- **高端定制服务阵营**：如智谱GLM、腾讯混元等，维持价格稳定甚至小幅上调

**2. 技术驱动的成本革命**

**大模型的竞争正从围绕"智商"的能力比拼，迅速转向围绕"效率"的工程与成本综合竞赛**。小米的降价证明，**真正的行业颠覆依靠技术重构成本逻辑，而非烧钱补贴**。

**3. 普惠AI的基础设施化**

小米的降价策略旨在将大模型从"奢侈品"推向"基础设施"级别。通过降低API调用成本，使过去仅头部企业敢大规模使用的AI Agent、长文本深度分析等复杂任务，现在中小开发团队也具备了经济可行性。

### 结论：技术重构成本逻辑的典范

小米MiMo-V2.5-Pro能够实现API价格最高降幅99%的核心原因在于**通过五大技术突破重构了推理系统的成本逻辑**：

1. **Hybrid SWA架构**：采用1:7 Full:SWA稀疏比，将prefill计算量降至同级GA方案的约1/7
2. **KVCache双池分治**：将存储需求降至同级方案的约1/7，提升缓存利用率
3. **SWA-aware前缀树**：通过"窗口安全长度"匹配规则，将线上缓存命中率提升至93%以上
4. **GCache分布式缓存**：通过RDMA通信实现低延迟数据迁移，使显存外的KVCache几乎无额外成本
5. **KVCache亲和调度与MTP加速**：提升缓存命中率和解码效率，进一步降低单位Token成本

这些技术突破与小米的"国模+国芯"战略相结合，形成了技术-硬件-生态的协同优化闭环，为AI从"奢侈品"走向"基础设施"提供了可行路径。**对于开发者，这是以极低成本调用顶尖模型的时代；对于行业，这是一次关于效率与创新的深刻倒逼**。

小米MiMo-V2.5-Pro的降价并非单纯的价格战，而是一场由工程优化能力驱动的成本革命。它证明，当模型能力逐渐逼近当前阶段的瓶颈时，**推理效率、服务成本和系统工程能力将成为决定市场格局的新变量**。真正的技术进步不仅体现在模型参数和能力上，更体现在如何以更低的成本提供更高效的服务上。

大家也可以测试一下，看看效果欢迎分享、评论、关注！

1:7 Full:SWA相对激进稀疏比的混合注意力设计，用约 15% 的头负责长距离的信息召回（召回头），注重Full Attention 就能维持模型的长程理解能力，约 85% 的注意力头天然只关注局部信息（流式头），追求极致推理效率。

小米 MiMo-V2.5系列API永久降价的技术分析（二）

高级工程师

云计算

人工智能

架构设计

小米MiMo-V2.5-Pro采用1:7Full:SWA混合注意力架构，通过全局与局部注意力结合降低计算复杂度，实现推理成本大幅下降。创新KVCache双池分治和SWA-aware前缀树技术提升缓存命中率至93%，结合国产芯片优势，API价格降幅达99%，推动AI服务普惠化。

负载均衡

数据迁移

数据管理

路由

腾讯云大模型Token Plan个人版28元/月起

tokenhub

nitrofs

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

小米 MiMo-V2.5系列API永久降价的技术分析（二）-腾讯云开发者社区-腾讯云

小米 MiMo-V2.5系列API永久降价的技术分析（二）

小米 MiMo-V2.5系列API永久降价的技术分析（二）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐