首个线性注意力架构的大模型来了，MiniMax 400 万超长上下文大模型重磅开源！

AgenticAI

发布于 2025-03-18 16:30:07

3970

文章被收录于专栏：AgenticAIAgenticAI

最近一个月，大模型领域热闹非凡，各大科技公司纷纷加码。阿里推出了 QwQ 模型，OpenAI 发布了 o1 Pro，Google 带来了 Gemini-2.0-Flash-Exp，而 DeepSeek 则凭借 V3 模型成功出圈。然而，也有零一万物卖身阿里，令人唏嘘。但令人欣喜的是，又一家国内大模型公司 MiniMax（也就是视频生成领域广为熟知的海螺）加入了战局。他们开源了两个重量级模型：

MiniMax-Text-01[1]：456B 参数的基础语言模型。
MiniMax-VL-01[2]：视觉多模态模型。

MiniMax 的优势何在？它凭借什么在竞争中脱颖而出？我们先来看看它的主要特点：

💪 创新的线性注意力（Linear Attention）混合架构，每 8 层中有 7 层使用线性闪电注意力（Linear Lightning Attention），另外 1 层使用 SoftMax 以实现更好的平衡。这种结构使其能够高效处理超长序列，属于业界首次大规模实现，突破了传统 Transformer 架构的记忆瓶颈。

🚀 400 万超长上下文，MiniMax-Text-01 能够高效处理高达 400 万 token的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。在 400 万 token 的“大海捞针”（Needle-in-a-Haystack）检索基准测试中实现了全绿的准确率，并在实际 AI 助手任务中超越了部分顶级模型，模型综合性能比肩海外顶尖模型。

💰 极具竞争力的价格，每百万输入 Token 1 元/输出 Token 8 元，意味着你 400 万字的小说、论文放进去，只需要大约 4 块钱。

🚀 开源发布：包含完整权重，商业可用，但月活跃超过 1 亿用户需要申请额外授权。

本文接下来将从实测、数据集评估、技术解析三个方面展开，深入探讨 MiniMax 如何在低成本的前提下实现高效超长上下文处理。

1. 实测

400 万超长上下文窗口，测试的场景可就太有意思了。

场景 1：我经常在起点看小说，我简直太懂这个怎么应用在小说场景了。

小说结局不太完美？让 MiniMax 帮你重写 Happy Ending。
此处剧情想要展开讲讲，此处可本？整本书塞给 MiniMax，让它帮你按照设想进行编写。
起点作者卡文？作为粉丝，你也可以用 MiniMax 帮他写一篇续作，给作者大大来点小小的震撼。

场景 2：写文献综述

一篇论文一般在 4000-8000 字左右，以最大 8000 字一篇，喂给 MiniMax 30 篇也就 24 万字，依然戳戳有余。而 ChatGPT 只有 12 万左右的上下文窗口，你只能喂给它 15 篇，距离综述或许还差的远。

场景 3：多文档阅读

当下大模型应用最优秀的典范莫过于 Google NotebookLM。这是一款专注于超长文本解读的应用，能够基于用户上传的文档，生成深度交谈和总结，并实现与内容的交互。而这一切显然是基于对整个文档的理解，才能生成从宏观角度，逐步深度到细节的对话。现在开发者也将能够在 MiniMax-Text-01 的支持下实现自己的 NotebookLM 助手。

接下来，我们就实测一篇我最近在起点看的小说《没钱修什么仙？》，作者熊狼狗大大，由于最近才看，我很多细节还记得。登录海螺官网[3]，然后粘贴全文大约 47 万字，它自动输出故事梗概，故事发展，主要矛盾分析，主题探讨，其他亮点，后续发展预测以及总结。

主题探讨部分总结的太好了，关于社会阶层固化与个人奋斗有种辩证法的感觉。

接下来我们来续写一章，我只是给了个标题，他就自动续写了，不得不来一句，妙啊！

限于篇幅，实测到此结束。接下来是骡子是马拉出来比比。既然 MiniMax 主打高效长文本处理，我们不妨直接从长文本评估开始，看看它的真实表现。

2. 长文评估

在最新的LongBench v2[4]榜单，MiniMax-Text-01 综合性能位列前茅，仅次于 OpenAI 的 o1-preview 和人类，展现了强大的竞争力。LongBench v2由清华大学领头开发，面向现实情景的长上下文基准测评数据集，涵盖多任务类别，具有高难度和多样性，重点测试模型的推理能力和计算扩展性。

在长上下文理解的基准任务（如 RULER 基准）中性能显著领先。

在多轮大海捞针 MR-NIAH（普通大海捞针测试的加强版）评估中，随着窗口增大，相较于其他模型，其性能几乎不存在什么明显下降。

3. 学术数据集评测

榜单对比都是当前业界榜上顶尖大模型，以超长上下文混合线性注意力架构的 MiniMax-Text-01 表现如何呢？可以看到它在 C-SimpleQA 领先所有模型，通用评估、推理、数学上基本持平业界顶尖大模型。不足的是代码编程能力稍弱，不过 MiniMax 在报告中表示这是由于编程数据集有限导致，已经在改进训练数据，预计下一版本就会有所改观。

4. 技术解读

本部分分为两部分，第一部分解读 MiniMax 自研的混合线性注意力架构，这是高效低成本超长上下文实现的关键。第二部分解读 MiniMax 高效计算优化。

4.1 创新的线性注意力

在深度学习和自然语言处理（NLP）领域，Transformer 模型的核心组件是 注意力机制（Attention Mechanism），为人熟知的”Attension is all you need”。标准的 Transformer 使用的是 Scaled Dot-Product Attention，但随着研究的深入，出现了多种改进和优化的注意力机制。以下是对几种常见注意力机制的比较：

据了解，现在大部分的 LLM 实现都是基于标准注意力 Softmax Attention，可以看到计算复杂度是 O(N^2)，其上下文长度常见是的 32K，64K 或者 128K。Linear Attention 倒是很好的解决了计算复杂度的问题，但有损失精度的可能。MiniMax 团队在此之前针对 Linear Attention 提出了一种有效的变体Lightning Attention[5]，它将整个序列拆分成块并重用部分计算以节省时间和内存，使它的计算复杂度随序列长度呈线性增长。

序列划分：模型将输入序列的查询-键-值（QKV）表示拆分为较小的区块（例如，每个区块包含 256 个 token）。每个区块可以在局部范围内处理（区块内处理），同时仍然保留已处理区块的信息（区块间处理）。
双阶段计算：
- 区块内处理（左乘）：在单个区块内，模型仅关注区块内部的 token，构建“局部注意力”，避免重新计算整个大型注意力矩阵。
- 区块间处理（右乘）：完成一个区块的处理后，会将之前所有区块的内容压缩成一个紧凑的键值前缀。后续的区块通过该前缀“回看”早前的 token，但仅引用紧凑的摘要，而非完整的原始数据。
为什么是线性的：传统的 Softmax Attention 会形成一个大小为（序列长度）×（序列长度）的巨大矩阵，其计算复杂度呈二次增长。而 Lightning Attention 将计算重新组织，使每个区块的计算成本固定。当处理下一个区块时，只需更新一个小型前缀（类似于一个持续更新的摘要），而不需要为每个 token 重新计算注意力矩阵。这种设计使得总计算成本大致与 token 数量成正比，而非平方增长。
避免重复扫描整个序列：在推理过程中，模型逐个生成 token，只需不断更新“前缀”表示，避免了传统方法中反复检查所有已处理 token 的繁琐步骤。
更高的内存效率：通过仅存储和重用部分累积值，这种方法在处理超大序列（如数百万 tokens）时，不会导致内存使用暴涨。每个区块的计算主要是自包含的，外加少量引用早期数据的开销。

然而在实际的长文本测试中，MiniMax 团队发现 Lightning Attention 相较 Softmax Attention 的长文检索能力偏弱，因此创新地开发了混合 Lightning Attention 注意力架构，每 8 层中包含 7 层 Lightning Attention 和 1 层 Softmax Attention：

Lightning Attention 提供了对长序列的高效建模。
Softmax Attention 提升了对语义相关性和复杂检索任务的支持。

具体架构如下图所示，这种设计平衡了效率和性能，使得模型既适合长文本处理，又能在检索任务中保持高精度。。

4.2 计算优化

MiniMax 在训练和推理过程中，仅用 1500-2500 的动态 GPU H800 集群就实现了本次训练。除了采用创新的 Lightning Attention 架构，使计算复杂度随序列长度线性增长。还采用高效处理可变序列长度（Varlen Ring Attention）支持百万级 token 上下文窗口的训练与推理，线性注意力序列并行优化（LASP+）以及高效内核融合操作优化 Lightning 线性注意力架构。

Varlen Ring Attention：高效处理可变序列长度

利用基于环的算法将序列划分为多个片段，无需进行额外的大规模计算。
这种设计允许上下文窗口保持开放，确保每个片段能够无缝连接，同时跳过不必要的计算。

LASP+（线性注意力序列并行优化）

消除了多 GPU 分布式计算时的瓶颈，通过优化中间状态的通信，将串行步骤转化为并行任务。
这种并行化使得模型可以高效地处理数百万 tokens 的序列。

高效内核与融合操作

通过将多个小型内存操作合并为单次操作，显著减少了内存传输量。
这种优化极大地提升了 GPU 的计算效率，对于处理巨大上下文窗口至关重要。

更多的技术报告文档，请查阅 MiniMax 官方文档：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf。

5. 总结

MiniMax 的超长上下文大模型落地，对大模型领域有着重要的意义，或许能够为各家厂商提供全新的思路，而开发者也将因此受益。超长上下文的支持使得处理超大规模文本变得可能，也将能够催生一系列新兴的 Agentic 应用。我们知道现有 Agent 长期记忆都是采用外挂 RAG 实现，为此开发了很多的框架，而且现有的 Agent 记忆在实现的时候，都是当做工具检索，我想说这并不是记忆，这只是 work around。所以我们可以畅想未来 Agent，具身智能机器人，甚至是 AGI，它们将能够在启动后自动加载角色记忆，并且可以实时更新记忆，而工具真的只是工具。

最后值得高兴的是，国内的大模型厂商仍在积极创新，行业仍然呈现出一片百花齐放的景象，在如此显卡短缺的情况下，仍然在快速拉进与美国的差距。