DeepSeek-V4来了：百万上下文不是噱头，而是下一代 Agent 的底座

千呼万唤，DeepSeek-V4终于出来了。从整体来看，V4版本很明显围绕“超长上下文效率”重构出来的新架构。

这一次新的版本拥有百万字超长上下文，在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。模型按大小分为两个版本，两个版本的上下文长度都在1M。而且已经发布直接开源

即日起，用户可登录 DeepSeek 官网 chat.deepseek.com 或官方 App，直接体验最新 

带来的全新对话能力。同时，API 服务也已同步升级。开发者只需将 model_name 修改为 deepseek-v4-pro 或 deepseek-v4-flash，即可快速接入并调用 DeepSeek-V4。

首先，V4版本性能比肩顶级闭源模型

DeepSeek-V4 开创了一种全新的注意力机制，在 token 维度进行压缩，结合 DSA 稀疏注意力（DeepSeek Sparse Attention），实现了全球领先的长上下文能力，并且相比于传统方法大幅降低了对计算和显存的需求。

从现在开始，1M（一百万）上下文将是 DeepSeek 所有官方服务的标配。

DeepSeek-V4 和 DeepSeek-V3.2 的计算量和显存容量随上下文长度的变化

DeepSeek-V4 针对 Claude Code 、OpenClaw、OpenCode、CodeBuddy 等主流的 Agent 产品进行了适配和优化，在代码任务、文档生成任务等方面表现均有提升。下图为 V4-Pro 在某 Agent 框架下生成的 PPT 内页示例：

这一次，DeepSeek官方直接放出了技术论文，具体可以看这里：

https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

我在这里总结一下，论文开篇就讲得很明确：

现在 reasoning model 很依赖 test-time scaling，但传统 attention 的二次复杂度会让超长上下文越来越贵，最后变成推理和长链条任务的瓶颈。DeepSeek-V4 的目标，就是打掉这个瓶颈，让

。未来很多任务不是“问一个问题，答一句话”，而是长文档、多文档、复杂 Agent 工作流、超长链路推理。这些场景对上下文长度和推理成本都很敏感。

。如果长上下文推理太贵，那 test-time scaling 的收益就很快撞墙。V4 实际上是在给“更长推理、更长轨迹任务”铺底座。

V4 没继续走原始 dense attention 那条路，而是做了一个 

这两个交替使用，目的不是只做一个近似 attention，而是做一个

兼顾局部细节、全局覆盖、推理成本

的折中设计。论文还额外加了滑动窗口分支，防止压缩后丢掉近邻细粒度依赖。

这一个做法其实听高明的，因为很多长上下文方案要么偏理论，要么压缩后语义损失太大；V4 这里的思路明显更工程化：

远处的信息便宜看，近处的信息精细看，重要的块再稀疏挑出来重点看。

这很像在做一个多级记忆系统，而不是死磕全量原始 token。

mHC（Manifold-Constrained Hyper-Connections）

这个技术就是为了解决三个问题：

把每层的 residual mixing 矩阵 (H^{res}_l) 约束为“双随机矩阵（doubly stochastic）”

Birkhoff polytope（双随机矩阵集合/置换矩阵凸包）

DS研究团队通过实验观察到，由于缺乏有效约束机制，HC系统在训练过程中会出现控制参数无序波动的现象。为解决这一问题，研究团队引入了

这一特定流形结构作为优化空间。选择该流形的主要依据在于其具备多重优良特性：

，避免正负系数叠加造成信号抵消（也可理解为一种简单的流形/可行域约束）

HC 到底是“哪里不稳”？mHC 又是“怎么把它稳住的”呢？从实验上看，在前期训练过程中，HC loss 波动巨大，甚至有负值，说明训练初期 residual mixing 还没“学稳”。中后期的时候，HC 的 loss gap 

而 mHC作为 reference，整体的loss 基本单调、平滑，而且没有长期偏移

在前向和后向传播上，多层连乘后，梯度链路被放大成“指数塔”。

可学习 residual mixing 的“连乘”失控导致的

放得很重。作用类似熟悉的 AdamW：都是拿来更新模型参数的。区别在于，论文认为 

Muon 在大模型训练里收敛更快、训练更稳

，所以把它用在了 DeepSeek-V4 的大部分模块上。

它和普通 SGD / AdamW 最大的不同，会对更新矩阵做一次特殊处理，让更新方向更规整、更稳定。

这篇论文最有冲击力的数据，是首页右边那两张效率图。

这个意义非常大。因为长上下文模型最大的问题在于贵，V4 这套设计的价值就在于，它试图把“百万上下文”从展示能力，变成可落地能力。这也是我觉得它比很多“长上下文号称支持 1M”模型更有说服力的地方。

过去很多模型也说自己支持长上下文，但实际用起来经常是两个问题：一是太贵，二是长了以后不一定真能用。V4 这次的核心价值优化的地方在于：

它是从注意力机制、KV cache、训练稳定性和优化器上都围绕“长上下文可用”重新做了一遍工程化设计。

这一次V4 预览版的出现，其实很强了，大家赶紧用起来，一起测试一下~

DeepSeek-V4来了：百万上下文不是噱头，而是下一代 Agent 的底座千呼万唤，DeepSeek-V4终于出来了

后台策略工程师

云计算

人工智能

开发工具

DeepSeek-V4重磅发布，突破性实现百万字超长上下文处理能力，提供Pro和Flash两个开源版本。全新架构采用CSA+HCA混合注意力机制，推理FLOPs降低至V3.2的27%，KVcache仅需10%。在Agent能力、世界知识和推理性能上全面领先开源领域，比肩顶级闭源模型。现已在官网和App开放体验，API同步升级，开发者可快速接入。

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

DeepSeek-V4重磅发布，突破性实现百万字超长上下文处理能力，提供Pro和Flash两个开源版本。全新架构采用CSA+HCA混合注意力机制，推理FLOPs降低至V3.2的27%，KVcache仅需10%。在Agent能力、世界知识和推理性能上全面领先开源领域，比肩顶级闭源模型。现已在官网和App开放体验，API同...

DeepSeek-V4来了：百万上下文不是噱头，而是下一代 Agent 的底座千呼万唤，DeepSeek-V4终于出来了

DeepSeek-V4来了：百万上下文不是噱头，而是下一代 Agent 的底座千呼万唤，DeepSeek-V4终于出来了

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐