最近,来自杭州的深度求索发布了第二代开源MoE模型DeepSeek-V2,从各项指标来看,都具备了领先水平,无论与开源模型,还是闭源模型对比,都处于第一梯队,是GPT-4, 文心4.0, Qwen1.5 72B, LLaMA3 70B等先进大模型的有力竞争对手。本文就来介绍一下。
参数规模与性能
DeepSeek-V2包含236B(十亿)参数,每个Token激活2.1B参数,支持长达128K的上下文长度。在性能上,它与GPT-4-Turbo、文心4.0等闭源模型在中文综合能力评测中处于同一梯队,英文综合能力与开源模型LLaMA3-70B处于同一梯队。
上下文长度
开源模型支持长达128K的上下文长度,而聊天和API支持32K的上下文长度,有助于处理需要大量上下文信息的复杂任务。
中文能力
中文综合能力(AlignBench)开源模型中最强,与 GPT-4-Turbo,文心 4.0 等闭源模型在评测中处于同一梯队。
编程能力
擅长编程任务和逻辑推理,适用于技术领域和需要复杂决策的应用场景。从官方把coder放在突出位置,就可以看出团队对自家大模型编程能力的自信。
API价格
DeepSeek-V2的API定价为每百万输入Tokens 1元(0.14美元),每百万输出Tokens 2元(0.28美元),具有竞争力的价格。
模型架构
DeepSeek-V2采用了MoE架构,特别是它对Transformer架构中的自注意力机制进行了创新,提出了MLA(Multi-head Latent Attention)结构,并使用MoE技术进一步降低计算量,提高推理效率。
商用
开源协议为MIT,且注明了V2系列支持商用。
结语
具有极强的价格竞争力,以及看上去不错的数据表现,让我对这家公司有了兴趣,经过了解后,发现,这家公司是幻方旗下的独立公司,幻方本身是做AI量化投资的,做着做着发现AI这块大有可为,独立了一块业务,成立了新品牌做大模型,以及探索各种可能性。在当前主流的大模型服务中,我认为要具备以下几点才能称得上好模型:1. 开源,2. 价格低,3. 对中文的理解能力强,4. 在架构上支持更大的上下文窗口和更牛的性能。抛开国外的知名模型不提,从感情上,我是比较支持国内的优秀模型,在AI领域出现更多可在中文语境下创作的AI应用,既能让普通开发者以更低的成本进入AI赛道,也可以让更多的普通人享受AI带来的便利。