DeepSeekV2：这个新的开源的模型在多个基准测试中击败了 GPT-4、Claude-3 和 Llama-3！（附代码演示）

Aitrainee | 公众号：AI进修生

🌟它是 DeepSeek 团队发布的一个新的开源专家混合模型。该模型在多个基准测试中击败了 GPT-4、ChatGPT、Claude-3、Gemini、Mixtral 8x22b 和 Llama 3。它可用于创建自己的 ChatGPT 克隆和 Github Copilot 替代品。

体验地址：https://chat.deepseek.com/coder

Hello，大家好，我是Aitrainee，欢迎阅读本期新文章。

这两天有个新模型引起了不少关注，那就是DeepSeek-Coder-V2。这个模型是DeepSeek-Coder的最新升级版，相比之前的版本有了很大的提升，特别是在编码任务方面的表现令人惊艳。

DeepSeek-Coder-V2一共有两个版本：标准版DeepSeek-Coder-V2和精简版DeepSeek-Coder-V2 Light。标准版的参数量高达2360亿，而精简版的参数量则是160亿。

虽然精简版的体积小了不少，但在本地推理时依然表现出色。两个版本都支持128k的上下文长度，并且兼容338种编程语言，远超之前仅支持86种语言的旧版。

新模型通过8万亿标记进行训练，不仅在代码相关任务中表现卓越，在推理和一般能力方面也有显著进步。DeepSeek-Coder-V2在多个基准测试中都击败了其他闭源模型，如GPT-4 Turbo、Claude 3、Opus和Gemini 1.5 Pro。

▲ 在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中的表现优于 GPT4-Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等闭源模型。

在HumanEval基准测试中，DeepSeek-Coder-V2取得了90.2的高分，超越了所有竞争对手。而在mbpp plus和GSM 8K基准测试中也表现优异，除了在GSM 8K中仅次于Claude 3 Opus，差距只有一个小数点。

更令人惊喜的是，DeepSeek-Coder-V2的定价非常合理，每百万输入标记只需14美分，输出标记为28美分，这远低于其他模型。而且，它采用MIT许可证，允许各种商业和非商业用途，非常灵活。

▲ 在DeepSeek 平台上提供与 OpenAI 兼容的 API：platform.deepseek.com。注册即可获得数百万个免费代币。还可以以无与伦比的价格按使用量付费。

如果你想试用这个模型，可以从Hugging Face下载权重文件，或者通过AMA平台直接使用。还可以免费试用DeepSeek Chat平台，只需注册账号即可。在界面中选择Coder V2选项就能开始体验。

我们来做几个测试。首先，我们让它生成一个Python版本的贪吃蛇游戏程序，代码解释详细且运行正常。

然后，我们尝试创建一个现代化的HTML、CSS和JavaScript登陆页面，效果也相当不错。

DeepSeek-Coder-V2的2000亿参数版本可以直接在平台上运行，而小版本需要本地运行。我在本地测试了相同的任务，小版本在大多数任务中的表现与大版本类似，虽然在非常高级的任务中略有下降，但整体仍然优于CodeStral。

总的来说，DeepSeek-Coder-V2在编码任务中表现非常出色，支持超过300种编程语言，可本地运行且完全免费用于商业用途。另外，它还提供500万免费API标记，非常适合小型和个人项目。你可以将其连接到如continue Dev这样的协作平台。

下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。

1. 介绍

我们介绍了DeepSeek-Coder-V2，这是一种开源的Mixture-of-Experts（MoE）代码语言模型，在代码相关任务中达到了与GPT4-Turbo相媲美的性能。

具体来说，DeepSeek-Coder-V2是在DeepSeek-V2的一个中间检查点基础上，继续进行额外的6万亿个标记的预训练。通过这种持续的预训练，DeepSeek-Coder-V2显著增强了DeepSeek-V2的编码和数学推理能力，同时在一般语言任务中保持了相当的性能。

与DeepSeek-Coder-33B相比，DeepSeek-Coder-V2在代码相关任务以及推理和一般能力方面表现出显著进步。此外，DeepSeek-Coder-V2支持的编程语言从86种增加到338种，同时将上下文长度从16K扩展到128K。

▲ 上下文窗口：(NIAH) 测试的评估结果Needle In A Haystack。DeepSeek-Coder-V2 在高达128K的所有上下文窗口长度上表现良好。

在标准基准评估中，DeepSeek-Coder-V2在编码和数学基准测试中表现优于闭源模型如GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro。支持的编程语言列表可以在这里找到。

2. 模型下载

我们基于DeepSeekMoE框架发布了具有16B和236B参数的DeepSeek-Coder-V2，包括基础模型和指令模型，公开提供。

3. 评估结果

3.1 代码生成

3.2 代码补全

3.3 代码修复

3.4 数学推理

3.5 通用自然语言

4. 模型训练

4.1 数据

DeepSeek-Coder-V2的初始权重来自于DeepSeek-V2，其中包含了大量从网络上收集的公共和许可证兼容的数据。此外，我们还通过包含许多语言的开源GitHub代码库来增强训练数据。特别是为了增强代码任务能力，我们从以下领域添加了高质量的开源数据：

1. 1. 常规代码数据： 包括GitHub代码、StackOverflow答案等。
2. 2. 数学数据： 包括用于增强数学推理能力的数学题库。

4.2 微调

DeepSeek-Coder-V2的训练分为两个阶段：

1. 1. 基础训练： 在DeepSeek-V2的一个中间检查点基础上进行额外的6万亿个标记的预训练。
2. 2. 微调： 为了提升指令跟随能力，我们在指令数据集上进行微调。

5. 使用DeepSeek-Coder-V2

5.1 环境设置

首先，安装所需的库：

pip install torch transformers

5.2 加载模型

以下是一个简单的示例代码，演示如何加载和使用DeepSeek-Coder-V2进行推理：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Instruct")

# 加载模型
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Instruct")

# 输入文本
input_text = "def add(a, b):"
inputs = tokenizer(input_text, return_tensors="pt")

# 生成代码
output = model.generate(**inputs)
print(tokenizer.decode(output[0], skip_special_tokens=True))

5.3 示例

以下是使用DeepSeek-Coder-V2生成Python代码的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepseek-ai/DeepSeek-Coder-V2-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

inputs = tokenizer("def add(a, b):", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

参考链接： [1]https://github.com/deepseek-ai/DeepSeek-Coder-V2 [2]https://chat.deepseek.com/coder [3]https://www.youtube.com/watch?v=yY0RSqRs0xQ&t=92s