部署DeepSeek模型,进群交流最in玩法!
立即加群
发布
社区首页 >专栏 >使用腾讯 HAI 5 分钟内部署一个私人定制的 DeepSeek

使用腾讯 HAI 5 分钟内部署一个私人定制的 DeepSeek

原创
作者头像
编程扫地僧
发布2025-02-05 11:32:26
发布2025-02-05 11:32:26
1.3K0
举报
文章被收录于专栏:人工智能人工智能

过年期间,因为众所周知的原因,DeepSeek 受到了居心叵测的攻击。在这篇文章写作之时,DeepSeek API 控制台仍然没有恢复访问。

近期在笔者实际使用过程中,也经常遇到 DeepSeek 没能按照期望生成任何有意义回复,或者服务器繁忙的情况出现。

我们知道 DeepSeek 是一个开源的大模型,其开源特性最直观体现在其完整公开的模型架构设计。

与闭源模型的黑箱特性形成鲜明对比,DeepSeek GitHub 仓库中不仅包含模型权重文件,更完整披露了 transformer 架构的具体实现细节:

https://github.com/deepseek-ai/DeepSeek-R1

项目公开的 data_curation 模块也展示了从原始网页数据到高质量训练数据的完整处理流程。

这一切使得 DeepSeek 模型非常易于部署在本地电脑或者一切主流的云上。

以腾讯 HAI 为例,让 DeepSeek R1 模型部署并运行在腾讯 HAI 上,整个流程不超过 5 分钟。

腾讯 HAI,全称 Hyper Application Inventor,高性能应用服务,是一款面向 AI 、科学计算 的 GPU 应用服务产品,提供即插即用的澎湃算力与常见环境。

HAI 的访问入口:

https://cloud.tencent.com/product/hai

点击立即使用:

新建算力资源:

在算力资源列表,选择「社区应用」,排名第一的就是 DeepSeek-R1:

算力资源选择最基础的 「GPU 基础型」即可,这种规格的算力为 8+ TFlops SP,其中 Flops 是 Floating Point Operations Per Second 的缩写,它表示计算机每秒可以执行的浮点运算次数。

T代表 10 的12次方即一万亿,8TFlops 即每秒 8 万亿次浮点运算,SP 即 Single Precision,单精度运算,代表计算机使用 32-bit(4 字节)的浮点数进行计算。

算力资源只需要两三分钟即可自动创建完毕。

创建好的实例中,预置了分别以 Web 浏览器方式和终端命令行方式访问 DeepSeek R1 模型的 「ChatbotUI」和「JupyterLab」.

ChatbotUI 即 Chatbot Ollama,一个开源的聊天用户界面,专门为 Ollama 模型设计,基于 chatbot-ui 项目。

它旨在为用户提供一个简洁、高效的交互平台,以便更好地与 Ollama 管理的模型进行交互。

Ollama 是一个开源框架,专门设计用于在本地运行大型语言模型,其主要特点是将模型权重、配置和数据捆绑到一个包中,从而优化了设置和配置细节,包括 GPU 使用情况,简化了在本地运行大型模型的过程。

腾讯 HAI 将 Ollama 安装和配置工作为用户全部隐藏起来,只需在上图展示的 HAI 算力资源创建页面新建算力,就能立即得到「开箱即用」的 DeepSeek R1 模型应用。

点击「ChatbotUI」,会自动打开一个浏览器窗口,我们就可以在这个窗口里,同 DeepSeek 进行交谈了。

Ollama Model 下拉菜单里,可以选择预置的 1.5b 或者 7b 模型。

b 即 billion,1.5b 代表模型参数为 15 亿个,7b 则代表 70 亿个模型参数。

7b 模型由于拥有更多的参数,能够捕捉到更复杂的特征,因此在处理复杂任务时,通常比 1.5B 模型表现更优异。比如在需要深度理解和推理的任务中,7b 模型可以提供更准确详细的回答。

另一方面由于参数数量的增加,7b 模型对硬件配置的要求更高,在运行时需要更多的计算资源。根据 Ollama 官方提供的信息,7B 模型的大小约为 4.68 GB,而 1.5B 模型约为 1.1 GB.

当然,因为我们使用了腾讯云端的 HAI,使用这些模型,不会给本地电脑浏览器端产生任何额外的负载。

用一些稍稍复杂一些的题目来测试:

请你扮演一位资深的数学家,一个楼梯共有八级台阶,规定每步可以迈一级台阶或者两级台阶,最多可以迈三级台阶。从地面到最上面一级台阶,一共有多少种不同的迈法?请你给出详细的分析和解答思路。

DeepSeek 给出了令人满意的回答:

当然,腾讯 HAI 结合 DeepSeek 的本地部署场景,还有一些更高级的玩法,比如上传本地文件打造个人知识库,本公众号后续继续介绍。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档