DeepSeek R1 v3 本地部署手册原创

从今天或者是这个年底啊，2024年的年底或者春节这个期间才火起来的，实际上恋家公司呢，在很早以前，在2023年啊，就已经发布了这个DC的这个模型。嗯。12023年的11月2号啊，他发布了首个这个代码，看一个的模型。然后11月29号。然后发布了这个，呃，671的一个模型，那你看这个参数量来说啊，参数量来说呃，7B67B的base斯已差的版本，实际上跟现在的参数量基本上是一模一样的。啊，基本上是一模一样的，然后到了到了2024年5月份发布了deep的VR的VR版本，那这个模型其实当时就已经在性能上可以比肩DBT4的托管模型了。啊，但是不知道为什么哈，那个时间是没有像现在这么这么的火。

啊，没有像现在这么的火。那在12月26号啊，他上线了这个这体的V3版本啊，V3版本，然后以1/11的一个算力，然后是近2000的GPU的一个芯片，虽然超过了。GPDC4OE的大模型。那么到了一月份，也是我们大概在春节啊，春节的那个期间发布了deep的R1啊和R1ZERO带点的模型，还有我们的V3啊V3版本。也就是这个时间，时间点，他突然爆火起来。然后他是D这个发布了R1模型，仅用了600万的美元的就完成了对一成就，然后1月27号，然后再登陆了嗯，苹果美国利息的这个应用商店，然后同时中国地区登陆，然后美国科技股大跌，嗯，蒸发了一亿一万亿美元，所以说这个。Deep的这个模型的一个活起来还是影响还是比较大的啊，影响还是比较大的。

然后呃，那我们了解了这个deep sick啊，Deep它这一个模型为什么这么厉害呢？就是可以说为什么这么强，他为什么能够啊，它的一个效果啊，为什么能够超越啊，超越我们的这个。呃，差的DPT啊，它的一个原因，原因就在于啊，它有一个LMOE的一个模型，然后他每次他他的一个参数样式600啊671B啊，但是呢啊，这个每次激活的时候呢，只激活371，它有一个分布式的一个效果。啊，分布式的一个功能，然后训练和推理功能提升，相相对于传统的密集模型，第4个代的moe架构，在训练和推理的阶段能表现出更高的一个效率啊。然后。相对于我们transform form的一个传统架构啊，吞吐要实现了1.8倍的一个吞吐量提升，参数量降低了百分之，不是30%，这是他为什么能够快，或者说为什么有这个思考过程的一个原因。

那么他又把成训练的成本降低了，然后他效率又提升了，然后他价格他自然而然就降下来了，对吧，自然而然就降下来了，然后每100万的一个痛恨呢，只需要一块钱。然后你百万的苏州图文是这个19块钱，那他这个是差DBD的3%的一个价格啊，你大家都知道年费的，比如说99美元的也好，或者说更高的一个GPT四欧的一个版本的话，能更贵一点，几百美元对吧，那相对来说还是比相东相当的比较便宜的。好吧，那本地部署首先就是大家要有一个概念，就是他为什么要本地部署啊，为什么要本地部署，其实现在对于或者是说由于这个deep的一个网站官方网站。

啊，现在的官方网站，由于他这个经常出现系统繁忙啊，系统繁忙，然后这个有一网络繁忙呀，这种类似这种报错，有些同学还没有及时的把它给注册啊，有些人还没有去注册啊。那么本地部署呢，就是一个含优现在一个选项，呃，含义现在一个选项，那么还首先首先我们就要打一个预防针，是如果本地不足的情况下，它只能最高我们包括我们4090 5090，甚至假设你有5090的显卡，它也是只能支持到这个30B的模型。啊，所以说呢，从参数量来说，我们是大大的啊，不如这个我们线上的模型的啊，如果你想要去使用这个V3版本啊，也是可以的啊，也是可以的，我们期末的这种方式也是可以使用V3版本，那么呃，另外一点就是所有的大模型都会收集用户的一个输入信息。

所有大模型都会输入这个收集用户的一个输入信息，那么所以说就得益于那个隐私性。啊，隐私性，那么我们还是更要去本地部署了啊，更要去本地部署了，那么这个本地部署有什么好处，第一件是隐私性啊，第二就是数据上我们保持保护了我们个人的那个隐私。那缺点呢，就是会稍微依赖于啊，依赖于硬件啊，依赖于硬件，如果但是现在各大平台呢，都已经推出了我们D这个的一个，呃，官方版官方版版本，然后有一些平台都是免费使用的，大家可以去直接去使用啊。嗯，那我们这个32B的一个模型呢，啊，32B的模型呢，大概是有一个。啊，10个G左右啊，8~10个G左右，然后本地部署呢，是一定不如在线版的好用的啊，一定不如在线版的好用，那么另外有一点就是我们的deep sick这个大模型，这个大语言模型，它不是说它能够做到其他语言模型不能做到的东西，或者是。

甚至超越了GPT的一个不能做到的东西，而是得益于他的一个效率啊，得益于他的一个效率和这个人啊思考的一个突殊性啊，并不是说很绝对的啊，DP这个有多么的厉害，他能够超越其他的模型，能做到其他模型所不能做到的一个东西啊，这是不是不是这样的。那么使用方式啊，使用方式首先我们比较方便一点，如果说大家根本就没有一个电脑。啊，没有电电脑或者是一些什么东西呢，我们就直接使用在线版本，在线版本它有个网页版啊。它要区分了网页和APP啊两个版本啊，大家可以去体验一下，那么这个网址，嗯，直接去搜索dp seek就OK了啊这就OK了，那么。

还有一点就是APP是直接去应用商店去下载也可以啊。呃，麦当劳了啊那。高人。好吧，那么这两个。相对来说就刚才提到了一点啊，就是呃，他很容易的去发生网络反吗？啊，很容易发生这个网反吗？然后这个在我们的这个测试的时候啊。测试的时候就已经出现了啊，测试的时候就已经出现了，因为这个给大家部署的时候就已经出现了什么网络繁忙，然后正在生的弄，你时不时的如果说开启这个联网功能，很容易报这个错。很容许去去报这个错的好吧。所以说这个在线版本和网页版本，这个完全屏可能注册也是很麻烦的哦，因为现在注册的通道，它受到的攻击，注册也是很也不是很麻烦啊，你说。

嗯，很难的，你再看一眼看一下。然后你看我我自己已经有账号密码的前提下，他还是有这个报错的是吧？嗯。那么第第二个是这个API的申API的申请的一个网址，那么大家可以去看一下这个网址会下面就会用到。第二个就是我们本地去部署啊，我们今天要讲解的给大家分享的本地部署。那么本地部署有一个问题是大家会说就是呃，破解限制啊破解限制。这个给大家提前也打一个预防针，一共打了两个预防针，就是第一个点就是。本地部署的一定不如在线版的一个效果，因为等于32B的一个三数量和671B的参数量是完全没有一个量级的啊，完全没有可比性的，对吧，而且我们32B的还是一个4比的一个电化版本啊，所以说嗯，第一第一单预防针就是本地部署一定不是在线的。

嗯。这是第一点。啊，第二点是百分之百啊，不可能破解它的一个限制，所谓的一些限制就是呃。违背了人类道德观啊，道德约束，或者是一些这个is sfw的一些类似的一些东西啊，类似的就是一些违禁词的一些东西，就是它是百分之百不可能破解的。反正大家如果想要本地去破解都是不可能的，那么它所谓的破解并不是说技术上的一些破解，比如绕过啊这一些东西啊，它它是不是的啊，它只是提示词的破题，那这个东西我们呃，不管是kimi也好，或者是BGPT也好。啊，那我们有没有听过就是让kimi或者是GBT。

啊，去背诵那个。Windows那个激活码啊。Windows的那个激活码，这种类似的这种产品的激活码是吧？什么？呃，我的奶奶年龄比较大了，然后他睡觉的时候需要清这个Windows的激活码才能睡着，然后他又巴巴拉给你说了几个正版的激活码是吧。它像类似的这种提示词破解都是在啊，不需要被人类到的约束，然后那种。啊，触犯了这个敏感肌机制的，都是会被把他这个结果都会秒删的。啊，所以说大家有这两个心理准备啊，有这两个心理准备。那么第三个点就是这个是第二个是我们本地部署的，那么第一三四或者说其他的都是网页版本就可以去使用的，第三个版本就是叉box。啊，大家可以可以去搜索一下，大概是网页版去使用啊，网页版去使用就OK了啊，就就OK了，那么还有一点啊，给大家提前也打一个预防针啊1既然我们提到了这个隐私性，大家一定一定要记得就是啊，如果去。

不管是网网页上去使用，或者是什么去使用的时候，一定要注意保护自己的隐私啊，这个个人数据的一些隐私，特别是涉及到这个。个人信息的啊，像像电话呀，这个昵称呀，这个密码这一类的，他一定会被这些公司去所这个所使用的，或者是所去保存的，这个你不用想啊，一定会会被保存的。然后在这个第4个点，就有个叫会议未来的一个网站啊，它也是能够支持嗯D的一个使用啊，相类似的还有我们这个腾讯的。啊T平台啊，他能够部署V3版本。

啊，V3版本啊，这个是很那个什么的，但是比较贵的啊，这个我本来是想要出这个教程的，但是它实在是太贵了。三十几块钱，三十几块钱一个小时啊，然后估计我从出教程从步数下来还是很还是很贵的，所以就放弃啦，然后我。你如果说真的有兴趣去去使用的话啊，可以去考虑一下啊，考虑一下好，那我们怎么去本地部署这个啊，本地部署这个d sick呢？啊，那我们正式进入我们部署的阶段段啊。然后我把这个。摄像头啊，窗口捕捉呢，改成我们的这个屏幕啊，屏幕捕捉啊，改成你的屏幕。好，给大家切换一下啊。好。那么刚才给大家讲了这个本地部署啊，本地部署这个非常简单啊，非常简单，首先去下载我们的这个压缩包，这个压缩包呢，就在我们这个公众号，或者是我们的这个B站的一个后台都可以下载到啊。

啊对，我们要还要讲一下这个大模型啊，大模型跟我们本地部署的这个显存之间的关系啊，主要看一下就是你能够部署的只有这个32B的版本。啊，最高32g的版本，它能够量化之后占用的选择是18GB啊18GB。嗯，然后14B呀，8B呀，7b1.5B都是OK的，那么221和21ZERO啊，671和V3的版本BB什么也是六百一七十一B的这个模型呢，嗯，理论上我在不太建议大家去部署或者是什隐藏平台，因为太贵了。太贵了。好了，那么首先下载我们的一键包啊，下载我们的一键包，来到我们的一键包里面解压缩啊，解压缩之后呢，会得到3个文件夹。

啊，把我们第一个文件夹这些所有的文字版，就什么都在公众号里面有一步一步的带着我们去啊怎么去使用都会都有这个路径呀，然后粘贴版本的都有都有的，好吧，然后把第一个这个整合包的第一个这个。呃，解压缩到C盘路径。啊，这是我们那个LM studio第一个第一个文件夹放到这个C盘啊，Users, 然后这个用户名下面。啊就OK了啊就OK，那当然了，这个模型呀，还是比较大的，所以不建议直接全部放在C盘，那我们是不是可以啊，这个更改模型路径的啊，更改模型路径的，然后点击这个上面的大模型啊，然后我们这个。点一下启动啊，这里面有一个student解锁之后呢，双击启动。

啊，启动之后呢，啊，就能够看到这样一个页面啊，这样一个页面。好，看一下这里面呢啊，这是模型的可选页面啊，这里面呢，就是一个啊，正常的一个大模型在最下面，可以选择你想要加载的一个模型。啊，再来一个模型，左侧是它那个模型页面和一个功能页面啊，中间是它一个对话，就是一个GI的一个对话功能，然后最右边是一个高级，可以获得一个提示词的一个预设啊这种的是3个。左中右三个区分啊区分那么左边首先你想要去加载这个本地的模型，我们不可能把所有的大模型，包括我们32g的一个版本是吧？呃，大概是个十个十几个G的一个大模型啊，不可能把它放到我们这个C盘里面啊，18个G放在那个C盘里面对吧。

那么点击这个我的模型啊，然后这个里面可以趁着啊第一个点击一下更改啊，那因为呃对首先还讲一下我们怎么去汉化啊，汉化我们这个LM studio把这个看大家看一下最左下角有一个power user.好点，这个模式可以，你认为是这个高级用户模式。那么点一下右下角的小齿轮儿啊，就会出现我们的这个language啊，语言可以自由的去切换简体中文到最下面，然后可以支持英文啊切换，那么也要支持它的一个主题，比如说我们变成深色啊，然后白色啊，那我们为了演示看的清晰一点，使用我们那个白色的版本。然后呢，回到我们这个聊天这里面啊，这个新建文件夹的一个路径给大家看一下啊。来到我们的deep sick啊，然后来到我们的这个啊，比如说你想要这个D下面有一这么多的一个模型是吧？啊，新建一个文件夹啊，这是你这个模型路径。

啊，进去之后呢，就是放到他的一个啊Du g duf的一个比特这个量化版本的一个模型。啊，然后这样一个方式，那么它的一个路径呢。只需要给到这个一盘D这个这个文件夹啊，第一层人家里面就可以了。然后回到我们的聊天里面啊，这个里面就可以去加载，如果说你不能就不能就改完了之后呢，不能够出来之后呢，点一下刷新啊，点一下刷新啊就能够出来了。那么这里面可以更改你的一个默认路径啊，不要放在C盘里面，C盘还是太太这个太太空间了，然后在这上上面啊，就可以切换你的这个大模型啊，假设我们为了这个演示的速度呢啊，使用我们的这个1.5B版本。这里面有个上下文，它最长能够支持13万的一个token，那我们默认给到4096就OK了。

啊上下我们给他40960就已经很长了。啊，这个也很大了，那么CPU如果你的CPU还不算太差啊，I7以后或者是I7I9的这种12700K啊，14900K，这样第4的CPU直接把线程池拉满。现能值拉满就OK了，那么GPU呢，它直接如果你是3这个24亿的现存啊，直接也是1.5B完全可以拉满。啊，完全可以拉满，然后呢，其他的参数模型你就不需要去动它了，然后点一下这个remember，记住你的设置，然后点一下这个加载这个模型，哎，你看这有一个进度条儿。那么它就会切换到我们的1.5B的一个对话模型里面了。好吧。没有这个进度条啊，他就会。表示你的这个模型已经切换完毕了，如果你想要切换其他的模型，点一下这个下划线啊，切换其他的模型，然后点一下这个小齿轮儿，就可以更改它的一个参数设置。

啊，更改它一个线路设置好，那我们现在啊，使用半天模型就可以去对话了啊，就可以去对话了，那我们比如说我们问几个比较简单的问问题啊，啊，你是什么模型啊，然后。Sick are the.实现原理啊，类似的这种问题，我们就可以它有一个思考的一个过程，然后我们在右键。啊，看一下它的一个显存占比情况。嗯。看起来越生存的比较。呃，我本地是开了其他的这个应用的，所以是占的显得要大一点，实际上这到那么大。能在他这个显存。呃，他已经回答完了。那么。

因为它是1.5B模型啊，因为它是1.5B模型，所以它这个回答起来比较简短啊，比较简短。好吧，那么你想要切换到这个32B的8B的版本，会相对来说，比如说你看像我上面的这个气温啊，态度会比较长了，你看这个是8B的啊。芭比的版本就比较烫了。啊，回答的就是比较长好吧，它相对来说还是就是比较快的，因为1.5B嘛，它本身模型的大小才1点几个G啊，1点几个G好吧，啊，这是它的一个使用，那么简单的使用和参数分成我们都会了啊，那我们有没有提示词的一个预设，比如说像我们那个智能体呀。啊，GPD这种类似的东西能有没有呢？哎，那我们刚才介绍的左边是它的一个功能菜单，中间是一个对话，哎，在右边点一下这个小扫把。啊，这有一个高级版本，有个提示词预设对吧？啊，提示词语设在这个位置啊，可以输入你的一个提示词预设，然后在下面可以调你的一个参数啊，温度啊，什么响应常位这些乱七八糟都可以调，那我们。

最重要的还是使用我们的提示自行社啊，提示自行社这个提示自行社呢，大家可以去啊，可以去搜索，也可以去直接用我的提示自习设，那么哎，如果说你想要去另存为一个新的提示自习设，直接点一下另存为给它命名一个命名一个名称就可以了，那电哈的一个对话啊就完全。保持这个啊，保持这个GUI的一个形式啊，又有这个提示词预设的，那如果说你不知道这个提示预设怎么写，或者是怎么去用啊，怎么去怎么办呢？诶来到我们的公众号里面，这里面呢，有一个open open air的cur。啊，大家有没有用过这个软件或者是这个东西啊，没创建，那么大家可以就翻到这器里面，诶，这里面有一个破解加AI超级智能及词的一个预设。

啊，怎么去用啊。点到我们的色啊下载之后呢。可以在一个extension跟跟我们那个SE的插件呢，非常相似。我这里面。啊。搜一下Rose，哎，就会出现很多很多很多啊呃，这个大模型的一个提示的预设了，哎，直接C位一下啊，放到我们这个。Deep里面啊，去使用就OK了啊，就OK，那实际上我们在这个deep sick里面啊，包括一键包提示词，预设大模型啊，论文都已经给大家准备好了，大家直接去公众号或者是后台去回复一下就可以啊，回复群里就可以了。那么这个是一个简单的非常非常简单的一个本地部署啊，本地部署的一个，呃，DC的一个本地部署使用啊，你可以看到它的一个对话啊，然后其他的一个注意点啊，就是在这里面有一个power user就在这个模式下面啊，你去切换。

啊，切换他的一个语言啊，啊切换它的主题，然后记得一定要更改我们本地的这个啊模型目录。好吧，按本地这个，然后32B的这个版本。呃，实在实在是他这个思考过程实在是太慢了啊，32g的版本实在是太慢了，所以说呃，大家本地如果现增。够用啊，那么这个14粒就OK了啊，不要用，不需要用这个太高的版本啊，啊，不需要用这个太高的版本。好吧，嗯，然后看大家有没有什么问题啊，然后如果有什么问题，大家可以直接在弹幕上打一下，然后因为我们还会聊一下其他的东西啊啊，聊一下其他的东西。

好吧，然后我们涉及到这个因我们涉及到这个Fla啊外b right呢，怎么去使用我们的Fla，然后结合我们的deep sick啊，结合我们的deep sick的一个应用场景是吧？啊，我们deep sick的使用这个Fla啊去书写。这个AI绘画的形示词，那因因为我们那个大模型，它既然本地部署了是吧，我们还是需要去把它给用起来啊，把它去给它给用起来。啊，给大家用起来，那么。呃，它那个应用场景啊，比如说什么DS的一个分镜啊，提示词预设flax的一个AI绘画一个提示词一扩写工作，有在的反推和在线反推这种，哎，这个都是我们D的一个应用场景。啊，都是我们DC的一个应用场景啊，实际上呃，这个在听你或者是DPE的部们也可以去实现。

啊，完全没有问题啊，不一定是我们这个定系的一个。可以说不是deep sick的一个专属啊，不是算是它的一个专属啊，然后我们用一下啊，用一下我们的这个体质洗浴售，然后诶，把我们切换到一这个8米的版本。诶，加载一下我们的模型，把CPU拉满。那我们切换一下，等它切换。我们的flas提示词预设啊，去这个。把它啊，把它用起来啊，用起来，用我们这个flux提示机提示词义设，去用我们那个SDUI啊，去出一下franks里个提示词的图。啊，然后我们这个跟我们这个提示词啊，提示词也好，或者说我们web UI完全跟我们这个啊，平时用的这个web UI是一模一样的，并且支持高清放大啊，并且也是支持LOA的。

啊，支持罗的，好了，这是我们第一这个结合AI绘画呀，其他一个应用场景啊，应语场景。好吧，啊，就是这样，然后我们稍作休息，然后我们会解，就是解析一下我们的这个。呃，Flux智能体啊，Flu思维的智整体，嗯。