00:00
好,大伙儿一起来部署。本地的这个deep大模型。可以怎么做呢?主要有三步,第一步呢是安装奥Lama,那奥Lama呢,它是一款用于运行本地的这个。大模型语言就是LLM的一个工具。第二步呢,是这个,呃,Deep r1模型的一个安装。第三步呢,是这个chat box, 利用这个软件呢,就是把这个界面美化一下,其实第一步和第二步就可以了。好。打开浏览器搜alama下载。然后点Lama。然后点download。啊,如果你是呃Windows的,你就选这个Windows。Download for Windows就可以了,如果你是Mac OS的话,你就选ma Linux Linux选Linux就可以了,我这里是Windows,注意它需要WINDOWS10或者以后。
01:06
我已经把它下载下来了。下下来了,放到放到这里放这里,我双击安装。这个其实挺简单的啊,下一步下一步下一步就可以了。我这儿已经安装好了。如果你安装好了的话,它就是这里出现一个呃,这个图标,然后。哦,是这样的。诶,刚才没有运行吗?再试一下。哦,点这个install。然后呃,下一步,下一步就可以,因为我这儿已经装了。
02:01
所以我就取消了。呃,你究装到一个。嗯,空间比较大的一个地方吧,它因为它可能要需需要一定的硬盘空间。这个安装完以后呢,就是像我刚才说的,就是只出现一个这样的。这样的一个东西就标志安装好了。然后,然后那个怎么运行呢?呃,在这个。Win+R,然后运行里面输入CMD。CMD, 然后这个。第二步呢?就是要下载咱这个。奥拉玛的这个。呃,这个这个这个模型在这选,在这个文件夹搜这个模型,选DC和re。嗯,在这个model这儿搜。这个我们看到这有几个,1.5B7B8B 14B,这是什么意思呢。
03:04
B就是billion参数的意思,那就是。嗯。15亿参数的一个模型,7亿参数8亿参数是吧。那通常来说呢,模型越这个参数越多呢,它这个能力越强,同时它消耗的资源也越多。一般对于这个。呃,8GB机子是吧。咱们就是。1呃,这个。呃,1.5或者是7B就可以了,那我装了一下,我虽然我是16GB的,我装的8的这个,但是非常慢啊。嗯,在哪儿看的,就在这个此电脑这儿点属性。嗯,这里就是你的,呃,本机贷的一个。嗯。内存,然后这个呃,也与你的处理器,与你的这个CPUGPU,你的显卡也有一定关系,有就像我这个就虽然是。
04:01
呃,16GB内存,但是实际上还是非常慢。嗯。然后你怎么下载呢?如像我这个,如果我如果你下载8B的话,你就把这个这复制一下,然后在这个这个CMD这点上右键。运行就可以了,我这个已经下载了啊。你下载好了。那么第一次第一次你运行的时候,它它需要下载,它需要去拉一个这个文件挺大的,你看你看这里面就有很大,比方,比方说1.5,呃,1.5B这个吧,这个就非常大。我点右键了以后,它需要进行一个下载右就进行了2次。那就要进行一个下载,就是时间非常长。完了以后呢,它会有一个success的一个说明。
05:00
然后我还进入我这个8B的这个,因为我下载完了。还是挺慢的。其实到这一步,呃,已经可以了,已经可以用了。然后呢,呃,你可以在这里边输这个输入一些给他这个交互的一些提示词。比方说安全好的,比方说你是。你是谁?说英文吧。不知道为什么,为什么他他就中文输出,呃,输出不了了,刚才还是能可以的。
06:00
比方说我是这个DCR1是吧。如果你想退出的话,呃,CTRLZ就可以了,就退出了。然后我想把它这个界面再美化一遍呢,就是装这个,呃,这叫chat box.这么一个软件。呃,他的这个网址呢,叫。嗯。textboxai.app这么一个网站。这一呢是这个汉语。然后点这个免费下载Windows就可以了。然后把它双击装一下。下一步。点安装。
07:03
这个安装完了,安完了以后呢。直接运行它。哦,这个我是之前安装过了一次了。我安装过了一次,直接就直接就有了,然后就是说你安装完了以后的话,有会有一个设置。这里面要设置这个O拉va的这个API,在这设置一下,然后这个模型的这个地方是呃,选择D。二一。啊,然后这里点保存就可以了,你就可以跟他说话了。这个我这个机子配置不行。还得还还还得半天好。应该说是非常简单的,他这个呃。就是这个这个本地部署是非常简单的,再回顾一下。
08:04
第一个是这个。哦,他还是有点慢,稍等。安装的这个安装咱这个ola玛,就刚才我搜索的。然后第二步呢,从这个奥Lama这个网站里面。搜索deepsick one的模型。然后选择你这个需要的这个模型。撤回一下。在这里搜索deep sick lyy, 然后在这里边选里边你需要哪一个。然后把这个命令复制一下,然后在CMD里边。把它复制粘贴过去。在完成以后呢,就是安装这个chatbox。Chat box.安装完了以后呢,它tboss这它主要是选选择这个。呃,奥拉玛API和这个。
09:00
模型就这2个,这2个选对了就没什么问题了。讲完了。
我来说两句