HAI DeepSeek R1 + AnythingLLM实现知识库

一、环境说明

本环境基于高性能应用服务HAI-社区应用-DeepSeek AnythingLLM创建，支持进行知识库部署

AnythingLLM是一款一体化 AI 应用，支持与文档聊天，使用 AI 代理等——完全本地且离线。

二、操作指引

1. 创建实例

首先创建一台高性能应用服务HAI实例，环境选择“社区应用-DeepSeek AnythingLLM”，其余配置按需选择。

2. 配置Ollama连接

创建完成后，点击“算力连接”，选择“AnythingLLM”。进入页面后，点击页面左下角“设置”按钮，进入设置页面。点击左侧导航栏“LLM首选项”进入配置

1. 将“LLM提供商”选择为“Ollama”
2. 将“Ollama Base url”修改为：该台HAI实例的公网ip:6399，如http://11.111.711.110:6399 （此步骤为最关键的一步）
3. 在“Ollama Model”处选择需要使用的模型，如“deepseek-r1:32b”
4. 在“Ollama keep alive”处按需配置保活时长，本最佳实践将其配置为永久。（模型在每次超过保活时长后会被移除，再次使用时需重新载入模型，耗时较久，若不存在频繁切换模型诉求，建议将保活时长尽可能调大）

3. 配置完成后，回到项目页面，点击“upload a document”上传本地文件

4. 上传文件后，选中希望使用的文件，点击“move to workspace”将文件添加至项目。点击“save and embed”按钮，完成配置。

5. 您可直接与模型进行对话，模型会根据对话内容智能调用本地知识库内容。