Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >简洁优雅知识库 FastGPT 快速部署

简洁优雅知识库 FastGPT 快速部署

作者头像
陆道峰
发布于 2024-07-25 08:16:08
发布于 2024-07-25 08:16:08
1.3K02
代码可运行
举报
运行总次数:2
代码可运行

简介

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过可视化进行工作流编排,从而实现复杂的问答场景!

它界面简洁美观,功能完备强大。本文将介绍如何基于 Docker 快速部署 FastGPT,该方案非常适合个人或者小型团队。

系统要求

本方案已经在 Linux 上验证通过,笔者也建议选择 Linux 作为运行 FastGPT 的操作系统。

Intel 芯片的 MacOS 则没问题,可以正常运行 FastGPT docker 容器

Apple 芯片的 MacOS 则不能正常运行 FastGPT docker 容器,因为部分 docker 镜像暂时不支持 Apple 芯片。

Windows 系统未验证,不过根据一些用户反馈,是能正确运行的,就是需要一定的动手和 Debug 能力。

硬件配置

因为 FastGPT 知识库功能需要上传的文档进行向量化并存储到向量数据库中,所以对 CPU、内存和存储有一定要求。

数据量

最低配置

推荐配置

开发测试用

2c2g

2c4g

100w 组向量

4c8g 50GB

4c16g 50GB

500w 组向量

8c32g 200GB

16c64g 200GB

依赖软件

  • Docker
  • Git
  • Ollama(可选)

Linux 下安装 docker 可参考下面的命令,或者 docker 官网安装文档[1]

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效,自行百度~

FastGPT 安装

架构图如下:

Docker 运行 FastGPT 参考了 FastGPT 官方文档[2],但是由于 docker-compose.yaml 文件中的配置经常变导致一些组件不兼容部署失败,所以笔者专门新建一个仓库 fastgpt-deploy[3],把验证通过的 compose 文件传上去,确保成功部署。

git 克隆仓库

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/dockerq/fastgpt-deploy.git

下载 docker 镜像。由于网络原因这步可能耗时较长或者失败。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd fastgpt-deploy
docker compose pull

运行 fastgpt 服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker compose up -d

更改 FastGPT 配置

参考 如何自定义配置文件?[4]。

每次变更配置都要重新运行 FastGPT 容器。

变更配置文件 config.json 中的配置

删除 fastgpt 容器

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker compose down fastgpt

重新运行 fastgpt 容器

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker compose up -d fastgpt

ollama 地址(可选)

如果你使用 Ollama 运行开源大模型,这部分要注意下,因为 FastGPT 都是运行在 Docker 容器中的,所以在 FastGPT/OneAPI 中配置 Ollama 地址时,要写对:

  1. 如果在 Linux 系统运行,地址默认填 http://172.17.0.1:11434
  2. 如果在 MacOS 系统运行,地址默认填 http://host.docker.internal:11434

参考资料

[1]

docker 官网安装文档: https://docs.docker.com/engine/install/

[2]

FastGPT 官方文档: https://doc.fastgpt.in/docs/development/docker/#%E5%BC%80%E5%A7%8B%E9%83%A8%E7%BD%B2

[3]

fastgpt-deploy: https://github.com/dockerq/fastgpt-deploy

[4]

如何自定义配置文件?: https://doc.fastgpt.in/docs/development/docker/#%e5%a6%82%e4%bd%95%e8%87%aa%e5%ae%9a%e4%b9%89%e9%85%8d%e7%bd%ae%e6%96%87%e4%bb%b6

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-07-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习与系统 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
部署Docker&使用Docker在OpenEuler服务器配置RAGFlow
docker下载网站:https://download.docker.com/linux/static/stable/
happywei
2025/05/15
6660
基于 Deepseek LLM 本地知识库搭建开源方案(AnythingLLM、Cherry、Ragflow、Dify)认知
LLM 本身只是一些 神经网络参数, 就拿 DeepSeek-R1 来讲,模型本身存储了 权重矩阵,以及 混合专家(MoE)架构, 实际运行起来需要行业级别的服务器配置, 消费级别的个人电脑不能直接运行,实际还涉及到硬件适配,需手动配置 CUDA/PyTorch 环境,编写分布式推理代码,处理量化与内存溢出问题
山河已无恙
2025/02/25
2.3K0
基于 Deepseek LLM 本地知识库搭建开源方案(AnythingLLM、Cherry、Ragflow、Dify)认知
智能问答再升级:快速部署FastGPT大语言模型的知识库系统
3.1 选择服务器环境,这里我选择Linux系统的centos环境,然后再自己安装宝塔面板,大家可以自行先安装一下。
快乐的小白
2024/03/01
4.7K1
智能问答再升级:快速部署FastGPT大语言模型的知识库系统
大模型llm:Ollama部署llama3学习入门llm
Llama 3 是一个自回归语言模型(an auto-regressive language),它使用优化的 transformer 架构。调整后的版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF),以符合人类对有用性和安全性的偏好。
黄规速
2024/05/24
6.1K0
大模型llm:Ollama部署llama3学习入门llm
本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”
DeepSeek 最近实在太火爆了,导致官网对话访问经常提示“服务器繁忙,请稍后再试”。 如下图所示:
巫山老妖
2025/06/16
5380
本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。,这是 Ollama 的官网地址:https://ollama.com/
汀丶人工智能
2024/08/17
1.7K0
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
Dify,一款引领未来的开源大语言模型(LLM)应用开发平台,革新性地融合了后端即服务(Backend as a Service,BaaS)与LLMOps的精髓,为开发者铺设了一条从创意原型到高效生产的快车道。其设计旨在打破技术壁垒,让非技术背景的用户也能轻松参与至AI应用的构思与数据运营之中,共同塑造智能未来。
汀丶人工智能
2024/08/17
3.3K0
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
MaxKB ——一款基于 LLM 大语言模型的知识库问答系统
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base,旨在成为企业的最强大脑。
山行AI
2024/04/30
6.7K0
MaxKB ——一款基于 LLM 大语言模型的知识库问答系统
手把手教你:Windows与Linux下Dify+DeepSeek实现ragflow构建企业知识库
在当今人工智能飞速发展的时代,大语言模型(LLMs)已经成为众多领域的核心技术驱动力。无论是在智能客服、智能写作,还是在数据分析、决策支持等方面,大语言模型都展现出了强大的能力和潜力。然而,随着数据安全和隐私保护意识的不断提高,越来越多的企业和开发者开始寻求本地化部署大语言模型的解决方案,以确保数据的安全性和可控性。
范赟鹏
2025/05/30
1.6K0
手把手教你:Windows与Linux下Dify+DeepSeek实现ragflow构建企业知识库
深度解锁AI私有知识库:用 DeepSeek 和 RAGFlow 打造企业级智能平台
时间过的真快呀,又是一周结束了,最近AI和机器人的热度越来越高,能看到相关话题的文章越来越多。我在想,作为一个普通打工仔,我们能做什么,除了不断问AI生成答案,然后问完解决完就扔在脑后?想必不是长久之计,所以将知识沉淀,搭建一个私人知识库,来辅助自己建立脑中的知识库才是最重要的,今天就来给大家介绍如何利用开源项目打造一款私有AI知识库!
希里安
2025/03/31
1.1K0
深度解锁AI私有知识库:用 DeepSeek 和 RAGFlow 打造企业级智能平台
详解几种常见本地大模型个人知识库工具部署、微调及对比选型(2)
这里首先介绍的是大模型侧的工具安装部署实践,至于为什么先提大模型侧后提知识库侧呢?这是因为大模型通常是知识库操作和应用的基础与核心,是提供智能决策的引擎。它们构建了理解和生成文本、图像、语音等多模态反应的基础能力,是整个智能应用的心脏,同时,由于这次主题是本地大模型个人知识库,所以大模型的安装、配置、优化和部署是首要步骤,也是确保知识库工具能够顺畅运行的基石。
zhouzhou的奇妙编程
2024/06/12
4.9K0
Dify入门指南(2):5 分钟部署 Dify:云服务 vs 本地 Docker
无需算法团队,无需 GPU 服务器,只需一台普通电脑或云账号,5 分钟即可搭建企业级 AI 开发平台。本文手把手对比 云服务直装 和 本地 Docker 部署 两种方案,附避坑指南与性能实测!
霍格沃兹-测试开发学社
2025/08/11
3200
FastGPT的安装部署
修改docker-compose.yml中的OPENAI_BASE_URL和CHAT_API_KEY即可,对应为 API 的地址(别忘记加/v1)和 key。
唯一Chat
2024/01/03
1.4K0
容器环境下部署Open-webui、One-api、Ollama、Deepseek
浏览器访问 http://ip:3000 (注意:首次登录不要去注册,直接登录,默认超管账号:root,密码:123456),登录后直接跳转到更新用户信息界面修改后再重新登陆,如下截图:
用户2141488
2025/03/07
8201
媲美GPT4o!教你用智谱GLM-4-Plus在Fastgpt、Dify中构建知识库,并结合o1思维链和工具调用!
前段时间用 智谱GLM-4-Plus 模型结合FatGPT、Dify设置工作流时,我想把之前g1项目的思维链整合进来。
AI进修生
2024/12/02
1.3K0
媲美GPT4o!教你用智谱GLM-4-Plus在Fastgpt、Dify中构建知识库,并结合o1思维链和工具调用!
快速搭建dify和deepseek,让普通人也能轻松训练AI
AI已然成为当今的热门话题。过去,由于私有化部署成本极高,大多数使用者仅停留在简单的问答阶段,极少有人尝试训练大模型。然而,随着DeepSeek R1的问世,其部署成本仅为chatGPT的十分之一,这让许多企业和个人看到了参与的希望。未来,必将有越来越多的垂直领域AI大模型或应用出现,这或许是一个巨大的机遇。那么,普通人要如何参与呢?要如何训练自己的AI呢?本文将介绍一种简单且无需编写代码的方法,帮助您轻松训练AI应用。
SRE运维手记
2025/02/20
5611
快速搭建dify和deepseek,让普通人也能轻松训练AI
3分钟快速构建大语言模型AI知识库
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!
Tinywan
2023/11/27
1.8K1
3分钟快速构建大语言模型AI知识库
SpringAI+Ollama三部曲之一:极速体验
程序员欣宸
2024/05/26
1.8K0
SpringAI+Ollama三部曲之一:极速体验
使用halo动态博客技术,快速搭建文档中心
之前我写了一篇,用gitbook搭建文档中心,gitbook是一款搭建博客的技术,是静态博客技术,不带后台管理系统、不带数据库,要发文章的话,是通过提供markdown文件,渲染成html,通过nginx对外访问。后来也给他们展示过其他静态博客技术如docsify搭建出来的样子,我自己还是蛮喜欢的,比较简洁,但是产品最终还是选择了带后台管理系统的方案-halo。
低级知识传播者
2023/12/04
6970
使用halo动态博客技术,快速搭建文档中心
基于Ollama的DeepSeek R1本地部署全流程指南:从零到推理实战
在人工智能技术快速发展的今天,本地化部署大型语言模型(LLM)已成为开发者与研究人员的重要需求。本文将详细介绍如何通过Ollama框架实现DeepSeek R1模型的本地部署,涵盖从硬件选型到推理实战的全流程,并提供针对不同场景的优化方案。
Towserliu
2025/02/06
11.7K0
基于Ollama的DeepSeek R1本地部署全流程指南:从零到推理实战
推荐阅读
部署Docker&使用Docker在OpenEuler服务器配置RAGFlow
6660
基于 Deepseek LLM 本地知识库搭建开源方案(AnythingLLM、Cherry、Ragflow、Dify)认知
2.3K0
智能问答再升级:快速部署FastGPT大语言模型的知识库系统
4.7K1
大模型llm:Ollama部署llama3学习入门llm
6.1K0
本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”
5380
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
1.7K0
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
3.3K0
MaxKB ——一款基于 LLM 大语言模型的知识库问答系统
6.7K0
手把手教你:Windows与Linux下Dify+DeepSeek实现ragflow构建企业知识库
1.6K0
深度解锁AI私有知识库:用 DeepSeek 和 RAGFlow 打造企业级智能平台
1.1K0
详解几种常见本地大模型个人知识库工具部署、微调及对比选型(2)
4.9K0
Dify入门指南(2):5 分钟部署 Dify:云服务 vs 本地 Docker
3200
FastGPT的安装部署
1.4K0
容器环境下部署Open-webui、One-api、Ollama、Deepseek
8201
媲美GPT4o!教你用智谱GLM-4-Plus在Fastgpt、Dify中构建知识库,并结合o1思维链和工具调用!
1.3K0
快速搭建dify和deepseek,让普通人也能轻松训练AI
5611
3分钟快速构建大语言模型AI知识库
1.8K1
SpringAI+Ollama三部曲之一:极速体验
1.8K0
使用halo动态博客技术,快速搭建文档中心
6970
基于Ollama的DeepSeek R1本地部署全流程指南:从零到推理实战
11.7K0
相关推荐
部署Docker&使用Docker在OpenEuler服务器配置RAGFlow
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档