前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【开源项目推荐】——纯中文本地GPT知识库搭建项目.assets

【开源项目推荐】——纯中文本地GPT知识库搭建项目.assets

作者头像
大数据流动
发布2024-01-17 08:30:54
1.7K0
发布2024-01-17 08:30:54
举报
文章被收录于专栏:实时计算实时计算

大家好,我是独孤风。

又到了本周的开源项目推荐。近一年多的时间,人工智能迎来了大爆发。GPT相关的大模型的发展让很多领域都发生了巨大的变化。 但是虽然GPT的自然语言识别功能异常的强大,但回答给我们的知识内容并不尽如人意。那么,有没有可以在本地部署搭建的AI知识库项目呢? 今天为大家推荐的就是一个纯中文本地GPT知识库搭建项目,虽然刚刚开源不到半年的时间,标星已经达到了8.8K, 让我们一起来看看吧~

FastGPT

今天为大家推荐的开源项目名为FastGPT。

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!虽然开源的大模型已经有很多,但是如果基于这些大模型搭建自己的知识库并不容易,需要非常复杂的实现过程。而FastGPT正是为了解决这个问题而诞生的。简单的说我们可以将自己的资料全都喂给它,创建一个属于自己的知识库。它会对资料进行整理,当你询问它问题的时候,就可以直接调用知识库里的资料进行回答,相当于为自己定制了一个大语言模型。

目前FastGPT支持 pdf、word、txt、md 等常用文件,支持 url 读取、CSV 批量导入。而整个搭建过程都可以在页面进行操作,不需要编码调试,极大地降低了技术门槛。FastGPT基本对齐了全球、国产主流AI,如 OpenAI ,清华GML,可集成到各种平台中。FastGPT的部署非常简单,可以使用Docker快速的进行部署。而如果需要做二次开发,也可以很轻松的搭建环境,该项目主要是TS语言开发,准备好NodeJS相关环境就可以了。而且FastGPT的整个配置过程都是支持中文的,非常方便。FastGPT自开源以来发展迅速,已经有非常多的用户基于其搭建了自己的本地知识库,最新版本为4.6.6,大家赶快用起来吧~

功能演示

请参考大数据流动视频号演示介绍。

安装部署

推荐如下的基本配置。

一、安装 Docker 和 docker-compose
代码语言:javascript
复制
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
二、配置文件

依次执行下面命令,创建 FastGPT 文件并拉取docker-compose.ymlconfig.json,执行完后目录下会有 2 个文件。

代码语言:javascript
复制
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
三、启动

修改docker-compose.yml中的OPENAI_BASE_URLCHAT_API_KEY即可,对应为 API 的地址(别忘记加/v1)和 key。随后启动。

代码语言:javascript
复制
# 在 docker-compose.yml 同级目录下执行
docker-compose pull
docker-compose up -d
四、访问 FastGPT

目前可以通过 ip:3000 直接访问(注意防火墙)。登录用户名为 root,密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW

使用步骤

首先我们需要创建一个知识库。

知识库创建完之后我们需要上传一点内容。

上传内容这里有四种模式:

  • 手动输入:手动输入问答对,是最精准的数据
  • QA 拆分:选择文本文件,让AI自动生成问答对
  • 直接分段:选择文本文件,直接将其按分段进行处理
  • CSV 导入:批量导入问答对

这里,我们选择 QA 拆分,让 AI 自动生成问答,若问答质量不高,可以后期手动修改。

点击上传后我们需要等待数据处理完成,等到我们上传的文件状态为可用。

点击「应用」按钮来新建一个应用,这里有四个模板,我们选择「知识库 + 对话引导」。

应用创建后来再应用详情页找到「知识库」模块,把我们刚刚创建的知识库添加进去。

添加完知识库后记得点击「保存并预览」,这样我们的应用就和知识库关联起来了。

然后我们就可以愉快的开始聊天啦。

赶紧用起来吧!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-01-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • FastGPT
  • 功能演示
  • 安装部署
  • 使用步骤
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档