Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >使用Ollama和Open WebUI管理本地开源大模型的完整指南

使用Ollama和Open WebUI管理本地开源大模型的完整指南

作者头像
神秘泣男子
发布于 2024-06-03 10:36:54
发布于 2024-06-03 10:36:54
24.7K04
代码可运行
举报
文章被收录于专栏:运维知识运维知识
运行总次数:4
代码可运行

目录

✨️Open-WebUI介绍

优点

💥部署教程

1.打开官网地址

2.安装Docker

3.Open WebUI下载

👁️‍🗨️功能介绍

1.AI编程

2.聊天历史

3.自定义Web的界面

✨️Open-WebUI介绍

Open WebUI 是一种基于 Web 的用户界面,用于管理和操作各种本地和云端的人工智能模型。它提供了一个直观的图形化界面,使用户可以方便地加载、配置、运行和监控各种 AI 模型,而无需编写代码或使用命令行界面。

优点

Open-WebUI 是一款功能强大且易于使用的 Web 界面,可让您轻松与大型语言模型 (LLM) 进行交互。它具有以下优点:

用户界面

直观且响应式,可在任何设备上提供卓越的体验。

支持多种主题和自定义选项,以满足您的个人喜好。

性能

快速响应和流畅的性能,即使在处理复杂任务时也是如此。

支持多模型和多模态交互,可实现更强大的功能。

功能

  • 全面的 Markdown 和 LaTeX 支持,可轻松格式化和共享文本。
  • 本地 RAG 集成,可通过文档检索增强 LLM 功能。
  • Web 浏览功能,可直接从聊天中访问和交互网站。
  • 提示预设,可快速启动常见对话。
  • RLHF 注释,可通过提供反馈来帮助改进 LLM。
  • 对话标记,可轻松组织和查找对话。
  • 模型管理功能,可轻松添加、删除和更新模型。
  • 语音输入和文本转语音,可实现自然语言交互。
  • 高级参数微调,可根据您的需要定制 LLM 行为。
  • 图像生成集成,可创建令人惊叹的视觉内容。

API

支持 OpenAI API 和其他兼容 API,可扩展 LLM 功能。

提供 API 密钥生成和外部 Ollama 服务器连接等高级功能。

安全性

基于角色的访问控制 (RBAC),可确保仅授权用户才能访问敏感信息。

模型白名单和受信任的电子邮件身份验证可增强安全性。

后端反向代理支持可保护您的 Ollama 实例。

其他

支持多种语言,可满足全球用户的需求。

定期更新和新功能,确保您始终拥有最佳体验。

💥部署教程

1.打开官网地址

打开,开源项目Open-WebUI地址放在下方

点击!

https://github.com/open-webui/open-webui

点进去之后里边也是有相应的功能介绍,以及不同环境下的安装(具体看文档介绍)

2.安装Docker

自行去官网安装,安装教程也是十分的简单

3.Open WebUI下载

安装完成之后重启电脑,打开Docker

复制这条命令( Ollama 在您的计算机上使用以下命令)

不同的条件下,有不同的命令,详细见开源地址所述

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参数详解

  • docker run: 启动一个新的 Docker 容器
  • -d: 以守护进程模式运行容器,容器将在后台运行。
  • -p 3000:8080: 将本地机器的端口 3000 映射到容器内的端口 8080。这意味着你可以通过访问 http://localhost:3000 来访问运行在容器内的服务。
  • --add-host=host.docker.internal:host-gateway: 将主机名 host.docker.internal 映射到 Docker 网关。这对于在容器内访问主机服务很有用。
  • -v open-webui:/app/backend/data: 将本地的 open-webui 卷映射到容器内的 /app/backend/data 目录。这用于持久化数据,确保即使容器停止或重新启动,数据也不会丢失。
  • --name open-webui: 为容器指定一个名称 open-webui,以便于管理和识别。
  • --restart always: 设置容器的重启策略为 always,这意味着容器如果停止(例如由于崩溃或系统重启),Docker 会自动重启它。
  • ghcr.io/open-webui/open-webui:main: 使用来自 GitHub 容器注册表(GitHub Container Registry)的 open-webui 镜像,并指定使用 main 标签的版本。

复制完成之后打开我们的cmd命令行

复制copy的命令一键运行即可

等待下载完成即可

安装完成之后访问本地的3000端口

也可以点击自己的Docker,点击访问即可

首次登录需要创建用户

注册一个用户

成功的登录到UI界面

成功的进入之后,我们选择相应的模型,因为我本地下载过8B的模型,所以它自动会识别的。

选择好模型之后,我们来对他进行提问

可以看出类似于ChatGPT的聊天框十分的便捷

但是在访问的时候占用的是本地的内存和CPU,大家可以明显的看出 CPU飙升(我个人的笔记本性能没有那么好,并且是集成显卡)。

回答的速度是根据自己电脑的性能挂钩,并且选择的模型,也可以选择自己适合的模型

可以看出回答的也是十分的详细

👁️‍🗨️功能介绍

1.AI编程

测试以下编程能力

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
问题:

用shell脚本编写一个ping通网段所有主机 要求如果可以访问返回YES,否则就NO

它的回答:

下面是一个 shell 脚本,用于检查指定网络范围内的所有主机是否可访问,并相应地返回“YES”或“NO”:ping

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/bin/bash

# Set the network range (e.g. 192.168.1.0/24)
NETWORK_RANGE="192.168.1.0/24"

# Set the number of hosts to ping (e.g. 254 for a /24 subnet)
NUM_HOSTS=$(ipcalc -n $NETWORK_RANGE | awk '{print $2}' | grep -oE '[0-9]+$')

# Initialize the result
RESULT="NO"

# Ping each host in the network range
for i in $(seq 1 $NUM_HOSTS); do
  HOST=$NETWORK_RANGE".$i
  if ping -c 1 -W 1 $HOST &> /dev/null; then
    RESULT="YES"
    break
  fi
done

echo "$RESULT"

让我解释一下脚本的工作原理:

  1. 我们使用(一种计算 IP 地址范围的工具)设置要 ping 的网络范围和主机数量。例如,如果我们要检查子网中的所有主机,我们将设置 和 。ipcalc``192.168.1.0/24``NETWORK_RANGE="192.168.1.0/24"``NUM_HOSTS=2}' | grep -oE '[0-9]+')
  2. 我们将结果初始化为“NO”(假设并非所有主机都可以访问)。
  3. 我们使用循环和命令遍历网络范围内的每个主机,该命令生成从 1 到 的数字序列。对于每个主机,我们通过将网络范围与主机编号(例如,等)连接起来构建完整的IP地址。for``seq``$NUM_HOSTS``192.168.1.1``192.168.1.2
  4. 我们用来检查主机是否可访问。如果是,我们将结果更新为“YES”并打破循环。ping
  5. 最后,我们打印结果。

您可以将此脚本保存到文件(例如 )中,并使用 .然后,您可以通过在终端中执行来运行它。ping_network.sh``chmod +x ping_network.sh``./ping_network.sh

注意:此脚本假定您已安装在系统上。如果没有,您可以使用包管理器安装它(例如,在基于 Ubuntu 的系统上)。此外,如果网络范围较大或主机响应缓慢,则此脚本可能需要一段时间才能运行。您可以修改脚本以使用,或者如果需要加快该过程。ipcalc``apt-get install ipcalc``parallel processing``concurrent ping

可以看的出来回答的也是十分的详细

可以看出回答的十分的仔细,不仅写出了脚本,而且还对于代码进行解释,我仅仅采用的是8B的模型,还有更高的模型。

2.聊天历史

当我们退出网页之后,重新登录,发现聊天记录仍然是在的,十分的便捷

就像官网所说的那样

  • 🔄 再生历史访问:轻松重温和探索您的整个再生历史。
  • 📜 聊天记录:轻松访问和管理您的对话记录。
  • 📬 存档聊天:毫不费力地存储与 LLM 的完整对话以供将来参考,保持整洁整洁的聊天界面,同时允许轻松检索和参考。
3.自定义Web的界面

管理链接更新模型

多的就不在介绍,大家部署完成之后自行实践,设置的项十分的重要。

同时还支持很多功能,自定义模型

上传下载好的模型文件

GGUF 文件模型创建:通过直接从 Web UI 上传 GGUF 文件,轻松创建 Ollama 模型。简化流程,提供从机器上传或从 Hugging Face 下载 GGUF 文件的选项。

同时还支持图像生成集成,OpenAI API集成,外部Ollama服务器链接,多用户管理,等等... 感兴趣的话可以去开源项目的文档去详细的了解,对你十分的有帮助

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-06-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
详细教程!Ollama本地部署新版DeepSeek-R1,如何实现远程访问?
5月末,DeepSeek-R1开源模型迎来0528版本的更新,不仅在数学计算和逻辑推理方面表现出色,还显著降低了幻觉率,减少”已读乱回“的情况。本篇内容将手把手带你使用Ollama+Open WebUI本地部署DeepSeek-R1,并借助贝锐花生壳内网穿透,轻松实现安全远程访问!
贝锐
2025/06/09
5280
本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
本篇文章介绍在window系统下,安装Ollama并且安装gemma(谷歌大模型)、llama2(脸书大模型)、qwen(阿里大模型)等大模型的教程,实现类似免费ChatGPT的web界面
星哥玩云
2024/05/14
6.3K0
本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
通过ollama+open webui可视化运行gemma
ollama是专为在Docker容器中部署LLM而设计的,简化了部署和管理流程,目前它支持的模型如下:
数据仓库晨曦
2024/03/06
8.8K0
通过ollama+open webui可视化运行gemma
使用open-webui+deepseek构建本地AI知识库
在设置 --> 管理员设置 --> 联网搜索 --> 启用,然后下拉选择,这里选择tavily,可以去https://app.tavily.com/注册然后获取api key,最后点击保存就可以了
code4it
2025/02/18
3.5K1
使用open-webui+deepseek构建本地AI知识库
基于Ollama的DeepSeek R1本地部署全流程指南:从零到推理实战
在人工智能技术快速发展的今天,本地化部署大型语言模型(LLM)已成为开发者与研究人员的重要需求。本文将详细介绍如何通过Ollama框架实现DeepSeek R1模型的本地部署,涵盖从硬件选型到推理实战的全流程,并提供针对不同场景的优化方案。
Towserliu
2025/02/06
11K0
基于Ollama的DeepSeek R1本地部署全流程指南:从零到推理实战
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。
屿小夏
2024/04/18
13.5K0
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
容器环境下部署Open-webui、One-api、Ollama、Deepseek
浏览器访问 http://ip:3000 (注意:首次登录不要去注册,直接登录,默认超管账号:root,密码:123456),登录后直接跳转到更新用户信息界面修改后再重新登陆,如下截图:
用户2141488
2025/03/07
5651
DeepSeek-Open WebUI部署
前面部署了vLLM版本以后,访问它比较麻烦。如何才能更好的实现访问呢,这个就是我们今天要讲的Open WebUI,它可以向我们使用官方DeepSeek一样直接在网页进行对话。
运维小路
2025/03/04
5210
DeepSeek-Open WebUI部署
使用Ollama部署deepseek大模型
我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装
小陈运维
2025/02/04
2.2K0
使用Ollama部署deepseek大模型
Ollama 安装与使用指南笔记
在探索大模型的道路上,Ollama 作为一款开源项目为我们提供了很大的便利。下面将详细介绍它的安装与使用,并补充一些常见问题及解决方法。
ceagle
2024/12/30
4.8K0
简单3步部署本地国产大模型DeepSeek大模型
DeepSeek是最近非常火的开源大模型,国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性,受到了众多开发者的关注。
星哥玩云
2025/02/06
5K0
简单3步部署本地国产大模型DeepSeek大模型
使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南
Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。它提供了一套简单的工具和命令,使任何人都可以轻松地启动和使用各种流行的LLM,例如GPT-3、Megatron-Turing NLG和WuDao 2.0。
神秘泣男子
2024/06/06
1.3K0
使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南
使用Ollama部署deepseek大模型
连接到另一台服务器上的Ollama时,请将OLLAMA_BASE_URL更改为服务器的URL:
小陈运维
2025/01/26
2.9K0
新手快速安装部署本地DeepSeek
随着DeepSeek的爆火,身为行业从业人员不得不了解和接受,AI做为一种工作中工具的重要性已经变的不言而喻了,互联网的维度已经在悄悄的变化了,分享一篇本地安装部署DeepSeek的教程。
stark张宇
2025/02/15
5253
本地部署AI大模型DeepSeek
在刚刚过去的春节假期,AI界可一点都不平静,一款来自中国的AI应用 DeepSeek,如同横空出世的黑马,迅速在全球范围内掀起了波澜。先是在美区App Store免费榜中力压ChatGPT,成功登顶,成为无数用户追捧的对象;而后又引发了美国科技股的剧烈震荡,英伟达市值一夜之间蒸发数千亿美元,整个科技板块都因之而颤抖。这一系列令人咋舌的事件,让DeepSeek这个名字,瞬间成为了全球AI领域的焦点。
wangmcn
2025/02/10
3430
本地部署AI大模型DeepSeek
Ollama整合open-webui
Open WebUI is an extensible, feature-rich, and user-friendly self-hosted WebUI designed to operate entirely offline. It supports various LLM runners, including Ollama and OpenAI-compatible APIs. For more information, be sure to check out our Open WebUI Documentation.
leehao
2025/02/11
1700
Ollama整合open-webui
Ubuntu系统下部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
之前在window下安装过 Ollama和OpenWebUI搭建本地的人工智能web项目(可以看我之前写的文章),无奈电脑硬件配置太低,用qwen32b就很卡,卡出PPT了,于是又找了一台机器安装linux系统,在linux系统下测试一下速度能否可以快一些。
星哥玩云
2024/05/18
6.9K0
Ubuntu系统下部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
使用Ollama+OpenWebUI部署和使用Phi-3微软AI大模型完整指南
欢迎来到Phi-3模型的奇妙世界!Phi-3是由微软 AI研究院开发的一系列小型语言模型,它们以小巧的体型、强大的性能和开源的特点,在自然语言处理领域掀起了革命性的浪潮。
神秘泣男子
2024/06/09
1.5K0
使用Ollama+OpenWebUI部署和使用Phi-3微软AI大模型完整指南
macOS 运行 DeepSeek 大模型!看看 Ollama 和 Open WebUI如何配合
2025年1月20日,杭州的一家公司开源推理模型 DeepSeek-R1,一经推出就震撼了世界。
Mintimate
2025/02/17
1.4K1
macOS 运行 DeepSeek 大模型!看看 Ollama 和 Open WebUI如何配合
大模型llm:Ollama部署llama3学习入门llm
Llama 3 是一个自回归语言模型(an auto-regressive language),它使用优化的 transformer 架构。调整后的版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF),以符合人类对有用性和安全性的偏好。
黄规速
2024/05/24
5.9K0
大模型llm:Ollama部署llama3学习入门llm
推荐阅读
相关推荐
详细教程!Ollama本地部署新版DeepSeek-R1,如何实现远程访问?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验