搭建本地大模型之LM Studio

IT小马哥

发布于 2024-12-11 09:31:43

6.4K0

文章被收录于专栏：Java TaleJava Tale

之前分享了 Ollama 这次分享一下另一款本地运行大模型的工具LM Studio

什么是 LM Studio？

LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。

关键功能

桌面应用程序，用于运行本地 LLMs
一个熟悉的聊天界面
搜索和下载功能（通过 Hugging Face 🤗）
一个可以监听类似 OpenAI 端点的本地服务器
本地模型和配置管理系统

系统要求

LM Studio 通常支持 Apple Silicon Macs、x64/ARM64 Windows PC 和 x64 Linux PC。

macOS

芯片：苹果硅（M1/M2/M3/M4）。
macOS 13.4 或更高版本是必需的。
- 对于 MLX 模型，需要 macOS 14.0 或更高版本。
16GB+内存推荐。
您可能仍然可以在 8GB 的 Mac 上使用 LM Studio，但请坚持使用较小型号和适度的上下文大小。
英特尔 Mac 目前不支持。

Windows

LM Studio 支持 x64 和 ARM（Snapdragon X Elite）架构的系统。

CPU：需要支持 AVX2 指令集（针对 x64）
RAM: LLMs可能会消耗大量 RAM。建议至少 16GB 的 RAM。

Linux

LM Studio for Linux 以 AppImage 的形式分发。
Ubuntu 20.04 或更高版本是必需的
仅支持 x64，暂不支持 aarch64
Ubuntu 版本高于 22 的版本测试不佳。
CPU：中央处理器
LM Studio 默认支持 AVX2

如何安装 LM Studio？

LM Studio 适用于 macOS、Windows 和 Linux。

前往下载页面并下载适用于您的操作系统的安装程序。

设置中文

右下角设置

设置模型目录

模型目录最好不要有中文特殊符号,最好是英文字母

下载模型

如果可以访问国外网站

镜像网站下载

https://hf-mirror.com/

下载gguf模型放到前面设置的模型目录里面

模型挑选

模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好

GGUF模型

GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据。这种格式针对模型的快速加载和保存进行了优化，使其在推理方面更加高效。GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。