> 本教程包括不同显卡配置可以安装哪种大模型的对照表、3步安装本地模型图文教程、本地模型使用进阶示例三大模块

本地部署模型在**内网开发**时，无需外网即可提供代码补全、日志分析等AI能力，避免敏感数据外泄；在**出差或网络不稳**时（如高铁、偏远现场），可离线运行，保障开发不中断。相比云端API，它规避了合规风险与计费成本，只需一台4GB显存的笔记本就能流畅运行Gemma-4B等小模型，实现“随时随地、安全可控”的智能辅助。

> 在一切开始前，一定要先安装[QClaw](https://qclaw.qq.com/)

## 一、Gemma 4 本地安装速查表

### 全系列模型 × 显存对照表

| 显存 (VRAM) | 代表显卡 | Gemma 1 | Gemma 2 | Gemma 3 | Gemma 4 |
|------------|----------|---------|---------|---------|---------|
| **2 GB** | 核显 / MX450 | ✅ 2B (~1.5GB) | ✅ 2B (~1.5GB) | ✅ 1B (~1GB) | ✅ E2B (~1.5GB) |
| **4 GB** | GTX 1650/1660 | ✅ 2B ⚠️ 7B(紧凑) | ✅ 2B 9B(勉强) | ✅ 1B 4B(~3.5GB) | ✅ E2B E4B(~3.5GB) |
| **6 GB** | RTX 2060 | ✅ 2B 7B(~5.5GB) | ✅ 2B 9B(~6.5GB) | ✅ 4B 12B(紧凑) | ✅ E2B E4B |
| **8 GB** | RTX 3060/4060 | ✅ 全部 Q4 | ✅ 9B(~6.5GB) | ✅ 4B 12B(~8GB) | ✅ E4B 26B MoE(紧凑) |
| **12 GB** | RTX 3060 12G | ✅ 全部 FP16 | ✅ 27B(Q4) | ✅ 12B 27B(紧凑) | ✅ 26B MoE 31B(Q4) |
| **16 GB** | RTX 4080 | — | ✅ 27B(Q4) | ✅ 12B 27B(紧凑) | ✅ 26B MoE 31B(Q4) |
| **24 GB** | RTX 3090/4090 | — | ✅ 27B(FP16) | ✅ 27B(FP16) | ✅ 31B(FP16) |

### Gemma 4 输入输出能力对照表

| 模型 | 参数量 | 上下文长度 | 📥 输入能力 | 📤 输出能力 |
| :--- | :--- | :--- | :--- | :--- |
| **E2B** | **23亿** (有效) 51亿 (含嵌入) | 128K | **文本** ✅ **图片/视频** ✅ **音频** ✅ | **文本/代码** ✅ **图片/视频/音频** ❌ |
| **E4B** | **45亿** (有效) 79亿 (含嵌入) | 128K | **文本** ✅ **图片/视频** ✅ **音频** ✅ | **文本/代码** ✅ **图片/视频/音频** ❌ |
| **26B MoE** | **260亿** (总量) **38-40亿** (激活) | 256K | **文本** ✅ **图片/视频** ✅ **音频** ❌ | **文本/代码** ✅ **图片/视频/音频** ❌ |
| **31B** | **310亿** (密集) | 256K | **文本** ✅ **图片/视频** ✅ **音频** ❌ | **文本/代码** ✅ **图片/视频/音频** ❌ |

## 二、让你三步拥有自己的本地模型

### 第一步 了解本地环境可以安装哪些模型
主要是借助QClaw，让它来检查你的电脑状态，推荐你安装的模型，询问话术如下：
> 我的电脑可以安装gemma4本地模型吗？可以安装多大的？

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/cfd67092aa2838862123a40fea43006c.png)


在QCalw推荐完成后，让它自己来安装
> 你来安装

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/68b74b021e9fdc506c19f12cf1f7f6cb.png)


### 第二步 按照教程安装

由于权限等原因，它有时候会给你详细的步骤让你来安装，如上图，推荐直接根据方案二来安装

[LM Studio下载](https://lmstudio.ai/)

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/bbc14a5ae1f2e1da09c65e4778b26ae9.png)


下载完成后LM会默认推荐本机可以使用的最大模型，可以看一下和Qcalw推荐的是不是一致，然后直接下载安装就可以

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/a6862db7b8fa86ba4e5df1a5eeafd548.png)


等待就好~

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/288faf8b4e5b82f5092eef5458e5a313.png)


 ### 第三步 安装成功，开始交流
 
![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/5c678e42c035eb39358298326baf7938.png)

 
 当然你更习惯中文的话可以在修改中设置界面为中文!
 
![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/64d28eb81d65fa61097bfa39a7e3bc2e.png)


## 三、高阶拓展

如果你想让本地的模型能够在其他软件内使用，可以获取它的token，步骤如下：

1、打开服务

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/f7d9f922e2c0d31a64301b481ad72658.png)


2、点击服务设置，Token管理

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/4aa8653b0f9927eb4ea2e788e9392073.png)


新建

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/3c563d162d51960281acfe1d5d547769.png)


输入名称->新建

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/c3aba37e0338ac15e5f62d8e0bbff342.png)


保存好Token，现在你就可以在其他软件内使用你的本地模型了


![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/2ede1c1533c970c76d1d7603ed36f72c.png)


### 本地Token便捷使用指南

你可以寻找别人的开源工具本地安装后配置上述Token使用，当然你也可以直接告诉QClaw让它给你写一个聊天界面，方便你每次开机直接使用

> 构建一个前后端分离的 PWA 应用，前端使用 React + TypeScript + Vite PWA 插件，后端使用 FastAPI + SSE 流式响应，核心功能包括：从本地指定文件读取 Token、支持 Gemma 4 多模型选择、可开关的“思考模式”参数、对话历史记录的增删改查与持久化存储、通过 AbortController 实现对话中断、以及完整的 PWA 可安装与离线缓存能力；模型调用采用 OpenAI 兼容 API 方式对接本地 LM Studio 部署，后端仅作为中转与历史管理，从而实现完全本地化、可控、高可用的模型聊天界面。

我的QClaw开发效果如下，本地安装后每次开机都可以直接打开：

![image.png](https://developer.qcloudimg.com/http-save/yehe-11177336/9b41f4ab3eb37994508867f154f77956.png)

本教程包括不同显卡配置可以安装哪种大模型的对照表、3步安装本地模型图文教程、本地模型使用进阶示例三大模块

手把手带你部署本地模型，让你Token自由（小白专属）

高级软件开发工程师

人工智能

开发工具

客户端

本教程提供显卡配置与大模型适配对照表，3步完成Gemma4本地模型安装，实现内网安全开发与离线AI辅助。涵盖从2GB显存笔记本到24GB高端显卡的完整部署方案，支持代码补全、日志分析等功能，规避云端API合规风险与成本。包含进阶Token配置指南，打造专属本地AI开发环境。

日志分析

敏感数据

TypeScript

2026采购季 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

手把手带你部署本地模型，让你Token自由（小白专属）-腾讯云开发者社区-腾讯云

手把手带你部署本地模型，让你Token自由（小白专属）

手把手带你部署本地模型，让你Token自由（小白专属）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐