模型推理部署工具Ollama/vLLM/SGLang对比实战

主流模型推理框架的全面评测

引言

部署大模型，除了选模型本身，推理框架的选择同样关键。不同的框架在推理速度、显存占用、功能特性上差异巨大，选错了不仅浪费硬件资源，还会严重影响用户体验。

我花了三周时间，在统一硬件环境下（2×RTX 4090）对目前最主流的三个推理框架——Ollama、vLLM、SGLang——进行了全面对比测试。这篇文章就是我的评测报告。

一、三款工具简介

Ollama

• 定位：最简单的本地模型运行工具
• 特点：一键安装、模型管理方便、开箱即用
• 适合：个人开发者、本地测试、模型体验

# 使用Ollama
ollama pull qwen2.5:14b
ollama run qwen2.5:14b

vLLM

• 定位：高性能推理引擎
• 特点：PagedAttention、Continuous Batching、速度快
• 适合：生产环境、高并发场景

# 使用vLLM
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-14B-Instruct \
    --tensor-parallel-size 2

SGLang

• 定位：结构化生成语言+推理引擎
• 特点：结构化输出控制、RadixAttention、高效
• 适合：需要结构化输出、复杂推理场景

# 使用SGLang
import sglang as sgl

@sgl.function
def hello_world(s):
    s += "Hello, "
    s += sgl.gen("name", max_tokens=10)

二、评测环境与方法

硬件环境

• GPU：2× NVIDIA RTX 4090 24GB
• CPU：Intel Xeon 金牌 5418Y
• 内存：128GB DDR5
• 存储：2TB SSD

评测模型

• Qwen2.5-7B-Instruct (7B参数)
• Qwen2.5-14B-Instruct (14B参数)
• Llama-3.1-8B-Instruct (8B参数)

评测指标

• 首Token延迟：从请求发出到生成第一个token的时间
• 吞吐量：每秒生成的token数（tokens/s）
• 并发支持：不同并发数下的表现
• 显存占用：加载和推理时的显存消耗
• 特性支持：量化的兼容性、工具调用支持等

三、评测结果

1. 首Token延迟

vLLM在首Token延迟上表现最优，比Ollama快了约30%。

2. 吞吐量（单并发）

vLLM吞吐量最高，SGLang紧随其后，Ollama最慢。

3. 并发能力（tokens/s，14B模型）

vLLM的并发处理能力遥遥领先，得益于PagedAttention和Continuous Batching技术。Ollama在低并发下尚可，高并发时表现较差。

4. 显存占用

三者显存占用差异不大，vLLM稍有优势。

5. 特性对比

四、场景化推荐

场景1：个人学习/模型体验

推荐：Ollama

• 理由：安装最简单，模型管理方便
• 一句话：如果你想在笔记本上试试各种模型，Ollama是不二之选

场景2：企业内部AI助手（< 10并发）

推荐：vLLM

• 理由：首Token延迟低，吞吐量高，API兼容性好
• 一句话：绝大多数生产场景的首选

场景3：高并发生产服务（> 50并发）

推荐：vLLM

• 理由：并发能力最强，生态最完善
• 一句话：从OpenAI到各大厂商都在用的方案

场景4：需要结构化输出（JSON Schema约束等）

推荐：SGLang

• 理由：结构化输出能力最强，支持约束解码
• 一句话：如果你需要精确控制输出格式，SGLang最合适

场景5：快速原型验证

推荐：Ollama → vLLM 组合

• 理由：用Ollama快速测试模型效果，正式上线切到vLLM
• 一句话：先用Ollama快速迭代，再切vLLM上生产

五、实战经验

从Ollama迁移到vLLM的经验

1. 模型格式问题：Ollama用GGUF格式，vLLM用原生HuggingFace格式。建议直接下载原生模型，避免格式转换的麻烦。
2. API差异处理：两者都兼容OpenAI API，迁移成本很低，通常只改下base_url。
3. 参数调优：vLLM的gpu_memory_utilization和max_model_len是核心参数，需要根据实际情况调整。
4. 启动预热：vLLM首次启动需要加载模型，预热时间较长，可以设置健康检查。

性能调优建议

vLLM调优三板斧：

python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-14B-Instruct \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.9 \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 256 \
    --enable-chunked-prefill

• gpu-memory-utilization：显存利用率，一般设0.85~0.95
• max-num-batched-tokens：批处理的最大token数，影响吞吐
• max-num-seqs：最大并发序列数
• enable-chunked-prefill：分块预填充，降低首Token延迟

六、避坑指南

1. 不要只用Ollama跑生产 —— 生产环境高并发场景，Ollama没有Continuous Batching，吞吐量上不去
2. vLLM的版本升级要谨慎——大版本升级后模型缓存需要重建，务必先在测试环境验证
3. SGLang的学习成本——结构化生成语法学习曲线较陡，小团队要有心理准备
4. 不要忽略预热——大规模部署前一定要做压测和预热，让模型达到稳定状态
5. 监控必须有——无论是哪个框架，都要做好GPU使用率和请求延迟的监控

总结

对我来说，vLLM是目前最均衡、最成熟的生产级推理框架。但如果你的场景对结构化输出有严格要求，SGLang值得深入研究。

你正在用哪个推理框架？有什么心得体会？欢迎在评论区聊聊！