SwiftUI-MLX本地大模型开发（五）

介绍

不同的 LLM 在理解能力、生成质量、响应速度、推理能力等方面表现各异。因此在将 LLM 引入到项目之前，首先应该判断该模型是否符合项目的需求。如何快速测试 LLM 的效果成为了最先应该完成的工作，而 llm-tool 就是一个绝佳的测试工具。

llm-tool优势

• 开箱即用：只需克隆并编译项目即可使用。
• 灵活配置：支持传入系统提示、温度、top-p、种子、最大 token 数等参数。
• 适配本地模型：适用于运行在 Apple Silicon 上的 MLX 模型。
• 支持资源监控：可输出内存占用等性能指标，方便优化推理策略。

llm-tool使用步骤

• 克隆项目git clone https://github.com/ml-explore/mlx-swift-examples.git。
• 使用 Xcode 打开mlx-swift-examples项目，选择 llm-tool 进行编译。
• 通过终端命令mlx-run llm-tool eval快速测试。

案例

cd mlx-swift-examples

./mlx-run llm-tool eval \
    --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \
    --system "你是一名出色的iOS开发者。" \
    --prompt "什么是SwiftUI？" \
    --temperature 0.5 \
    --top-p 0.8 \
    --seed 42 \
    --max-tokens 1000 \
    --memory-stats

效果

测试效果