一个与 OpenAI 兼容的本地 AI 服务器，开发人员可以使用它来构建大型语言模型（LLM）应用。

cortex

Cortex 是一个与 OpenAI 兼容的本地 AI 服务器，开发人员可以使用它来构建大型语言模型（LLM）应用。它附带一个受 Docker 启发的命令行界面和一个 Typescript 客户端库。它可以作为一个独立的服务器使用，也可以作为一个库导入。

Github地址

https://github.com/janhq/cortex

Cortex 目前支持两种推理引擎：

• Llama.cpp

• TensorRT-LLM

在开始安装 Cortex 之前，需要确保已经安装了以下依赖：

• Node.js：需要 18 版或以上的版本来运行安装程序。

• NPM：用于管理包。

• CPU 指令集：可以从 Cortex GitHub Releases 页面下载。

此外，还需要确保你的系统满足以下运行 Cortex 的要求：

• 操作系统：MacOSX 13.6 或更高、Windows 10 或更高、Ubuntu 12.04 或更高。

• 内存（CPU 模式）：8GB 可以运行高达 3B 的模型，16GB 可以运行高达 7B 的模型，32GB 可以运行高达 13B 的模型。

• 显存（GPU 模式）：6GB 可以加载 3B 模型（int4），8GB 可以加载 7B 模型（int4），12GB 可以加载 13B 模型（int4）。

• 磁盘：至少需要 10GB 的空间用于应用和模型的下载。

要安装 Cortex CLI，可以按照以下步骤操作：

1. 全局安装 Cortex NPM 包：npm i -g @janhq/cortex

2. 从 Hugging Face 下载 GGUF 模型：cortex pull llama3

3. 加载模型：cortex models start llama3:7b

4. 开始与模型聊天：cortex chat tell me a joke

要从源代码安装 Cortex，可以按照以下步骤操作：

1. 克隆 Cortex 仓库。

2. 导航到 cortex-js 文件夹。

3. 打开终端并运行以下命令来构建 Cortex 项目：npx nest build

4. 使 command.js 可执行：chmod +x '[path-to]/cortex/cortex-js/dist/src/command.js'

5. 全局链接包：npm link

要卸载 Cortex，可以运行以下命令：npm uninstall -g @janhq/cortex