本教程介绍了如何快速开始使用 CLB 模型路由。
前提条件
操作步骤
步骤1：创建模型路由实例
1. 登录 CLB 模型路由控制台。
2. 在左侧导航栏中，单击入口管理。
3. 在实例列表页中，单击新建，参数说明如下。
参数 | 说明 |
实例类型 | 可选共享型、企业型。共享型实例适用于开发测试与功能验证环节；企业型实例适用于生产环境，保障业务安全可控。 |
网络类型 | 仅企业型实例支持，可选公网、内网。 |
监听协议 | 网络类型选择内网，监听协议可选 HTTP（80）、HTTPS（443）。网络类型选择公网，监听协议仅可选 HTTPS（443）。 |
证书 | 共享型实例本身自携带证书，仅企业型实例需要绑定证书。 |
所属网络 | 企业型实例需要选择所属网络。 |
实例名称 | 最多支持 255 个字符。 |
标签 | |
TPM | 每分钟允许处理的最大 Token 数（Tokens Per Minute），单位：千/分钟。 |
RPM | 每分钟允许的最大请求次数（Requests Per Minute），单位：次/分钟。 |
4. 完成以上参数配置后，单击确定创建实例。
5. 在实例列表中，即可查看您创建的实例。
步骤2：生成 API Key
1. 在左侧导航栏中，单击入口管理。单击您创建的实例，进入实例管理页面，切换至 API Key 页签。
2. 单击新建 Key，参数说明如下。
参数 | 说明 |
Key 名称 | 最多支持 255 个字符。 |
标签 | |
限制类型 | 可选择 API Key 或积分预算。 |
积分预算 | 若限制类型为积分预算则需要填写具体的积分预算内容。 |
TPM | 若限制类型为 API Key 则需要填写 TPM。每分钟允许处理的最大 Token 数（Tokens Per Minute），单位：千/分钟。 |
RPM | 若限制类型为 API Key 则需要填写 RPM。每分钟允许的最大请求次数（Requests Per Minute），单位：次/分钟。 |
3. 完成以上参数配置后，单击确定完成新建 Key。请妥善保存以下 API Key，关闭弹窗后将无法再次查看完整 Key。
步骤3： 新增 BYOK 模型
1. 在左侧导航栏单击 BYOK 进入 BYOK 列表页。
2. 单击新建创建 BYOK，参数说明如下。
参数 | 说明 |
模型来源 | 可选原厂模型、第三方代理、自建模型。原厂模型：自带官方 API Key，平台自动补全 APIBase 并提供公网加速，最易接入。第三方代理：接入 OpenRouter 等代理商 API 自定义 APIBase，统一管理 Key，灵活切换模型厂商。自建模型：通过 VPC 内网直连企业自建 GPU 集群，支持云联网/专线打通 IDC 机房，数据零出网。 |
所属厂商 | |
API 地址 | 模型来源选择第三方代理、自建模型时需要填写 API 地址。API 地址仅支持 VIP，不支持域名。 |
域名 | 模型来源选择自建模型时需要填写域名。域名为往上游模型发送请求时携带的 http header。 |
选择模型 | 支持手动输入自定义模型名称，最多选择 20个。 |
所属网络 | 模型来源选择自建模型时需要填写所属网络。 |
API Key | 需要填写您在上游大模型上使用的 API Key |
实例名称 | 最多支持255个字符。 |
标签 |
3. 完成以上参数配置后，单击确定完成新建 BYOK。
步骤4：关联模型
1. 在左侧导航栏中，单击入口管理。
2. 单击您创建的实例，进入实例管理页面，切换至模型路由页签。
3. 在关联模型列表右侧点击批量关联，并选择关联模型，确认后进行关联。
4. 配置路由策略。路由策略分为模型间策略和模型内策略，具体介绍如下：
模型间策略：当请求未指定具体模型时，系统将根据当前实时状态或语义复杂度，智能选择最合适的模型进行处理。模型间策略分为简单随机路由、最低系数路由、语义复杂度路由（暂未开放）。
简单随机路由：在可用模型中随机选择。
最低系数路由：优先分发到积分较低的模型。
语义复杂度路由（暂未开放）：开放后将支持按语义复杂度分级，每级可选多个模型并复用调度策略。
模型内策略：当模型确定后，系统将根据实时性能指标，从该模型下不同的服务所属厂商中，动态选择最优的访问节点。模型内策略分为简单随机路由、最低繁忙路由、最低延迟路由、用量均衡路由。
简单随机路由：在可用模型中随机选择。
最低繁忙路由：将请求分配给当前最空闲的模型。
最低延迟路由：自动选择当前延迟最低的模型。
用量均衡路由：按用量均衡分配请求到各模型。
5. 配置 Fallback 策略，当关联模型路由中的模型服务失败时会使用 Fallback 中的模型。在 Fallback 策略列表右侧点击编辑。选择对应模型并点击确定。
步骤5：调用模型路由 API
在左侧导航栏中，单击入口管理。单击您创建的实例，进入实例管理页面，您可以根据调用示例中的举例并使用 OpenAI 请求方式编写请求即可访问各种配置的模型。
后续操作
在左侧导航栏中，单击入口管理。单击您创建的实例，进入实例管理页面，切换至用量详情页签。关注资源消耗，随时监控模型网关的使用情况（比如 token 和模型资源包使用情况）,避免额度不足造成调用失败。
