模型路由实例是模型路由能力的承载单元,通过创建模型路由实例,用户可统一管理模型接入、流量分发、限流控制、网络访问等策略。本文介绍如何创建模型路由实例。
实例类型说明
模型路由实例包括以下两种类型:共享型、企业型。
共享型适用于开发调试、功能验证等轻量场景,无需复杂网络与安全配置,开箱即用。
企业型面向生产级业务,提供证书配置、VPC 选择能力,满足企业级稳定性与合规要求。
下表展示了共享型和企业型模型路由实例的功能对比。
对比项目 | 共享型 | 企业型 |
公网访问 | 支持 | 支持 |
内网访问(VPC) | 不支持 | 创建的企业型内网实例,系统会从您的 VPC 中获取一个内网 VIP 进行关联。 |
HTTPS | 支持。固定 HTTPS,不支持用户配置。 | 支持。出于安全性考虑,企业型公网模型路由实例仅支持通过 HTTPS 进行访问。 |
证书配置 | 不支持 |
前提条件
操作步骤
1. 登录 CLB 模型路由控制台。
2. 在左侧导航栏中,单击实例管理进入实例列表页。
3. 在实例列表页中,单击新建,参数说明如下。
参数 | 说明 |
实例类型 | 可选共享型、企业型。共享型实例适用于开发测试与功能验证环节;企业型实例适用于生产环境,保障业务安全可控。 |
网络类型 | 仅企业型实例支持,可选公网、内网。 |
监听协议 | 网络类型选择内网,监听协议可选 HTTP(80)、HTTPS(443)。网络类型选择公网,监听协议仅可选 HTTPS(443)。 |
证书 | |
所属网络 | 企业型实例需要选择所属网络。 |
实例名称 | 最多支持 255 个字符。 |
标签 | |
限制类型 | 仅企业型实例支持,可选速率限制、积分预算。若限制类型为积分预算则需选择具体的积分预算模板。 |
TPM | 每分钟允许处理的最大 Token 数(Tokens Per Minute),单位:千/分钟。默认值 10 千/分钟,共享型实例 TPM 取值范围 1-10 千/分钟,企业型实例 TPM 取值范围 1-100000 千/分钟。如需调整,请提交 工单申请。 仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。 |
RPM | 每分钟允许的最大请求次数(Requests Per Minute),单位:次/分钟。默认值 10 次/分钟,共享型实例 RPM 取值范围 1-10 次/分钟,企业型实例 RPM 取值范围 1-10000 次/分钟。如需调整,请提交 工单申请。 仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。 |
4. 完成以上参数配置后,单击确定创建实例。在实例列表中,即可查看您创建的实例。