帮你快速理解、总结文档立即下载

配置模型调度管理

最近更新时间:2026-07-08 10:25:17
我的收藏
本文介绍如何关联模型,以及对模型调度策略进行管理。配置完成后,用户请求经由 CLB 模型路由统一接入,平台完成计费、限流与日志记录后,根据您关联的模型,以及所配置的路由策略进行匹配与决策,最终分发至对应的后端模型中。

前提条件

已获得 CLB 模型路由的使用资格。如未获得,请提交 工单申请。建议提前阅读 使用约束支持的模型提供商 了解相关信息。
已创建模型路由实例,详细操作指导请参见 创建模型路由实例
已完成新增 BYOK 模型,详细操作指导请参见 BYOK 模型配置管理
已创建模型路由访问密钥(API Key),详细操作指导请参见 创建模型路由访问密钥

操作指导

步骤1:关联模型

1. 登录 模型路由 控制台,在实例管理页面,单击目标实例 ID,进入目标实例的基本信息页面。
2. 切换至模型调度管理页签,在路由策略示意图中的关联模型节点,单击关联。或者在页面关联模型模块单击批量关联


3. 确认模型名称、启用模态等信息,选择要关联的模型,并确认信息无误后单击确定

4. 关联完成后,可在列表查看已关联模型的模型名称、来源、启用模态、模型连接状态、BYOK 数量等信息,并可以执行重定向模型解关联
5. 已关联模型支持配置重定向。当用户请求中传入已关联的模型 ID 时,可通过重定向将该模型的实际调用模型指定为其他模型或意图路由规则;当 model=auto 或未传模型 ID 时,系统默认按照 L1 模型路由策略指定模型,您也可以通过重定向指定模型或意图路由规则。
6. 如需配置重定向,在目标模型所在行的重定向模型列单击去配置,选择重定向类型以及目标模型后完成配置。

重定向目标支持以下两种类型:
重定向类型
说明
重定向模型
当请求命中当前模型时,系统不再直接调用当前模型,而是调用重定向后指定的模型。
重定向意图路由规则
当请求命中当前模型时,系统不再直接调用当前模型,而是进入指定的意图路由规则,并由意图分类对应的处理模型继续完成请求分发。
7. 如需解除模型关联,在目标模型所在行单击解除关联;如需批量解除关联,可单击批量解除关联。解除关联后,该模型将从当前实例移除,不再作为模型路由策略的可选模型。

步骤2:配置意图路由(推荐)

说明:
若不配置意图路由规则,则跳过该策略。
1. 模型调度管理页签,路由策略示意图中的意图路由节点,单击新建。或者在页面意图路由模块,单击新建规则


2. 新建意图路由规则弹窗,配置业务模板意图路由规则名称意图路由配置描述信息。一条意图路由规则可将请求分发到多个意图分类,每个意图分类可配置各自的处理模型。系统按通用任务分类自动判定用户请求所属的意图分类,无需配置判定规则

字段
说明
业务模板
用于快速生成不同业务场景下的意图路由配置。支持日常助手、内容创作、开发助手、知识问答、数据分析、智能体/Agent 等模板,并支持自定义场景。选择业务模板后,系统会显示对应的意图分类和匹配说明。
意图路由规则名称
意图路由规则名称,可按需输入。
意图路由配置
用于配置不同意图分类对应的处理模型。系统会根据用户请求内容自动匹配意图分类,并调用该意图分类下配置的处理模型。
意图分类
表示用户请求所属的任务类型,系统会根据用户消息自动判断意图分类。
处理模型
命中该意图分类后实际调用的模型。
每个意图分类最多可选择 5 个处理模型;当配置多个处理模型时,系统将依据模型间路由策略进行调度。
默认
默认兜底分类。当语义路由无法将请求匹配到其他意图分类时,使用默认分类下配置的处理模型。
建议为默认分类配置可用模型,避免请求无法处理。
添加通道
单击添加通道,可新增一条意图分类配置,并为该意图分类选择处理模型。
删除
删除当前行的意图分类配置。
描述
可按需输入相关描述,帮助您识别和定位不同的意图路由规则。
3. 单击确定完成配置。
配置完成后,可执行如下操作:
单击详情:查看意图路由规则的配置信息。
单击编辑:对意图路由规则进行配置。
单击删除:删除指定意图路由规则。
单击复制:快速复制当前意图路由的配置。

步骤3:配置模型间路由策略

路由策略示意图中的模型间路由节点,单击切换来配置模型间路由策略。当请求未指定具体模型时,系统将根据当前实时状态(如负载、延迟)或用户意图,智能选择最合适的模型进行处理。

策略
说明
简单随机路由
在可用模型中随机选择。
最低系数路由
优先分发到积分较低的模型。

步骤4:配置模型内路由策略

路由策略示意图中的模型内路由节点,单击切换来配置模型内路由策略。当模型确定后,系统将根据实时性能指标(如可用性、响应速度),从该模型下不同的服务所属厂商(或 API 密钥)中,动态选择最优的访问节点。

策略
说明
简单随机路由
在可用模型中随机选择。
最低繁忙路由
将请求分配给当前最空闲的模型。
最低延迟路由
自动选择当前延迟最低的模型。
用量均衡路由
按用量均衡分配请求到各模型。
最低系数路由
优先分发到积分较低的模型。

步骤5:配置 Fallback 策略

当主模型服务失败时,系统将自动切换至 Fallback 中的模型,保障业务连续性。系统采用两层故障退避机制:
第一层(模型内退避):优先在同一模型下的不同服务供应商(或 API 密钥)之间进行切换尝试。
第二层(模型间退避):若当前模型无可用供应商,则根据您预设的模型优先级,自动切换到备选模型继续提供服务。
1. 在路由策略示意图中 Fallback 节点,单击设置来配置 Fallback 策略。或点击 Fallback 策略区域的编辑按钮和底栏未配置 Fallback 策略时的去设置按钮。


2. 编辑 Fallback 策略弹窗中,选择模型,并单击确定,完成配置。


后续操作

创建完成后,您可以在实例管理页面切换至聊天测试页签,对配置进行验证, 详细操作请参见聊天测试
创建完成后,您可在实例管理页面切换至用量详情页签,关注 Token 消耗和模型资源包使用情况,避免因额度不足导致业务调用失败。