AI Gateway 是 DataBuddy 中用于统一管理 Buddy Agent 基座大模型的模块，我们会在这里提供平台预置模型，以及开放用户纳管自行采购的第三方大模型 API，并支持用户对大模型进行二次编排后在 Buddy Agent 中进行使用。
除此之外，AI Gateway 还提供支持治理配置、安全护栏、指标监控、限流、鉴权等功能，帮助用户更好的管理大模型资产。
平台预置模型
AI Gateway 提供如下预置模型，可在 Buddy Agent 自由使用。
注意：
AI Gateway 所提供的预置模型会根据市场情况变化，动态调整下线旧模型或者上线新模型，仅影响新建任务时的可选模型，用已下线模型完成的会话记录仍会保留。
模型名称 | 可用地域 |
GLM 5.1 | 国内站：广州、上海、北京 |
GLM 5.3 Flash | 国内站：广州、上海、北京 |
GLM 5.3 | 国内站：广州、上海、北京 |
GLM-5v-Turbo | 国内站：广州、上海、北京 |
DeepSeek v4 Flash | 国内站：广州、上海、北京 |
DeepSeek v4 Pro | 国内站：广州、上海、北京 |
Hy4-preview | 国内站：广州、上海、北京 |
KIMI K3 | 国内站：广州、上海、北京 国际站：曼谷、雅加达、新加坡 |
MiniMax M3 | 国内站：广州、上海、北京 |
接入模型
接入操作
用户可通过在界面上点击“创建服务接入点”下的“通过接入模型”，打开相应弹窗，填写如下信息：
一级字段 | 二级字段 | 是否必填 | 说明 |
模型标识 | 前缀 | 是 | 用于区分模型标识，支持英文、短横线、数字、英文句点字符类型，最多不超过50个字符。 |
| 模型 | 是 | 注意需要与实际的服务调用协议中的模型名称保持一致，支持英文、短线、数字、英文句点、空格字符类型，最多不超过50个字符。 |
调用协议 | - | 是 | 网关按所选协议封装请求/解析响应，无需关心底层供应商;选择对应协议即可对接任意兼容服务。 支持选择：OpenAI 兼容协议、Anthropic 协议、Gemini 协议 |
调用链接 | - | 是 | 请填写供应商提供的完整调用地址。 |
访问密钥 | - | 是 | 请填写接入模型的访问密钥。 |
模型能力参数 | 上下文窗口大小 | 是 | 模型单次可处理的最大上下文长度。 注意，实际生效时将使用这里的设定值与实际模型调用限制中的最小值。 |
| 最大输入 | 是 | 模型单次可输入的最大上下文长度。 注意，实际生效时将使用这里的设定值与实际模型调用限制中的最小值。 |
| 最大输出 | 是 | 模型单次可输出的最大上下文长度。 注意，实际生效时将使用这里的设定值与实际模型调用限制中的最小值。 |
| 是否支持工具 | 是 | 是否支持工具调用/Function Calling。 注意，在 Buddy Agent 调用时将参考这里的参数进行使用。 |
| 是否支持深度思考 | 是 | 是否具备深度思考/推理(Reasoning)能力。 注意，在 Buddy Agent 调用时将参考这里的参数进行使用。 |
能力类型 | - | 是 | 当前仅支持对话生成 Chat |
落盘目标表 | - | 否 | 支持将推理数据落盘至 Catalog 中，支持选择 Catalog、Schema，填入表前缀。填入后将按照指定的 Catalog 对数据进行落盘。 |
COS 存储大文件 | - | 否 | 推理输入输出中的图片 / 视频 / 音频等大文件不直接落盘至 Catalog，开启后转存对象存储（COS），Catalog 表仅保留 COS 引用地址。 |
配额上限 | QPM（万次/分钟） | 否 | 如供应商对该密钥设有速率上限，请如实填写。该模型被多个接入点引用时，各接入点配额之和不应超过此上限：网关将据此做总量保护，超限请求会被降级或拒绝。 |
| TPM（万 tokens/分钟） | 否 | 如供应商对该密钥设有速率上限，请如实填写。该模型被多个接入点引用时，各接入点配额之和不应超过此上限：网关将据此做总量保护，超限请求会被降级或拒绝。 |
接入校验 | - | 是 | 点击后，平台将发送一条探针请求对连通性、鉴权、可用性等进行测试。测试连通性通过后，方可点击「确认接入」保存模型配置。 |
接入后的模型可在 Buddy Agent 中选择使用，并且在模型列表中支持对接入模型进行编辑、权限授予、停用、删除等操作。
查看详情
接入后，用户可点击进行详情查看，其中包括概览、治理配置、监控。
概览
支持查看模型标识、提供方、每分钟请求数（QPM）、每分钟 Token 数（TPM）、创建时间、能力类型、被引用的服务接入点等信息。
治理配置
支持设置推理数据落盘操作。
一级字段 | 二级字段 | 是否必填 | 说明 |
落盘目标表 | - | 否 | 支持将推理数据落盘至 Catalog 中，支持选择 Catalog、Schema，填入表前缀。填入后将按照指定的 Catalog 对数据进行落盘。 |
COS 存储大文件 | - | 否 | 推理输入输出中的图片 / 视频 / 音频等大文件不直接落盘至 Catalog，开启后转存对象存储（COS），Catalog 表仅保留 COS 引用地址。 |
支持设置安全护栏。
一级字段 | 是否必填 | 说明 |
护栏类型 | 是 | 平台预置：PII 脱敏、PII 拦截、不安全内容、越狱 Jailbreak、幻觉检测 自定义 |
名称 | 是 | 护栏名称 |
生效阶段 | 是 | 支持选择输入阶段、输出阶段 |
判定模型 | 是 | 支持选择一个判定模型 |
监控
基于推理数据落盘表聚合，展示请求、延迟、Token 与缓存指标。支持如下指标监控：
指标名称 | 说明 | 查看范围 |
调用次数 | 累计调用次数 | 近1小时、近6小时、近24小时、近7天、近30天 |
调用量 | 累计调用总的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
流式-延迟 | P95的流式调用延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
批式-延迟 | P95的批式调用延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
首字延时 | P95的首字延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
调用成功率 | 成功请求占总请求数的比例 | 近1小时、近6小时、近24小时、近7天、近30天 |
缓存命中 | 总共的缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
读缓存命中 | 直接缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
写缓存命中 | 语义缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
输入 Token | 累计调用总的输入 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
输出 Token | 累计调用总的输出 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
请求重试 | 累计调用总的请求重试次数 | 近1小时、近6小时、近24小时、近7天、近30天 |
编排接入点
支持根据平台预置模型和接入模型进行编排使用。
一级字段 | 二级字段 | 是否必填 | 说明 |
基本信息 | 接入点名称 | 是 | 填入接入点名称 |
| 描述 | 否 | - |
Primary 和 Fallback 模型 | Primary 模型 | 是 | 按流量比例分配，合计需 100%。最多支持选择5个模型，可以支持平台预置模型、接入模型。 |
| Fallback 兜底链路 | 否 | 作为备用模型，当 Primary 组整体失败时，按顺序逐个尝试以下兜底模型。 |
限流配额 | QPM（万次/分钟） | 否 | 如供应商对该密钥设有速率上限，请如实填写。当本接入点引用了带供应商配额上限的第三方模型时，接入点整体限流还会受该模型上限约束——多个接入点共享同一第三方模型时，各自配额之和不应超过供应商上限，建议预留余量避免相互挤占。 |
| TPM（万 tokens/分钟） | 否 | 如供应商对该密钥设有速率上限，请如实填写。当本接入点引用了带供应商配额上限的第三方模型时，接入点整体限流还会受该模型上限约束——多个接入点共享同一第三方模型时，各自配额之和不应超过供应商上限，建议预留余量避免相互挤占。 |
安全防护 Guardrails | 护栏类型 | 是 | 平台预置：PII 脱敏、PII 拦截、不安全内容、越狱 Jailbreak、幻觉检测 自定义 |
| 名称 | 是 | 护栏名称 |
| 生效阶段 | 是 | 支持选择输入阶段、输出阶段 |
| 判定模型 | 是 | 支持选择一个判定模型 |
Catalog 落盘 | 落盘目标表 | 否 | 支持将推理数据落盘至 Catalog 中，支持选择 Catalog、Schema，填入表前缀。填入后将按照指定的 Catalog 对数据进行落盘。 |
| COS 存储大文件 | 否 | 推理输入输出中的图片 / 视频 / 音频等大文件不直接落盘至 Catalog，开启后转存对象存储（COS），Catalog 表仅保留 COS 引用地址。 |
开启护栏命中落盘 | 审计落盘地址 | 否 | 支持将安全护栏拦截的内容落盘至 Catalog 中，支持选择 Catalog、Schema，填入表前缀。填入后将按照指定的 Catalog 对数据进行落盘。 |
| COS 存储大文件 | 否 | 安全护栏拦截的推理输入输出中的图片 / 视频 / 音频等大文件不直接落盘至 Catalog，开启后转存对象存储（COS），Catalog 表仅保留 COS 引用地址。 |
编排后的接入点可在 Buddy Agent 中选择使用，并且在模型列表中支持对接入模型进行编辑、权限授予、停用、删除等操作。
查看详情
接入后，用户可点击进行详情查看，其中包括概览、治理配置、监控。
概览
支持查看创建时间、Primary 和 Fallback 模型等信息。
治理配置
支持设置推理数据落盘操作。
一级字段 | 二级字段 | 是否必填 | 说明 |
落盘目标表 | - | 否 | 支持将推理数据落盘至 Catalog 中，支持选择 Catalog、Schema，填入表前缀。填入后将按照指定的 Catalog 对数据进行落盘。 |
COS 存储大文件 | - | 否 | 推理输入输出中的图片 / 视频 / 音频等大文件不直接落盘至 Catalog，开启后转存对象存储（COS），Catalog 表仅保留 COS 引用地址。 |
支持设置安全护栏。
一级字段 | 是否必填 | 说明 |
护栏类型 | 是 | 平台预置：PII 脱敏、PII 拦截、不安全内容、越狱 Jailbreak、幻觉检测 自定义 |
名称 | 是 | 护栏名称 |
生效阶段 | 是 | 支持选择输入阶段、输出阶段 |
判定模型 | 是 | 支持选择一个判定模型 |
监控
基于推理数据落盘表聚合，展示请求、延迟、Token 与缓存指标。支持如下指标监控：
指标名称 | 说明 | 查看范围 |
调用次数 | 累计调用次数 | 近1小时、近6小时、近24小时、近7天、近30天 |
调用量 | 累计调用总的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
流式-延迟 | P95的流式调用延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
批式-延迟 | P95的批式调用延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
首字延时 | P95的首字延迟 | 近1小时、近6小时、近24小时、近7天、近30天 |
调用成功率 | 成功请求占总请求数的比例 | 近1小时、近6小时、近24小时、近7天、近30天 |
缓存命中 | 总共的缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
读缓存命中 | 直接缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
写缓存命中 | 语义缓存命中的 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
输入 Token | 累计调用总的输入 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
输出 Token | 累计调用总的输出 Token 数 | 近1小时、近6小时、近24小时、近7天、近30天 |
请求重试 | 累计调用总的请求重试次数 | 近1小时、近6小时、近24小时、近7天、近30天 |
补充说明1：如何将 VPC 内部署的大模型接入至 AI Gateway 中使用
当前需要用户和 DataBuddy 平台团队一起来实现。
客户侧操作：
1. 创建 CLB，选择自己的 VPC 和子网。
2. 创建终端节点服务，选择第一步中的 CLB 实例。
3. 将终端节点服务的 ID 给到 DataBuddy 平台团队来进行网络打通。
4. DataBuddy 平台团队打通后反馈客户，即可正常进行服务接入。
补充说明2：合规性说明
国内站模型的服务和数据管理都会在国内运营，国际站模型的服务和数据管理会在新加坡运营。
