TI-ONE 训练平台

推理相关

最近更新时间:2025-06-09 17:19:22

我的收藏

在线服务启动后状态异常,怎么解决?

可检查任务的事件和日志,查看具体错误信息,根据提示解决。
常见问题:
1. 资源不足,例如:新建任务的资源超过资源组中单节点最大可用的资源。
2. 服务问题,例如:在线服务启动失败,或服务未监听默认8501端口。
如有疑问,可提供截图,异常事件和日志,提交工单处理。

已经部署的在线服务支持升级吗?

已部署的服务支持更新实例调节信息用于调整扩缩容策略,支持更新实例容器信息用于更新迭代模型,更多操作详情以及注意事项请参见 服务更新

在线服务更新没生效,怎么解决?

TIONE 平台仅支持感知控制台页面的配置变更,例如:镜像版本、启动命令、环境变量等。当您更新 COS、CFS 里的内容时,可参考文档:在线服务运营中服务更新章节内容操作。

在线服务挂载的模型,存在哪个路径?

在线服务的模型默认挂载目录为 /data/model/ 目录。

如何配置在线服务调用的 VPC?

您可以在在线服务列表页,单击服务名称,进入服务详情页,切换至服务调用, 其中高速服务调用中点击新增高速服务调用网段可以配置私有 VPC。

如何配置在线服务的日志告警?

可以在启动服务时选择日志投递到 CLS,在 CLS 产品控制台配置日志分析和告警。

在线服务为什么无法删除?

请检查您的在线服务实例是否停止。可以进入服务详情页,切换至实例列表,停止所有实例后再删除。

在 CVM 机器为什么访问不了在线服务?

在线服务的服务调用支持多种调用方式,参考文档:在线服务调用 。 可通过公网访问地址访问,或者配置 VPC,通过内网地址调用方式访问。

部署大模型在线服务时,如何选择合适的资源大小?

TI-ONE 平台对部分主流大模型都有给出推荐资源大小,您可以在大模型精调页面,选择对应的大模型卡片,在详情页查看推荐的资源。

部署大模型在线服务,调用接口是否支持流式调用?

目前 TI-ONE 平台如下几种方式部署的大模型在线服务,调用接口均支持流调用:
1. 新建在线服务运行环境选择:内置/LLM 类目下的环境。
2. 内置大模型,可以参考官网文档: TI-ONE 内置大模型推理镜像使用说明
3. 基于 TensorRT-LLM 框架部署的在线服务,可参考官网文档: 使用 TensorRT-LLM 与 Triton Inference Server 部署大语言模型最佳实践
4. 自定义运行环境,用户自定义推理框架已支持流式调用。

在线服务配置的 HPA 策略为什么没生效?

常见原因是用户配置的 HPA 策略指标未达到设置的阈值。建议可以调整策略指标阈值,如果使用 TI-ONE 推理框架可参考模型推理文件简介和示例配置内置环境变量启用多进程,充分利用资源。

在线服务主动访问外网的出口 IP 是固定的吗?

目前,按量计费和包年包月场景,在线服务外网出口 IP 都是固定的。

如何查看在线服务实例的出口 IP?

登录控制台,访问在线服务实例列表页面,进入容器,执行命令:curl ifconfig.me。查看服务出口 IP。


如果遇到产品相关问题,您可咨询 在线客服寻求帮助。