高性能应用服务 HAI 部署推理服务

1. 接口描述

接口请求域名： hai.tencentcloudapi.com 。

本接口(DeployInferService)用于部署推理服务

默认接口请求频率限制：20次/秒。

推荐使用 API Explorer

点击调试

API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见公共请求参数。

参数名称	必选	类型	描述
Action	是	String	公共参数，本接口取值：DeployInferService。
Version	是	String	公共参数，本接口取值：2023-08-12。
Region	是	String	公共参数，详见产品支持的地域列表。
ServiceMetaData	否	ServiceMetaData	服务元数据信息，如服务名
ComputeInfo	否	ComputeInfo	资源相关信息
DeploymentConfigs.N	否	Array of DeploymentConfig	服务部署信息
HyperParam	否	HyperParam	服务超参数配置
NetworkSetting	否	NetworkSetting	网络设置
SecurityType	否	String	安全类型枚举值： STANDARD：标准推理 CONFIDENTIAL：可信推理示例值：STANDARD

3. 输出参数

参数名称	类型	描述
ServiceId	String	服务ID 示例值：svc-4lgsk0ja
RequestId	String	唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 DeployInferService

输入示例

POST / HTTP/1.1
Host: hai.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: DeployInferService
<公共请求参数>

{
    "ServiceMetaData": {
        "ServiceName": "外租_DeepSeek-R1-Distill-Qwen-7B",
        "ServiceChargeType": "POSTPAID_BY_HOUR"
    },
    "ComputeInfo": {
        "ComputeResources": [
            {
                "BundleType": "24G_B*4",
                "Count": 1
            }
        ],
        "Replicas": 1
    },
    "DeploymentConfigs": [
        {
            "Container": {
                "Image": {
                    "ImageRegistryUrl": "aicompute.tencentcloudcr.com/aibench/sglang:v0.5.3rc0-hml-mooncake-0.3.6",
                    "ImageRegistryUsername": "100038736732",
                    "ImageRegistryPassword": "eyJhbGciOiJSUzI1NiIsImtpZCI6IkxRSFE6RUlWVDpQN0FZOldVR0c6WVFMNDpWSUhLOjZKM1E6M0UzVDpHSUZSOklKSU46TEQ1UDoyT1pKIn0.eyJvd25lclVpbiI6IjEzMDc3NzQwNjciLCJvcGVyYXRvclVpbiI6IjEwMDAzODczNjczMiIsInRva2VuSWQiOiJkNTE1bGRmam43MnBydnZ1ZDZoZyIsImV4cCI6MjA4MTMxNjI3NywibmJmIjoxNzY1OTU2Mjc3LCJpYXQiOjE3NjU5NTYyNzd9.dMFNi5p2iwavBixwWQaUObCq5ifNCbhx8YxC25EPrGjppLG_uoxWEpRYz53fzD04Wouyg_J3fmFsWE7bkG4vnInv0D9M894nyw3Vt7wC3whKa_2R73xXAD54JHFPCtxrJP5BQJN3uoAG_5eb7b-eWc0DqzsUJdHJbEB70-PtHmIITa4mKM7R3SmrI8Ze4KIutuYlpGipShdmcrO0r4gpvITnRvAI9CwPe5t1bdjQKeBp1cMxvXTqXnOV08Hz6l2bx5GnCcLVYrPvYXG9OtIgFsyz5CyCCDw3IHuilgopevklPfYxqBqMSBgwgUA-6AnhdL4qU5MDWp2jHzQ6GFTKxA"
                },
                "Port": "30000",
                "Scripts": [
                    "bash"
                ],
                "Envs": [
                    {
                        "Name": "MODEL_DIRECTORY",
                        "Value": "/hai/model"
                    }
                ],
                "Storages": [
                    {
                        "MountPath": "/hai/model",
                        "COSStorage": {
                            "URI": "cos://hai-model-bj-1319662662/DeepSeek-R1-Distill-Qwen-7B"
                        }
                    }
                ],
                "Probe": {
                    "LivenessProbe": {
                        "HttpGet": {
                            "Path": "/health",
                            "Port": 30000
                        },
                        "InitialDelaySeconds": 300,
                        "PeriodSeconds": 35,
                        "TimeoutSeconds": 35,
                        "SuccessThreshold": 1,
                        "FailureThreshold": 240
                    },
                    "ReadinessProbe": {
                        "HttpGet": {
                            "Path": "/health",
                            "Port": 30000
                        },
                        "InitialDelaySeconds": 600,
                        "PeriodSeconds": 5,
                        "TimeoutSeconds": 10,
                        "SuccessThreshold": 1,
                        "FailureThreshold": 12
                    },
                    "StartupProbe": {
                        "HttpGet": {
                            "Path": "/health",
                            "Port": 30000
                        },
                        "InitialDelaySeconds": 10,
                        "PeriodSeconds": 30,
                        "TimeoutSeconds": 30,
                        "SuccessThreshold": 1,
                        "FailureThreshold": 400
                    }
                }
            },
            "ContainerCount": 1
        }
    ],
    "NetworkSetting": {
        "PublicEndpointEnable": true
    }
}

输出示例

{
    "Response": {
        "ServiceId": "svc-4lgsk0ja",
        "RequestId": "92137f9d-7e5e-4312-9c97-bb1cf7971854"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

Tencent Cloud SDK 3.0 for Python: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Java: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for PHP: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Go: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Node.js: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for .NET: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for C++: CNB, GitHub, Gitee
Tencent Cloud SDK 3.0 for Ruby: CNB, GitHub, Gitee

命令行工具

Tencent Cloud CLI 3.0

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见公共错误码。

错误码	描述
InternalError	内部错误。
InvalidParameterValue.InvalidChargeType	付费方式字段不符合规范
InvalidParameterValue.InvalidSecurityType	非法安全类型
InvalidParameterValue.InvalidSubnetIdIsNone	子网ID不能为空
InvalidParameterValue.InvalidSubnetIdMalformed	子网ID格式错误
InvalidParameterValue.InvalidVpcIdIsNone	VpcId不能为空
InvalidParameterValue.RegionNotSupportPublicCallInfo	该地域不支持公网访问
InvalidParameterValue.ServiceNameTooLong	服务名称过长
ResourceInsufficient.BundleInventoryShortage	指定的算力套餐库存不足

部署推理服务

本页目录：