启动Spark作业

最近更新时间:2024-11-11 01:28:43

我的收藏

1. 接口描述

接口请求域名: dlc.tencentcloudapi.com 。

启动Spark作业

默认接口请求频率限制:20次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数

参数名称 必选 类型 描述
Action String 公共参数,本接口取值:CreateSparkAppTask。
Version String 公共参数,本接口取值:2021-01-25。
Region String 公共参数,详见产品支持的 地域列表
JobName String spark作业名
示例值:spark-test-app
CmdArgs String spark作业程序入参,以空格分隔;一般用于周期性调用使用
示例值:10

3. 输出参数

参数名称 类型 描述
BatchId String 批Id
示例值:batch-9vsx3lh0
TaskId String 任务Id
示例值:4a7cad6bb86211ec9c616e6f30623d72
RequestId String 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 启动Spark作业

启动Spark作业

输入示例

POST / HTTP/1.1
Host: dlc.tencentcloudapi.com
Content-Type: application/json
X-TC-Action:CreateSparkAppTask
<公共请求参数>

{
    "JobName": "spark-app-test",
    "CmdArgs": "10 test 20"
}

输出示例

{
    "Response": {
        "RequestId": "2ae4707a-9f72-44aa-9fd4-65cb739d6301",
        "BatchId": "batch-9vsx3lh0",
        "TaskId": "4a7cad6bb86211ec9c616e6f30623d72"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码

错误码 描述
FailedOperation 操作失败。
FailedOperation.NoPermissionToUseTheDataEngine 用户没有指定引擎的使用权限
InternalError.InternalSystemException 业务系统异常,请重试或提工单联系我们。
InvalidParameter.ImageEngineTypeNotMatch 指定引擎类型不匹配,当前仅支持: SparkSQL, PrestoSQL, SparkBatch
InvalidParameter.ImageIsPublicNotMatch 指定isPublic不匹配,当前仅支持: 1:公共, 2:私有
InvalidParameter.ImageParameterSubmitMethodNotMatch 指定集群镜像ParameterSubmitMethod不匹配,当前仅支持: User, BackGround
InvalidParameter.ImageParameterTypeNotMatch 指定集群镜像ParameterType不匹配,当前仅支持: 1: session , 2: common, 3: cluster
InvalidParameter.ImageSessionParametersFormatNotJson 指定集群镜像Session参数格式非JSON
InvalidParameter.ImageStateNotMatch 指定state不匹配,当前仅支持: 1:初始化, 2:上线, 3:下线
InvalidParameter.ImageUserRecordsTypeNotMatch 指定集群镜像UserRecords不匹配,当前仅支持: 1: parentVersion, 2: childVersion, 3: pySpark
InvalidParameter.InvalidRoleArn 无效的CAM role arn。
InvalidParameter.InvalidSparkAppParam SparkAppParam无效。
InvalidParameter.InvalidSparkConfigFormat 指定的Spark作业配置格式异常,请参考:spark.network.timeout=120s
InvalidParameter.InvalidTcrSparkImageFormat 指定的TCR Spark镜像格式不匹配,参考样例: my-image/ndf/python/latest
InvalidParameter.InvalidWhiteListKey 获取白名单错误,请重试,或者提交工单联系我们
InvalidParameter.NumberOfSQLExceedsTheLimit 提交的SQL数量范围限制为1~50
InvalidParameter.ParameterBase64DecodeFailed 指定参数Base64解析失败
InvalidParameter.ParameterNotFoundOrBeNone 找不到参数或参数为空
InvalidParameter.SQLBase64DecodeFail SQL脚本Base64解析失败
InvalidParameter.SQLParameterPreprocessingFailed SQL参数预处理失败
InvalidParameter.SparkJobNotFound 指定的Spark任务不存在
InvalidParameter.SparkJobNotUnique 指定的Spark任务已存在
InvalidParameter.SparkJobRoleArnNotFound 指定的Spark任务RoleArn不存在
ResourceInsufficient.SparkJobInsufficientResources 指定的spark作业资源不足,请调整driver/executor规格
ResourceNotFound.DataEngineConfigInstanceNotFound 指定集群配置实例不存在
ResourceNotFound.DataEngineConfigInstanceNotUnique 指定集群配置实例已存在
ResourceNotFound.DataEngineNotActivity 指定集群未处于运行状态
ResourceNotFound.DataEngineNotFound 指定的引擎不存在
ResourceNotFound.DataEngineNotUnique 指定的引擎已存在
ResourceNotFound.ImageVersionNotFound 指定集群镜像版本不存在
ResourceNotFound.ImageVersionNotUnique 指定集群镜像版本已存在
ResourceNotFound.ResourceUsageOutOfLimit 指定任务资源超过集群剩余资源限制,请调整后重试
ResourceNotFound.ShuffleDirNotFound 找不到Spark Shuffle存储路径,请到控制台->数据探索页面->存储配置中设置
ResourceNotFound.WarehouseDirNotFound 找不到Warehouse存储路径,请到控制台->数据探索页面->存储配置中设置
ResourceUnavailable 资源不可用。
UnauthorizedOperation.UseComputingEngine 子用户无权使用计算引擎。