AccessInfo
引擎的访问信息
被如下接口引用：DescribeDataEngine, DescribeDataEngines。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| AccessType | String | 否 | 访问引擎的方法 注意：此字段可能返回 null，表示取不到有效值。 示例值：DLCJDBC |
| AccessConnectionInfos | Array of String | 否 | 访问引擎的url，内部的部分参数需要根据实际情况替换 注意：此字段可能返回 null，表示取不到有效值。 示例值：jdbc:dlc:xxxx-xxxx |
AnalysisTaskResults
洞察分析结果返回体
被如下接口引用：DescribeTasksAnalysis。
| 名称 | 类型 | 描述 |
|---|---|---|
| Id | String | 任务Id 示例值：89570c65-49de-4bbd-ac0a-a67c724fc80f |
| InstanceStartTime | Integer | 任务创建时间，毫秒时间戳 示例值：1715141119301 |
| InstanceCompleteTime | Integer | 任务结束时间，毫秒时间戳 注意：此字段可能返回 null，表示取不到有效值。 示例值：1715141437247 |
| State | Integer | 任务状态：0 初始化， 1 执行中， 2 执行成功，3 数据写入中，4 排队中。-1 执行失败，-3 已取消。 示例值：2 |
| SQL | String | 任务SQL语句 |
| DataEngineName | String | 计算资源名字 注意：此字段可能返回 null，表示取不到有效值。 |
| JobTimeSum | Integer | 单位毫秒，引擎内执行耗时 注意：此字段可能返回 null，表示取不到有效值。 示例值：80852 |
| TaskTimeSum | Integer | 单位秒，CU资源消耗 注意：此字段可能返回 null，表示取不到有效值。 示例值：4329 |
| InputRecordsSum | Integer | 数据扫描总行数 注意：此字段可能返回 null，表示取不到有效值。 |
| InputBytesSum | Integer | 数据扫描总 bytes 注意：此字段可能返回 null，表示取不到有效值。 |
| OutputRecordsSum | Integer | 输出总行数 注意：此字段可能返回 null，表示取不到有效值。 |
| OutputBytesSum | Integer | 输出总 bytes 注意：此字段可能返回 null，表示取不到有效值。 |
| ShuffleReadBytesSum | Integer | shuffle read 总 bytes 注意：此字段可能返回 null，表示取不到有效值。 |
| ShuffleReadRecordsSum | Integer | shuffle read 总行数 注意：此字段可能返回 null，表示取不到有效值。 |
| AnalysisStatus | String | 洞察结果类型分类，一个 json 数组，有如下几种类型：SPARK-StageScheduleDelay（资源抢占）, SPARK-ShuffleFailure（Shuffle异常）, SPARK-SlowTask（慢task）, SPARK-DataSkew（数据倾斜）, SPARK-InsufficientResource（磁盘或内存不足） 注意：此字段可能返回 null，表示取不到有效值。 示例值：["SPARK-StageScheduleDelay"] |
Asset
元数据基本对象
被如下接口引用：AlterDMSDatabase, AlterDMSTable, CreateDMSDatabase, CreateDMSTable, DescribeDMSDatabase, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 否 | 主键 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Name | String | 否 | 名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：name |
| Guid | String | 否 | 对象GUID值 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxx-xxxx-xxx-xxx |
| Catalog | String | 否 | 数据目录 注意：此字段可能返回 null，表示取不到有效值。 示例值：DataLakeCatalog |
| Description | String | 否 | 描述信息 示例值：desc |
| Owner | String | 否 | 对象owner 示例值：root |
| OwnerAccount | String | 否 | 对象owner账户 示例值：root |
| PermValues | Array of KVPair | 否 | 权限 |
| Params | Array of KVPair | 否 | 附加属性 |
| BizParams | Array of KVPair | 否 | 附加业务属性 |
| DataVersion | Integer | 否 | 数据版本 示例值：1 |
| CreateTime | Timestamp ISO8601 | 否 | 创建时间 示例值：2021-01-01 12:12:12 |
| ModifiedTime | Timestamp ISO8601 | 否 | 修改时间 示例值：2021-01-01 12:12:12 |
| DatasourceId | Integer | 否 | 数据源主键 示例值：1 |
BatchSQLCostInfo
spark session batch SQL的消耗信息
被如下接口引用：DescribeSparkSessionBatchSQLCost。
| 名称 | 类型 | 描述 |
|---|---|---|
| BatchId | String | 任务id 注意：此字段可能返回 null，表示取不到有效值。 示例值：8925a6ba-0b33-4499-8b41-1f5a213689f0 |
| DataEngineName | String | 引擎名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：testengine |
| DataEngineId | String | 引擎id 注意：此字段可能返回 null，表示取不到有效值。 示例值：DataEngine-xxx |
| Cost | Float | 本次消耗，单位cu 注意：此字段可能返回 null，表示取不到有效值。 示例值：1.231412 |
| TimeCost | Integer | 时间开销，秒 注意：此字段可能返回 null，表示取不到有效值。 示例值：12 |
| Operator | String | 操作者 注意：此字段可能返回 null，表示取不到有效值。 示例值：1238741213 |
BatchSqlTask
SparkSQL批任务信息
被如下接口引用：DescribeSparkSessionBatchSQL。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | SQL子任务唯一标识 注意：此字段可能返回 null，表示取不到有效值。 示例值：3a0e3e8b-3cb0-46cd-b126-1ab9837acfc6 |
| ExecuteSQL | String | 运行SQL 注意：此字段可能返回 null，表示取不到有效值。 示例值：select 1; |
| Message | String | 任务信息，成功则返回：Task Success!，失败则返回异常信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：Task Success! |
CHDFSProductVpcInfo
chdfs产品vpc信息
被如下接口引用：DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 否 | vpc id 注意：此字段可能返回 null，表示取不到有效值。 示例值：vpc-xxx |
| VpcName | String | 否 | vpc名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：Name |
| VpcCidrBlock | Array of VpcCidrBlock | 否 | vpc子网信息列表 注意：此字段可能返回 null，表示取不到有效值。 |
| RuleId | Integer | 否 | 规则Id 注意：此字段可能返回 null，表示取不到有效值。 |
| AccessGroupId | String | 否 | 权限组Id 注意：此字段可能返回 null，表示取不到有效值。 |
CSV
CSV类型数据格式
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CodeCompress | String | 否 | 压缩格式，["Snappy", "Gzip", "None"选一]。 示例值：Snappy |
| CSVSerde | CSVSerde | 否 | CSV序列化及反序列化数据结构。 |
| HeadLines | Integer | 否 | 标题行，默认为0。 示例值：1 |
| Format | String | 否 | 格式，默认值为CSV 示例值：CSV |
CSVSerde
CSV序列化及反序列化数据结构
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Escape | String | 否 | CSV序列化转义符，默认为"\"，最长8个字符，如 Escape: "/" 示例值：\ |
| Quote | String | 否 | CSV序列化字段域符，默认为"'"，最长8个字符, 如 Quote: """ 示例值：" |
| Separator | String | 否 | CSV序列化分隔符，默认为"\t"，最长8个字符, 如 Separator: "\t" 示例值：, |
Column
数据表列信息。
被如下接口引用：CreateTable, DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, DescribeTaskResult, DescribeViews, QueryResult。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 列名称，不区分大小写，最大支持25个字符。 示例值：col1 |
| Type | String | 是 | string|tinyint|smallint|int|bigint|boolean|float|double|decimal|timestamp|date|binary|array|map|struct|uniontype 示例值：string |
| Comment | String | 否 | 对该类的注释。 注意：此字段可能返回 null，表示取不到有效值。 示例值：create by zhangsan |
| Precision | Integer | 否 | 表示整个 numeric 的长度 注意：此字段可能返回 null，表示取不到有效值。 示例值：5 |
| Scale | Integer | 否 | 表示小数部分的长度 注意：此字段可能返回 null，表示取不到有效值。 示例值：2 |
| Nullable | String | 否 | 是否为null 注意：此字段可能返回 null，表示取不到有效值。 示例值：Nullable |
| Position | Integer | 否 | 字段位置，小的在前 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| CreateTime | String | 否 | 字段创建时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2021-09-07 06:19:23 |
| ModifiedTime | String | 否 | 字段修改时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2021-09-07 06:19:23 |
| IsPartition | Boolean | 否 | 是否为分区字段 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| DataMaskStrategyInfo | DataMaskStrategyInfo | 否 | 数据脱敏策略信息 注意：此字段可能返回 null，表示取不到有效值。 |
CommonMetrics
任务公共指标
被如下接口引用：DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| CreateTaskTime | Float | 创建任务时长，单位：ms 注意：此字段可能返回 null，表示取不到有效值。 |
| ProcessTime | Float | 预处理总时长，单位：ms 注意：此字段可能返回 null，表示取不到有效值。 |
| QueueTime | Float | 排队时长，单位：ms 注意：此字段可能返回 null，表示取不到有效值。 |
| ExecutionTime | Float | 执行时长，单位：ms 注意：此字段可能返回 null，表示取不到有效值。 |
| IsResultCacheHit | Boolean | 是否命中结果缓存 注意：此字段可能返回 null，表示取不到有效值。 |
| MatchedMVBytes | Integer | 匹配物化视图数据量 注意：此字段可能返回 null，表示取不到有效值。 |
| MatchedMVs | String | 匹配物化视图列表 注意：此字段可能返回 null，表示取不到有效值。 |
| AffectedBytes | String | 结果数据量，单位：byte 注意：此字段可能返回 null，表示取不到有效值。 |
| AffectedRows | Integer | 结果行数 注意：此字段可能返回 null，表示取不到有效值。 |
| ProcessedBytes | Integer | 扫描数据量，单位：byte 注意：此字段可能返回 null，表示取不到有效值。 |
| ProcessedRows | Integer | 扫描行数 注意：此字段可能返回 null，表示取不到有效值。 |
CosPermission
cos权限描述
被如下接口引用：DescribeUserRoles。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CosPath | String | 否 | cos路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：cosn://*** |
| Permissions | Array of String | 否 | 权限【"read","write"】 注意：此字段可能返回 null，表示取不到有效值。 示例值：["read","write"] |
CrontabResumeSuspendStrategy
定时启停策略信息
被如下接口引用：CreateDataEngine, DescribeDataEngine, DescribeDataEngines, UpdateDataEngine。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ResumeTime | String | 否 | 定时拉起时间：如：周一&周三8点 注意：此字段可能返回 null，表示取不到有效值。 示例值：0000101-08:00:00 |
| SuspendTime | String | 否 | 定时挂起时间：如：周一&周三20点 注意：此字段可能返回 null，表示取不到有效值。 示例值：0000101-20:00:00 |
| SuspendStrategy | Integer | 否 | 挂起配置：0（默认）：等待任务结束后挂起、1：强制挂起 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
DLCCatalogAccess
DLC 数据目录访问权限
被如下接口引用：DescribeDLCCatalogAccess。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 是 | VPCID 注意：此字段可能返回 null，表示取不到有效值。 示例值：vpc-1234567 |
| Product | String | 是 | 产品类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：EMR |
| Description | String | 否 | 描述信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：生产环境 |
| CreateTime | String | 否 | 创建时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2024-01-01 10:10:10 |
DMSColumn
迁移列对象
被如下接口引用：AlterDMSTable, CreateDMSTable, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：name1 |
| Description | String | 否 | 描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：desc1 |
| Type | String | 否 | 类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：EXTERNAL |
| Position | Integer | 否 | 排序 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Params | Array of KVPair | 否 | 附加参数 注意：此字段可能返回 null，表示取不到有效值。 |
| BizParams | Array of KVPair | 否 | 业务参数 注意：此字段可能返回 null，表示取不到有效值。 |
| IsPartition | Boolean | 否 | 是否分区 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
DMSColumnOrder
列排序对象
被如下接口引用：AlterDMSTable, CreateDMSTable, DescribeDMSTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Col | String | 否 | 列名 注意：此字段可能返回 null，表示取不到有效值。 示例值：col1 |
| Order | Integer | 否 | 排序 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
DMSPartition
迁移元数据分区对象
被如下接口引用：AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 否 | 数据库名称 示例值：11 |
| SchemaName | String | 否 | 数据目录名称 示例值：aaa |
| TableName | String | 否 | 表名称 示例值：aaa |
| DataVersion | Integer | 否 | 数据版本 示例值：1 |
| Name | String | 否 | 分区名称 示例值：aaa |
| Values | Array of String | 否 | 值列表 示例值：["aa", "bb"] |
| StorageSize | Integer | 否 | 存储大小 示例值：1 |
| RecordCount | Integer | 否 | 记录数量 示例值：1 |
| CreateTime | Timestamp ISO8601 | 否 | 创建时间 示例值：2021-05-08 16:43:16 |
| ModifiedTime | Timestamp ISO8601 | 否 | 修改时间 示例值：2021-05-08 16:43:16 |
| LastAccessTime | Timestamp ISO8601 | 否 | 最后访问时间 示例值：2021-05-08 16:43:16 |
| Params | Array of KVPair | 否 | 附件属性 |
| Sds | DMSSds | 否 | 存储对象 |
DMSSds
元数据存储描述属性
被如下接口引用：AddDMSPartitions, AlterDMSPartition, AlterDMSTable, CreateDMSTable, DescribeDMSPartitions, DescribeDMSTable, DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Location | String | 否 | 存储地址 注意：此字段可能返回 null，表示取不到有效值。 示例值：cosn://aaa |
| InputFormat | String | 否 | 输入格式 注意：此字段可能返回 null，表示取不到有效值。 示例值：InputFormat |
| OutputFormat | String | 否 | 输出格式 注意：此字段可能返回 null，表示取不到有效值。 示例值：OutputFormat |
| NumBuckets | Integer | 否 | bucket数量 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Compressed | Boolean | 否 | 是是否压缩 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| StoredAsSubDirectories | Boolean | 否 | 是否有子目录 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| SerdeLib | String | 否 | 序列化lib 注意：此字段可能返回 null，表示取不到有效值。 示例值：aaa |
| SerdeName | String | 否 | 序列化名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：aaa |
| BucketCols | Array of String | 否 | 桶名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：["aa", "bb"] |
| SerdeParams | Array of KVPair | 否 | 序列化参数 注意：此字段可能返回 null，表示取不到有效值。 |
| Params | Array of KVPair | 否 | 附加参数 注意：此字段可能返回 null，表示取不到有效值。 |
| SortCols | DMSColumnOrder | 否 | 列排序(Expired) 注意：此字段可能返回 null，表示取不到有效值。 |
| Cols | Array of DMSColumn | 否 | 列 注意：此字段可能返回 null，表示取不到有效值。 |
| SortColumns | Array of DMSColumnOrder | 否 | 列排序字段 注意：此字段可能返回 null，表示取不到有效值。 |
DMSTable
DMSTable基本信息
被如下接口引用：DescribeDMSTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ViewOriginalText | String | 否 | 视图文本 注意：此字段可能返回 null，表示取不到有效值。 示例值：select 1 |
| ViewExpandedText | String | 否 | 视图文本 注意：此字段可能返回 null，表示取不到有效值。 示例值：select 1 |
| Retention | Integer | 否 | hive维护版本 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Sds | DMSSds | 否 | 存储对象 注意：此字段可能返回 null，表示取不到有效值。 |
| PartitionKeys | Array of DMSColumn | 否 | 分区列 注意：此字段可能返回 null，表示取不到有效值。 |
| Partitions | Array of DMSPartition | 否 | 分区 注意：此字段可能返回 null，表示取不到有效值。 |
| Type | String | 否 | 表类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：EXTERNAL |
| DbName | String | 否 | 数据库名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：db1 |
| SchemaName | String | 否 | Schema名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：schema1 |
| StorageSize | Integer | 否 | 存储大小 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| RecordCount | Integer | 否 | 记录数量 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| LifeTime | Integer | 否 | 生命周期 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| LastAccessTime | Timestamp ISO8601 | 否 | 最后访问时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2020-01-01 11:11:11 |
| DataUpdateTime | Timestamp ISO8601 | 否 | 数据更新时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2020-01-01 11:11:11 |
| StructUpdateTime | Timestamp ISO8601 | 否 | 结构更新时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2020-01-01 11:11:11 |
| Columns | Array of DMSColumn | 否 | 列 注意：此字段可能返回 null，表示取不到有效值。 |
| Name | String | 否 | 表名 注意：此字段可能返回 null，表示取不到有效值。 示例值：tb1 |
DMSTableInfo
DMSTable信息
被如下接口引用：DescribeDMSTables。
| 名称 | 类型 | 描述 |
|---|---|---|
| Table | DMSTable | DMS表信息 注意：此字段可能返回 null，表示取不到有效值。 |
| Asset | Asset | 基础对象信息 注意：此字段可能返回 null，表示取不到有效值。 |
DataEngineBasicInfo
DataEngine基本信息
被如下接口引用：DescribeUpdatableDataEngines。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineName | String | DataEngine名称 示例值：xxx_presto |
| State | Integer | 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 示例值：1 |
| CreateTime | Integer | 创建时间 示例值：1635320563 |
| UpdateTime | Integer | 更新时间 示例值：1635320563 |
| Message | String | 返回信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试资源 |
| DataEngineId | String | 引擎id 示例值：02345495-cfe0-461c-8c3d-5715d03feda4 |
| DataEngineType | String | 引擎类型，有效值：PrestoSQL/SparkSQL/SparkBatch 注意：此字段可能返回 null，表示取不到有效值。 |
| AppId | Integer | 用户ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxxx |
| UserUin | String | 账号ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxxx |
DataEngineConfigInstanceInfo
引擎配置信息
被如下接口引用：DescribeUserDataEngineConfig。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineId | String | 引擎ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：Dataengine-xx |
| DataEngineConfigPairs | Array of DataEngineConfigPair | 用户自定义配置项集合 |
| SessionResourceTemplate | SessionResourceTemplate | 作业集群资源参数配置模板 |
DataEngineConfigPair
引擎配置
被如下接口引用：CheckDataEngineConfigPairsValidity, CreateDataEngine, DescribeUserDataEngineConfig, UpdateUserDataEngineConfig。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ConfigItem | String | 是 | 配置项 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
| ConfigValue | String | 是 | 配置值 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxx |
DataEngineImageVersion
集群大版本镜像信息。
被如下接口引用：DescribeDataEngineImageVersions。
| 名称 | 类型 | 描述 |
|---|---|---|
| ImageVersionId | String | 镜像大版本ID 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ImageVersion | String | 镜像大版本名称 示例值：SuperSQL |
| Description | String | 镜像大版本描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试版本 |
| IsPublic | Integer | 是否为公共版本：1：公共；2：私有 示例值：1 |
| EngineType | String | 集群类型：SparkSQL/PrestoSQL/SparkBatch 示例值：SparkSQL |
| IsSharedEngine | Integer | 版本状态：1：初始化；2：上线；3：下线 示例值：1 |
| State | Integer | 版本状态：1：初始化；2：上线；3：下线 示例值：2 |
| InsertTime | String | 插入时间 示例值：2020-01-01 01:01:01 |
| UpdateTime | String | 更新时间 示例值：2020-01-01 01:01:01 |
DataEngineInfo
DataEngine详细信息
被如下接口引用：DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DataEngineName | String | 是 | DataEngine名称 示例值：shared_presto |
| EngineType | String | 是 | 引擎类型 spark/presto 示例值：presto |
| ClusterType | String | 是 | 集群资源类型 spark_private/presto_private/presto_cu/spark_cu 示例值：presto_private |
| QuotaId | String | 否 | 引用ID 示例值：**** |
| State | Integer | 否 | 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 示例值：1 |
| CreateTime | Integer | 否 | 创建时间 示例值：1635320563 |
| UpdateTime | Integer | 否 | 更新时间 示例值：1635320563 |
| Size | Integer | 否 | 集群规格 注意：此字段可能返回 null，表示取不到有效值。 示例值：64 |
| Mode | Integer | 否 | 计费模式 0共享模式 1按量计费 2包年包月 示例值：0 |
| MinClusters | Integer | 否 | 最小集群数 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| MaxClusters | Integer | 否 | 最大集群数 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
| AutoResume | Boolean | 否 | 是否自动恢复 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| SpendAfter | Integer | 否 | 自动恢复时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
| CidrBlock | String | 否 | 集群网段 注意：此字段可能返回 null，表示取不到有效值。 示例值：10.255.252.0/22 |
| DefaultDataEngine | Boolean | 否 | 是否为默认引擎 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| Message | String | 否 | 返回信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试资源 |
| DataEngineId | String | 否 | 引擎id 示例值：02345495-cfe0-461c-8c3d-5715d03feda4 |
| SubAccountUin | String | 否 | 操作者 示例值：**** |
| ExpireTime | String | 否 | 到期时间 示例值：2022-03-16 10:41:03 |
| IsolatedTime | String | 否 | 隔离时间 示例值：2022-03-16 10:41:03 |
| ReversalTime | String | 否 | 冲正时间 示例值：2022-03-16 10:41:03 |
| UserAlias | String | 否 | 用户名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：testname |
| TagList | Array of TagInfo | 否 | 标签对集合 注意：此字段可能返回 null，表示取不到有效值。 示例值：[{"TagKey":"mark002"}] |
| Permissions | Array of String | 否 | 引擎拥有的权限 注意：此字段可能返回 null，表示取不到有效值。 示例值：[USE] |
| AutoSuspend | Boolean | 否 | 是否自定挂起集群：false（默认）：不自动挂起、true：自动挂起 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| CrontabResumeSuspend | Integer | 否 | 定时启停集群策略：0（默认）：关闭定时策略、1：开启定时策略（注：定时启停策略与自动挂起策略互斥） 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| CrontabResumeSuspendStrategy | CrontabResumeSuspendStrategy | 否 | 定时启停策略，复杂类型：包含启停时间、挂起集群策略 注意：此字段可能返回 null，表示取不到有效值。 |
| EngineExecType | String | 否 | 引擎执行任务类型，有效值：SQL/BATCH 注意：此字段可能返回 null，表示取不到有效值。 |
| RenewFlag | Integer | 否 | 自动续费标志，0，初始状态，默认不自动续费，若用户有预付费不停服特权，自动续费。1：自动续费。2：明确不自动续费 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| AutoSuspendTime | Integer | 否 | 集群自动挂起时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
| NetworkConnectionSet | Array of NetworkConnection | 否 | 网络连接配置 注意：此字段可能返回 null，表示取不到有效值。 |
| UiURL | String | 否 | ui的跳转地址 注意：此字段可能返回 null，表示取不到有效值。 示例值：dlc-xxx.com |
| ResourceType | String | 否 | 引擎的资源类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：Standard_CU |
| ImageVersionId | String | 否 | 集群镜像版本ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxx |
| ChildImageVersionId | String | 否 | 集群镜像小版本ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxx |
| ImageVersionName | String | 否 | 集群镜像版本名字 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxxx |
| StartStandbyCluster | Boolean | 否 | 是否开启备集群 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| ElasticSwitch | Boolean | 否 | spark jar 包年包月集群是否开启弹性 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| ElasticLimit | Integer | 否 | spark jar 包年包月集群弹性上限 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| DefaultHouse | Boolean | 否 | 是否为默认引擎 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| MaxConcurrency | Integer | 否 | 单个集群任务最大并发数 注意：此字段可能返回 null，表示取不到有效值。 示例值：5 |
| TolerableQueueTime | Integer | 否 | 任务排队上限时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：1000 |
| UserAppId | Integer | 否 | 用户appid 注意：此字段可能返回 null，表示取不到有效值。 |
| UserUin | String | 否 | 用户uin 注意：此字段可能返回 null，表示取不到有效值。 |
| SessionResourceTemplate | SessionResourceTemplate | 否 | SessionResourceTemplate 注意：此字段可能返回 null，表示取不到有效值。 |
| AutoAuthorization | Boolean | 否 | 自动授权开关 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| EngineGeneration | String | 否 | 引擎版本，支持Native/SuperSQL 注意：此字段可能返回 null，表示取不到有效值。 示例值：Native |
| EngineTypeDetail | String | 否 | 引擎详细类型，支持：SparkSQL/SparkBatch/PrestoSQL/Kyuubi 注意：此字段可能返回 null，表示取不到有效值。 示例值：SparkSQL |
| EngineNetworkId | String | 否 | 引擎网络ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：Engine-Network-xxx |
| EngineResourceGroupCount | Integer | 否 | 标准引擎关联的资源组个数 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| EngineResourceUsedCU | Integer | 否 | 引擎当前使用量（Cu） 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| AccessInfos | Array of AccessInfo | 否 | 引擎的访问信息 注意：此字段可能返回 null，表示取不到有效值。 |
| EngineNetworkName | String | 否 | 引擎所在网络名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：default-network |
| IsPoolMode | String | 否 | 是否使用预留池 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
DataEngineScaleInfo
引擎规格详情
被如下接口引用：DescribeDataEnginesScaleDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| DataEngineId | String | 引擎ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：dataengine-abc |
| DataEngineName | String | 引擎名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：abc |
| ScaleDetail | Array of DataEngineScaleInfoDetail | 引擎规格详情 注意：此字段可能返回 null，表示取不到有效值。 示例值： [ { "StartTime": "2024-06-06 12:00:00", "EndTime": "2024-06-06 13:00:00", "CU": 0 } ] |
DataEngineScaleInfoDetail
引擎规格详情
被如下接口引用：DescribeDataEnginesScaleDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| StartTime | String | 统计开始时间，格式为：yyyy-MM-dd HH:mm:ss 注意：此字段可能返回 null，表示取不到有效值。 示例值：2024-06-06 12:00:00 |
| EndTime | String | 统计结束时间，格式为：yyyy-MM-dd HH:mm:ss 注意：此字段可能返回 null，表示取不到有效值。 示例值：2024-06-06 13:00:00 |
| CU | Integer | 当前统计时间段，引擎规格 注意：此字段可能返回 null，表示取不到有效值。 示例值：16 |
DataFormat
数据表数据格式。
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TextFile | TextFile | 否 | 文本格式，TextFile。 注意：此字段可能返回 null，表示取不到有效值。 |
| CSV | CSV | 否 | 文本格式，CSV。 注意：此字段可能返回 null，表示取不到有效值。 |
| Json | Other | 否 | 文本格式，Json。 注意：此字段可能返回 null，表示取不到有效值。 |
| Parquet | Other | 否 | Parquet格式 注意：此字段可能返回 null，表示取不到有效值。 |
| ORC | Other | 否 | ORC格式 注意：此字段可能返回 null，表示取不到有效值。 |
| AVRO | Other | 否 | AVRO格式 注意：此字段可能返回 null，表示取不到有效值。 |
DataGovernPolicy
数据治理规则
被如下接口引用：DescribeDatabases。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| RuleType | String | 否 | 治理规则类型，Customize: 自定义；Intelligence: 智能治理 注意：此字段可能返回 null，表示取不到有效值。 示例值：Customize |
| GovernEngine | String | 否 | 治理引擎 注意：此字段可能返回 null，表示取不到有效值。 示例值：DataEngine- |
DataMaskStrategyInfo
数据脱敏策略信息
被如下接口引用：DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, QueryResult。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| StrategyName | String | 否 | 策略名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：策略1 |
| StrategyType | String | 否 | MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 注意：此字段可能返回 null，表示取不到有效值。 示例值：MASK_SHOW_FIRST_4 |
| StrategyDesc | String | 否 | 策略描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：描述 |
| Groups | Array of GroupInfo | 否 | 用户组策略列表 注意：此字段可能返回 null，表示取不到有效值。 |
| Users | String | 否 | 用户子账号uin列表，按;拼接 注意：此字段可能返回 null，表示取不到有效值。 示例值：12312314112;1231231231 |
| StrategyId | String | 否 | 策略Id 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
DataSourceInfo
数据源详细信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源实例的唯一ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：datasource-test |
| InstanceName | String | 否 | 数据源的名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：test_datasource |
| JdbcUrl | String | 否 | 数据源的JDBC访问链接 注意：此字段可能返回 null，表示取不到有效值。 示例值：jdbc:postgresql://ip:port/ |
| User | String | 否 | 用于访问数据源的用户名 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| Password | String | 否 | 数据源访问密码，需要base64编码 注意：此字段可能返回 null，表示取不到有效值。 示例值：xaskdowq+= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意：此字段可能返回 null，表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名 注意：此字段可能返回 null，表示取不到有效值。 示例值：default |
DatabaseInfo
数据库对象
被如下接口引用：CreateDatabase。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 数据库名称，长度0~128，支持数字、字母下划线，不允许数字大头，统一转换为小写。 示例值：database1 |
| Comment | String | 否 | 数据库描述信息，长度 0~500。 注意：此字段可能返回 null，表示取不到有效值。 示例值：create by zhangsan |
| Properties | Array of Property | 否 | 数据库属性列表。 注意：此字段可能返回 null，表示取不到有效值。 |
| Location | String | 否 | 数据库cos路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：cosn:// |
DatabaseResponseInfo
数据库对象
被如下接口引用：DescribeDatabases。
| 名称 | 类型 | 描述 |
|---|---|---|
| DatabaseName | String | 数据库名称。 示例值：database1 |
| Comment | String | 数据库描述信息，长度 0~256。 注意：此字段可能返回 null，表示取不到有效值。 示例值：create by zhangsan |
| Properties | Array of Property | 允许针对数据库的属性元数据信息进行指定。 注意：此字段可能返回 null，表示取不到有效值。 |
| CreateTime | String | 数据库创建时间戳，单位：s。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611646963 |
| ModifiedTime | String | 数据库更新时间戳，单位：s。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611646963 |
| Location | String | cos存储路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：cosn://test |
| UserAlias | String | 建库用户昵称 注意：此字段可能返回 null，表示取不到有效值。 示例值：testUser |
| UserSubUin | String | 建库用户ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：100019878767 |
| GovernPolicy | DataGovernPolicy | 数据治理配置项 注意：此字段可能返回 null，表示取不到有效值。 |
| DatabaseId | String | 数据库ID（无效字段） 注意：此字段可能返回 null，表示取不到有效值。 |
DatasourceConnectionConfig
数据源属性
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Mysql | MysqlInfo | 否 | Mysql数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| Hive | HiveInfo | 否 | Hive数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| Kafka | KafkaInfo | 否 | Kafka数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| OtherDatasourceConnection | OtherDatasourceConnection | 否 | 其他数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| PostgreSql | DataSourceInfo | 否 | PostgreSQL数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| SqlServer | DataSourceInfo | 否 | SQLServer数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| ClickHouse | DataSourceInfo | 否 | ClickHouse数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| Elasticsearch | ElasticsearchInfo | 否 | Elasticsearch数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| TDSQLPostgreSql | DataSourceInfo | 否 | TDSQL-PostgreSQL数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
| TCHouseD | TCHouseD | 否 | Doris数据源连接的属性 注意：此字段可能返回 null，表示取不到有效值。 |
DatasourceConnectionInfo
数据源信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 是 | 数据源数字Id 示例值：42 |
| DatasourceConnectionId | String | 是 | 数据源字符串Id 示例值：datasource-xxx |
| DatasourceConnectionName | String | 是 | 数据源名称 示例值：DataLakeCatalog |
| DatasourceConnectionDesc | String | 是 | 数据源描述 示例值：测试数据源 |
| DatasourceConnectionType | String | 是 | 数据源类型，支持DataLakeCatalog、IcebergCatalog、Result、Mysql、HiveCos、HiveHdfs 示例值：DataLakeCatalog |
| DatasourceConnectionConfig | DatasourceConnectionConfig | 是 | 数据源属性 注意：此字段可能返回 null，表示取不到有效值。 |
| State | Integer | 是 | 数据源状态：0（初始化）、1（成功）、-1（已删除）、-2（失败）、-3（删除中） 示例值：0 |
| Region | String | 是 | 地域 示例值：ap-beijjing |
| AppId | String | 是 | 用户AppId 示例值：123xxx789 |
| CreateTime | String | 是 | 数据源创建时间 示例值：1234567890 |
| UpdateTime | String | 是 | 数据源最近一次更新时间 示例值：1234567890 |
| Message | String | 是 | 数据源同步失败原因 示例值：success |
| DataEngines | Array of DataEngineInfo | 否 | 数据源绑定的计算引擎信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：[] |
| UserAlias | String | 否 | 创建人 注意：此字段可能返回 null，表示取不到有效值。 示例值：user |
| NetworkConnectionSet | Array of NetworkConnection | 否 | 网络配置列表 注意：此字段可能返回 null，表示取不到有效值。 |
| ConnectivityState | Integer | 否 | 连通性状态：0（未测试，默认）、1（正常）、2（失败） 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| ConnectivityTips | String | 否 | 连通性测试提示信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试成功 |
DatasourceConnectionLocation
数据源连接的网络信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 是 | 数据连接所在Vpc实例Id，如“vpc-azd4dt1c”。 示例值：“vpc-azd4dt1c” |
| VpcCidrBlock | String | 是 | Vpc的IPv4 CIDR 示例值：“10.0.0.0/24” |
| SubnetId | String | 是 | 数据连接所在子网的实例Id，如“subnet-bthucmmy” 示例值：“subnet-bthucmmy” |
| SubnetCidrBlock | String | 是 | Subnet的IPv4 CIDR 示例值：“10.0.0.0/24” |
ElasticsearchInfo
Elasticsearch数据源的详细信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：datasource-test |
| InstanceName | String | 否 | 数据源名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：test_datasource |
| User | String | 否 | 用户名 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| Password | String | 否 | 密码，需要base64编码 注意：此字段可能返回 null，表示取不到有效值。 示例值：asdfcjaidf-= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意：此字段可能返回 null，表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：default |
| ServiceInfo | Array of IpPortPair | 否 | 访问Elasticsearch的ip、端口信息 注意：此字段可能返回 null，表示取不到有效值。 |
Execution
SQL语句对象
被如下接口引用：CreateDatabase, CreateTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 描述 |
|---|---|---|
| SQL | String | 自动生成SQL语句。 示例值：CREATE DATABASE test;; |
FavorInfo
FavorInfo
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Priority | Integer | 否 | 优先事项 注意：此字段可能返回 null，表示取不到有效值。 |
| Catalog | String | 否 | Catalog名称 注意：此字段可能返回 null，表示取不到有效值。 |
| DataBase | String | 否 | DataBase名称 注意：此字段可能返回 null，表示取不到有效值。 |
| Table | String | 否 | Table名称 注意：此字段可能返回 null，表示取不到有效值。 |
Filter
查询列表过滤条件参数
被如下接口引用：DescribeDLCCatalogAccess, DescribeDataEngines, DescribeDatasourceConnection, DescribeNotebookSessions, DescribeScripts, DescribeSparkAppJobs, DescribeSparkAppTasks, DescribeTables, DescribeTablesName, DescribeTaskLog, DescribeTasks, DescribeTasksAnalysis, DescribeTasksCostInfo, DescribeTasksOverview, DescribeUserDataEngineConfig, DescribeUserInfo, DescribeUsers, DescribeViews, DescribeWorkGroupInfo, DescribeWorkGroups, ListTaskJobLogDetail, QueryTaskCostDetail。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 属性名称, 若存在多个Filter时，Filter间的关系为逻辑或（OR）关系。 示例值：task-id |
| Values | Array of String | 是 | 属性值, 若同一个Filter存在多个Values，同一Filter下Values间的关系为逻辑或（OR）关系。 |
GroupInfo
数据脱敏用户组信息
被如下接口引用：DescribeNotebookSessionStatementSqlResult, DescribeTable, DescribeTables, QueryResult。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WorkGroupId | Integer | 否 | 用户组ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：212123 |
| StrategyType | String | 否 | 策略类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 |
HiveInfo
hive类型数据源的信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MetaStoreUrl | String | 是 | hive metastore的地址 示例值：thrift://127.0.0.1:9083 |
| Type | String | 是 | hive数据源类型，代表数据储存的位置，COS或者HDFS 示例值：COS |
| Location | DatasourceConnectionLocation | 是 | 数据源所在的私有网络信息 |
| User | String | 否 | 如果类型为HDFS，需要传一个用户名 示例值：hadoop |
| HighAvailability | Boolean | 否 | 如果类型为HDFS，需要选择是否高可用 示例值：false |
| BucketUrl | String | 否 | 如果类型为COS，需要填写COS桶连接 示例值：cosn://bucketname/path |
| HdfsProperties | String | 否 | json字符串。如果类型为HDFS，需要填写该字段 示例值：fs.defaultFS=hdfs://ip:port |
| Mysql | MysqlInfo | 否 | Hive的元数据库信息 注意：此字段可能返回 null，表示取不到有效值。 |
| InstanceId | String | 否 | emr集群Id 注意：此字段可能返回 null，表示取不到有效值。 示例值：emr-adp0c9v8 |
| InstanceName | String | 否 | emr集群名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：testEmr |
| HiveVersion | String | 否 | EMR集群中hive组件的版本号 注意：此字段可能返回 null，表示取不到有效值。 示例值：2.3.7 |
| KerberosInfo | KerberosInfo | 否 | Kerberos详细信息 注意：此字段可能返回 null，表示取不到有效值。 |
| KerberosEnable | Boolean | 否 | 是否开启Kerberos 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
HouseEventsInfo
集群事件日志
被如下接口引用：DescribeDataEngineEvents。
| 名称 | 类型 | 描述 |
|---|---|---|
| Time | Array of String | 事件时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
| EventsAction | Array of String | 事件类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
| ClusterInfo | Array of String | 集群信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
IpPortPair
ip端口对信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Ip | String | 否 | ip信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：192.108.1.1 |
| Port | Integer | 否 | 端口信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：8080 |
JobLogResult
日志详情
被如下接口引用：DescribeTaskLog, ListTaskJobLogDetail。
| 名称 | 类型 | 描述 |
|---|---|---|
| Time | Integer | 日志时间戳，毫秒 注意：此字段可能返回 null，表示取不到有效值。 示例值：1608794854001 |
| TopicId | String | 日志topic id 注意：此字段可能返回 null，表示取不到有效值。 示例值：topic-id-1 |
| TopicName | String | 日志topic name 注意：此字段可能返回 null，表示取不到有效值。 示例值：topic-name-1 |
| LogJson | String | 日志内容，json字符串 注意：此字段可能返回 null，表示取不到有效值。 |
| PkgLogId | String | 日志ID 注意：此字段可能返回 null，表示取不到有效值。 |
KVPair
配置格式
被如下接口引用：AddDMSPartitions, AlterDMSDatabase, AlterDMSPartition, AlterDMSTable, CreateDMSDatabase, CreateDMSTable, CreateExportTask, CreateImportTask, CreateNotebookSession, CreateNotebookSessionStatement, CreateSparkSessionBatchSQL, CreateTask, CreateTasks, CreateTasksInOrder, DescribeDMSDatabase, DescribeDMSPartitions, DescribeDMSTable, DescribeNotebookSession, DescribeNotebookSessionStatement, DescribeSparkSessionBatchSqlLog, DropDMSTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Key | String | 是 | 配置的key值 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
| Value | String | 是 | 配置的value值 注意：此字段可能返回 null，表示取不到有效值。 示例值：xxx |
KafkaInfo
Kafka连接信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 是 | kakfa实例Id 示例值：*** |
| Location | DatasourceConnectionLocation | 是 | kakfa数据源的网络信息 示例值：{"VpcId":"vpc-***","VpcCidrBlock":"10.0.0.0/16","SubnetId":"subn |
KerberosInfo
Kerberos详细信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Krb5Conf | String | 否 | Krb5Conf文件值 示例值：文件内容 |
| KeyTab | String | 否 | KeyTab文件值 示例值：文件内容 |
| ServicePrincipal | String | 否 | 服务主体 示例值：Kerberos principa |
LakeFileSystemToken
LakeFileSystem使用的临时token
被如下接口引用：DescribeLakeFsTaskResult。
| 名称 | 类型 | 描述 |
|---|---|---|
| SecretId | String | Token使用的临时密钥的ID 示例值：test_id |
| SecretKey | String | Token使用的临时密钥 示例值：test_key |
| Token | String | Token信息 示例值：test_token |
| ExpiredTime | Integer | 过期时间 示例值：123456 |
| IssueTime | Integer | 颁布时间 示例值：123456 |
LakeFsInfo
描述DLC托管存储基本信息
被如下接口引用：DescribeLakeFsInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| Name | String | 托管存储名称 示例值：dlc_bkt |
| Type | String | 托管存储类型 示例值：user_chdfs |
| SpaceUsedSize | Float | 容量 示例值：1.0 |
| CreateTimeStamp | Integer | 创建时候的时间戳 示例值：1 |
| DefaultBucket | Integer | 是否是用户默认桶，0：默认桶，1：非默认桶 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| ShortName | String | 托管存储short name 注意：此字段可能返回 null，表示取不到有效值。 示例值：DLC-Storage-123456 |
| Description | String | 桶描述信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：test bucket |
| Status | String | 托管桶状态，当前取值为：creating、bind、readOnly、isolate 注意：此字段可能返回 null，表示取不到有效值。 示例值：creating |
LockComponentInfo
元数据加锁内容
被如下接口引用：LockMetaData。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DbName | String | 是 | 数据库名称 示例值：db |
| TableName | String | 否 | 表名称 示例值：table |
| Partition | String | 否 | 分区 示例值：part |
| LockType | String | 否 | 锁类型：SHARED_READ、SHARED_WRITE、EXCLUSIVE 示例值：SHARED_READ |
| LockLevel | String | 否 | 锁级别：DB、TABLE、PARTITION 示例值：DB |
| DataOperationType | String | 否 | 锁操作：SELECT,INSERT,UPDATE,DELETE,UNSET,NO_TXN 示例值：SELECT |
| IsAcid | Boolean | 否 | 是否保持Acid 示例值：false |
| IsDynamicPartitionWrite | Boolean | 否 | 是否动态分区写 示例值：false |
MountPointAssociates
绑定融合桶信息
被如下接口引用：CreateCHDFSBindingProduct。
| 名称 | 类型 | 描述 |
|---|---|---|
| BucketId | String | 桶Id 注意：此字段可能返回 null，表示取不到有效值。 |
| VpcId | String | vpcId 注意：此字段可能返回 null，表示取不到有效值。 |
| VpcCidrBlock | String | 子网地址 注意：此字段可能返回 null，表示取不到有效值。 |
| AccessGroupId | String | 权限组Id 注意：此字段可能返回 null，表示取不到有效值。 |
| AccessRuleId | Integer | 权限规则Id 注意：此字段可能返回 null，表示取不到有效值。 |
MysqlInfo
Mysql类型数据源信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| JdbcUrl | String | 是 | 连接mysql的jdbc url 示例值：jdbc:mysql://ip:port |
| User | String | 是 | 用户名 示例值：root |
| Password | String | 是 | mysql密码 示例值：** |
| Location | DatasourceConnectionLocation | 是 | mysql数据源的网络信息 |
| DbName | String | 否 | 数据库名称 示例值：MetaDb |
| InstanceId | String | 否 | 数据库实例ID，和数据库侧保持一致 注意：此字段可能返回 null，表示取不到有效值。 示例值：cdb-xxxxx |
| InstanceName | String | 否 | 数据库实例名称，和数据库侧保持一致 注意：此字段可能返回 null，表示取不到有效值。 示例值：mySql |
NetworkConnection
网络配置
被如下接口引用：DescribeDataEngine, DescribeDataEngines, DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | Integer | 否 | 网络配置id 注意：此字段可能返回 null，表示取不到有效值。 示例值：89876 |
| AssociateId | String | 否 | 网络配置唯一标志符 注意：此字段可能返回 null，表示取不到有效值。 |
| HouseId | String | 否 | 计算引擎id 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionId | String | 否 | 数据源id(已废弃) 注意：此字段可能返回 null，表示取不到有效值。 |
| State | Integer | 否 | 网络配置状态（0-初始化，1-正常） 注意：此字段可能返回 null，表示取不到有效值。 |
| CreateTime | Integer | 否 | 创建时间 注意：此字段可能返回 null，表示取不到有效值。 |
| UpdateTime | Integer | 否 | 修改时间 注意：此字段可能返回 null，表示取不到有效值。 |
| Appid | Integer | 否 | 创建用户Appid 注意：此字段可能返回 null，表示取不到有效值。 |
| HouseName | String | 否 | 计算引擎名称 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionName | String | 否 | 网络配置名称 注意：此字段可能返回 null，表示取不到有效值。 |
| NetworkConnectionType | Integer | 否 | 网络配置类型 注意：此字段可能返回 null，表示取不到有效值。 |
| Uin | String | 否 | 创建用户uin 注意：此字段可能返回 null，表示取不到有效值。 |
| SubAccountUin | String | 否 | 创建用户SubAccountUin 注意：此字段可能返回 null，表示取不到有效值。 |
| NetworkConnectionDesc | String | 否 | 网络配置描述 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionVpcId | String | 否 | 数据源vpcid 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionSubnetId | String | 否 | 数据源SubnetId 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionCidrBlock | String | 否 | 数据源SubnetId 注意：此字段可能返回 null，表示取不到有效值。 |
| DatasourceConnectionSubnetCidrBlock | String | 否 | 数据源SubnetCidrBlock 注意：此字段可能返回 null，表示取不到有效值。 |
NotebookSessionInfo
Notebook Session详细信息。
被如下接口引用：DescribeNotebookSession。
| 名称 | 类型 | 描述 |
|---|---|---|
| Name | String | Session名称 示例值：session1 |
| Kind | String | 类型，当前支持：spark、pyspark、sparkr、sql 示例值：spark |
| DataEngineName | String | DLC Spark作业引擎名称 示例值：data_engine_1 |
| Arguments | Array of KVPair | Session相关配置，当前支持：eni、roleArn以及用户指定的配置 注意：此字段可能返回 null，表示取不到有效值。 示例值：["eni":"test_eni"] |
| ProgramDependentFiles | Array of String | 运行程序地址，当前支持：cosn://和lakefs://两种路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：[cosn://xxx] |
| ProgramDependentJars | Array of String | 依赖的jar程序地址，当前支持：cosn://和lakefs://两种路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：[cosn://xxx] |
| ProgramDependentPython | Array of String | 依赖的python程序地址，当前支持：cosn://和lakefs://两种路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：[cosn://xxx] |
| ProgramArchives | Array of String | 依赖的pyspark虚拟环境地址，当前支持：cosn://和lakefs://两种路径 注意：此字段可能返回 null，表示取不到有效值。 示例值：[cosn://xxx] |
| DriverSize | String | 指定的Driver规格，当前支持：small（默认，1cu）、medium（2cu）、large（4cu）、xlarge（8cu） 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorSize | String | 指定的Executor规格，当前支持：small（默认，1cu）、medium（2cu）、large（4cu）、xlarge（8cu） 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorNumbers | Integer | 指定的Executor数量，默认为1 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| ProxyUser | String | 代理用户，默认为root 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| TimeoutInSecond | Integer | 指定的Session超时时间，单位秒，默认3600秒 注意：此字段可能返回 null，表示取不到有效值。 示例值：3600 |
| SparkAppId | String | Spark任务返回的AppId 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark-123 |
| SessionId | String | Session唯一标识 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| State | String | Session状态，包含：not_started（未启动）、starting（已启动）、idle（等待输入）、busy(正在运行statement)、shutting_down（停止）、error（异常）、dead（已退出）、killed（被杀死）、success（正常停止） 示例值：not_started |
| CreateTime | String | Session创建时间 示例值：2006-01-02 15:04:05 |
| AppInfo | Array of KVPair | 其它信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：["sparkUiUrl":"xxx"] |
| SparkUiUrl | String | Spark ui地址 注意：此字段可能返回 null，表示取不到有效值。 示例值：http://xxx |
| ExecutorMaxNumbers | Integer | 指定的Executor数量（最大值），默认为1，当开启动态分配有效，若未开启，则该值等于ExecutorNumbers 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
NotebookSessionStatementBatchInformation
按批提交Statement运行SQL任务。
被如下接口引用：CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatements。
| 名称 | 类型 | 描述 |
|---|---|---|
| NotebookSessionStatementBatch | Array of NotebookSessionStatementInfo | 任务详情列表 注意：此字段可能返回 null，表示取不到有效值。 示例值：复杂类型 |
| IsAvailable | Boolean | 当前批任务是否运行完成 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| SessionId | String | Session唯一标识 注意：此字段可能返回 null，表示取不到有效值。 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| BatchId | String | Batch唯一标识 注意：此字段可能返回 null，表示取不到有效值。 示例值：skdelad4-9a7e-4f64-a3f4-f38507c69742 |
NotebookSessionStatementInfo
NotebookSessionStatement详情。
被如下接口引用：CreateNotebookSessionStatement, CreateNotebookSessionStatementSupportBatchSQL, DescribeNotebookSessionStatement, DescribeNotebookSessionStatements。
| 名称 | 类型 | 描述 |
|---|---|---|
| Completed | Integer | 完成时间戳 注意：此字段可能返回 null，表示取不到有效值。 示例值：1662635695652 |
| Started | Integer | 开始时间戳 注意：此字段可能返回 null，表示取不到有效值。 示例值：1662635695652 |
| Progress | Float | 完成进度，百分制 注意：此字段可能返回 null，表示取不到有效值。 示例值：100 |
| StatementId | String | Session Statement唯一标识 示例值：d3018ad4-9a7e-4f64-a3dj-f38507c697dj |
| State | String | Session Statement状态，包含：waiting（排队中）、running（运行中）、available（正常）、error（异常）、cancelling（取消中）、cancelled（已取消） 示例值：running |
| OutPut | StatementOutput | Statement输出信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：复杂类型 |
| BatchId | String | 批任务id 注意：此字段可能返回 null，表示取不到有效值。 示例值：dks18ad4-9a7e-4f64-a3dj-f38507c697dj |
| Code | String | 运行语句 注意：此字段可能返回 null，表示取不到有效值。 示例值：select 1; |
| TaskId | String | 任务ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：dks18ad4-9a7e-4f64-a3dj-f38507c697dj |
NotebookSessions
notebook session列表信息。
被如下接口引用：DescribeNotebookSessions。
| 名称 | 类型 | 描述 |
|---|---|---|
| Kind | String | 类型，当前支持：spark、pyspark、sparkr、sql 示例值：spark |
| SessionId | String | Session唯一标识 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ProxyUser | String | 代理用户，默认为root 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| State | String | Session状态，包含：not_started（未启动）、starting（已启动）、idle（等待输入）、busy(正在运行statement)、shutting_down（停止）、error（异常）、dead（已退出）、killed（被杀死）、success（正常停止） 示例值：not_started |
| SparkAppId | String | Spark任务返回的AppId 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark-123 |
| Name | String | Session名称 示例值：session1 |
| CreateTime | String | Session创建时间 示例值：2006-01-02 15:04:05 |
| DataEngineName | String | 引擎名称 示例值：data_engine_1 |
| LastRunningTime | String | 最新的运行时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2006-01-02 15:04:05 |
| Creator | String | 创建者 示例值：test |
| SparkUiUrl | String | spark ui地址 注意：此字段可能返回 null，表示取不到有效值。 示例值：http://xxx |
OpendThirdAccessUserInfo
开通了第三方访问的用户信息
被如下接口引用：DescribeThirdPartyAccessUser。
| 名称 | 类型 | 描述 |
|---|---|---|
| Id | Integer | id信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Uin | String | 用户主UIN 注意：此字段可能返回 null，表示取不到有效值。 示例值：123 |
| AppId | String | 用户AppId 注意：此字段可能返回 null，表示取不到有效值。 示例值：123 |
| CreateTime | String | 开通时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2023-05-16 14:50:30 |
Other
数据格式其它类型。
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Format | String | 否 | 枚举类型，默认值为Json，可选值为[Json, Parquet, ORC, AVRD]之一。 示例值：Json |
OtherCHDFSBinding
非DLC产品CHDFS绑定
被如下接口引用：DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 描述 |
|---|---|---|
| ProductName | String | 产品名称 注意：此字段可能返回 null，表示取不到有效值。 |
| SuperUser | Array of String | 用户名称（该字段已废弃） 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| VpcInfo | Array of CHDFSProductVpcInfo | vpc配置信息 注意：此字段可能返回 null，表示取不到有效值。 |
| IsBind | Boolean | 是否与该桶绑定（该字段已废弃） 注意：此字段可能返回 null，表示取不到有效值。 |
OtherDatasourceConnection
其他数据源
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Location | DatasourceConnectionLocation | 是 | 网络参数 |
Partition
数据表分块信息。
被如下接口引用：CreateTable, DescribeTable, DescribeTables。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 分区列名。 示例值：col1 |
| Type | String | 否 | 分区类型。 示例值：string |
| Comment | String | 否 | 对分区的描述。 示例值：create by zhangsan |
| Transform | String | 否 | 隐式分区转换策略 注意：此字段可能返回 null，表示取不到有效值。 示例值：truncate |
| TransformArgs | Array of String | 否 | 转换策略参数 注意：此字段可能返回 null，表示取不到有效值。 示例值：["3"] |
| CreateTime | Integer | 否 | 创建时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：100000 |
Policy
权限对象
被如下接口引用：AttachUserPolicy, AttachWorkGroupPolicy, CreateUser, CreateWorkGroup, DescribeUserInfo, DescribeUsers, DescribeWorkGroupInfo, DescribeWorkGroups, DetachUserPolicy, DetachWorkGroupPolicy, UpdateRowFilter。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Database | String | 是 | 需要授权的数据库名，填代表当前Catalog下所有数据库。当授权类型为管理员级别时，只允许填“”，当授权类型为数据连接级别时只允许填空，其他类型下可以任意指定数据库。 示例值：test_database |
| Catalog | String | 是 | 需要授权的数据源名称，管理员级别下只支持填（代表该级别全部资源）；数据源级别和数据库级别鉴权的情况下，只支持填COSDataCatalog或者；在数据表级别鉴权下可以填写用户自定义数据源。不填情况下默认为DataLakeCatalog。注意：如果是对用户自定义数据源进行鉴权，DLC能够管理的权限是用户接入数据源的时候提供的账户的子集。 示例值：DataLakeCatalog |
| Table | String | 是 | 需要授权的表名，填代表当前Database下所有表。当授权类型为管理员级别时，只允许填“”，当授权类型为数据连接级别、数据库级别时只允许填空，其他类型下可以任意指定数据表。 示例值：test_table |
| Operation | String | 是 | 授权的权限操作，对于不同级别的鉴权提供不同操作。管理员权限：ALL，不填默认为ALL；数据连接级鉴权：CREATE；数据库级别鉴权：ALL、CREATE、ALTER、DROP；数据表权限：ALL、SELECT、INSERT、ALTER、DELETE、DROP、UPDATE。注意：在数据表权限下，指定的数据源不为COSDataCatalog的时候，只支持SELECT操作。 示例值：ALL |
| PolicyType | String | 否 | 授权类型，现在支持八种授权类型：ADMIN:管理员级别鉴权 DATASOURCE：数据连接级别鉴权 DATABASE：数据库级别鉴权 TABLE：表级别鉴权 VIEW：视图级别鉴权 FUNCTION：函数级别鉴权 COLUMN：列级别鉴权 ENGINE：数据引擎鉴权。不填默认为管理员级别鉴权。 示例值：ADMIN |
| Function | String | 否 | 需要授权的函数名，填代表当前Catalog下所有函数。当授权类型为管理员级别时，只允许填“”，当授权类型为数据连接级别时只允许填空，其他类型下可以任意指定函数。 注意：此字段可能返回 null，表示取不到有效值。 示例值：fun1 |
| View | String | 否 | 需要授权的视图，填代表当前Database下所有视图。当授权类型为管理员级别时，只允许填“”，当授权类型为数据连接级别、数据库级别时只允许填空，其他类型下可以任意指定视图。 注意：此字段可能返回 null，表示取不到有效值。 示例值：view1 |
| Column | String | 否 | 需要授权的列，填代表当前所有列。当授权类型为管理员级别时，只允许填“” 注意：此字段可能返回 null，表示取不到有效值。 示例值：column1 |
| DataEngine | String | 否 | 需要授权的数据引擎，填代表当前所有引擎。当授权类型为管理员级别时，只允许填“” 注意：此字段可能返回 null，表示取不到有效值。 示例值：dataEngine1 |
| ReAuth | Boolean | 否 | 用户是否可以进行二次授权。当为true的时候，被授权的用户可以将本次获取的权限再次授权给其他子用户。默认为false 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| Source | String | 否 | 权限来源，入参不填。USER：权限来自用户本身；WORKGROUP：权限来自绑定的工作组 注意：此字段可能返回 null，表示取不到有效值。 示例值：USER |
| Mode | String | 否 | 授权模式，入参不填。COMMON：普通模式；SENIOR：高级模式。 注意：此字段可能返回 null，表示取不到有效值。 示例值：COMMON |
| Operator | String | 否 | 操作者，入参不填。 注意：此字段可能返回 null，表示取不到有效值。 示例值：12345678 |
| CreateTime | String | 否 | 权限创建的时间，入参不填 注意：此字段可能返回 null，表示取不到有效值。 示例值：2021-07-28 16:19:32 |
| SourceId | Integer | 否 | 权限所属工作组的ID，只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| SourceName | String | 否 | 权限所属工作组的名称，只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 注意：此字段可能返回 null，表示取不到有效值。 示例值：test_group |
| Id | Integer | 否 | 策略ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
Policys
策略集合
被如下接口引用：DescribeUserInfo, DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| PolicySet | Array of Policy | 策略集合 注意：此字段可能返回 null，表示取不到有效值。 |
| TotalCount | Integer | 策略总数 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
PrestoMonitorMetrics
Presto监控指标
被如下接口引用：DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| LocalCacheHitRate | Float | Alluxio本地缓存命中率 注意：此字段可能返回 null，表示取不到有效值。 |
| FragmentCacheHitRate | Float | Fragment缓存命中率 注意：此字段可能返回 null，表示取不到有效值。 |
Property
数据库和数据表属性信息
被如下接口引用：AssignMangedTableProperties, CreateDatabase, CreateInternalTable, DescribeDatabases, DescribeTable, DescribeTables, DescribeViews, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Key | String | 是 | 属性key名称。 示例值：owner |
| Value | String | 是 | 属性key对应的value。 示例值：create by zhangsan |
PythonSparkImage
python-spark镜像信息。
被如下接口引用：DescribeDataEnginePythonSparkImages。
| 名称 | 类型 | 描述 |
|---|---|---|
| SparkImageId | String | spark镜像唯一id 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
| ChildImageVersionId | String | 集群小版本镜像id 示例值：d3dfgtr4-9a7e-4f64-a3f4-f38507c69742 |
| SparkImageVersion | String | spark镜像名称 示例值：test |
| Description | String | spark镜像描述信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试 |
| CreateTime | String | 创建时间 示例值：2020-01-01 01:01:01 |
| UpdateTime | String | 更新时间 示例值：2020-01-01 01:01:01 |
ResourceInfo
ResourceInfo
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| AttributionType | String | 否 | 归属类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：group |
| ResourceType | String | 否 | 资源类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark-sql |
| Name | String | 否 | 引擎名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：引擎名称 |
| Instance | String | 否 | 如资源类型为spark-sql 取值为Name, 如为spark-batch 取值为session app_name 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark-sql |
| Favor | Array of FavorInfo | 否 | 亲和性 注意：此字段可能返回 null，表示取不到有效值。 |
| Status | Integer | 否 | 状态 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| ResourceGroupName | String | 否 | 标准引擎资源组信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：rg-test |
SQLTask
SQL查询任务
被如下接口引用：CreateTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SQL | String | 是 | base64加密后的SQL语句 示例值：U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| Config | Array of KVPair | 否 | 任务的配置信息 |
Script
script实例。
被如下接口引用：DescribeScripts。
| 名称 | 类型 | 描述 |
|---|---|---|
| ScriptId | String | 脚本Id，长度36字节。 注意：此字段可能返回 null，表示取不到有效值。 示例值：89570c65-49de-4bbd-ac0a-a67c724fc80f |
| ScriptName | String | 脚本名称，长度0-25。 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| ScriptDesc | String | 脚本描述，长度0-50。 注意：此字段可能返回 null，表示取不到有效值。 示例值：create by zhangsan |
| DatabaseName | String | 默认关联数据库。 注意：此字段可能返回 null，表示取不到有效值。 示例值：database1 |
| SQLStatement | String | SQL描述，长度0-10000。 注意：此字段可能返回 null，表示取不到有效值。 示例值：U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| UpdateTime | Integer | 更新时间戳， 单位：ms。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611646962000 |
SessionResourceTemplate
Spark批作业集群Session资源配置模板；
被如下接口引用：CreateDataEngine, DescribeDataEngine, DescribeDataEngines, DescribeUserDataEngineConfig, UpdateDataEngine, UpdateUserDataEngineConfig。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DriverSize | String | 否 | driver规格：small,medium,large,xlarge；内存型(引擎类型)：m.small,m.medium,m.large,m.xlarge 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorSize | String | 否 | executor规格：small,medium,large,xlarge；内存型(引擎类型)：m.small,m.medium,m.large,m.xlarge 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorNums | Integer | 否 | 指定executor数量，最小值为1，最大值小于集群规格 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| ExecutorMaxNumbers | Integer | 否 | 指定executor max数量（动态配置场景下），最小值为1，最大值小于集群规格（当ExecutorMaxNumbers小于ExecutorNums时，改值设定为ExecutorNums） 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
SmartOptimizerIndexPolicy
SmartOptimizerIndexPolicy
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| IndexEnable | String | 否 | 开启索引 注意：此字段可能返回 null，表示取不到有效值。 示例值：none/enable/disable/default |
SmartOptimizerLifecyclePolicy
SmartOptimizerLifecyclePolicy
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| LifecycleEnable | String | 否 | 生命周期启用 注意：此字段可能返回 null，表示取不到有效值。 示例值：none/enable/disable/default |
| Expiration | Integer | 否 | 过期时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：100 |
| DropTable | Boolean | 否 | 是否删表 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| ExpiredField | String | 否 | 过期字段 注意：此字段可能返回 null，表示取不到有效值。 示例值：pt |
| ExpiredFieldFormat | String | 否 | 过期字段格式 注意：此字段可能返回 null，表示取不到有效值。 示例值：yyyy-MM-dd |
SmartOptimizerPolicy
SmartOptimizerPolicy
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Inherit | String | 否 | 是否继承 注意：此字段可能返回 null，表示取不到有效值。 示例值：true |
| Resources | Array of ResourceInfo | 否 | ResourceInfo 注意：此字段可能返回 null，表示取不到有效值。 |
| Written | SmartOptimizerWrittenPolicy | 否 | SmartOptimizerWrittenPolicy 注意：此字段可能返回 null，表示取不到有效值。 |
| Lifecycle | SmartOptimizerLifecyclePolicy | 否 | SmartOptimizerLifecyclePolicy 注意：此字段可能返回 null，表示取不到有效值。 |
| Index | SmartOptimizerIndexPolicy | 否 | SmartOptimizerIndexPolicy 注意：此字段可能返回 null，表示取不到有效值。 |
SmartOptimizerWrittenPolicy
SmartOptimizerWrittenPolicy
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WrittenEnable | String | 否 | none/enable/disable/default 注意：此字段可能返回 null，表示取不到有效值。 示例值：enable |
SmartPolicy
SmartPolicyRequest
被如下接口引用：AssignMangedTableProperties, CreateInternalTable, DeleteTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql, GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| BaseInfo | SmartPolicyBaseInfo | 否 | 基础信息 注意：此字段可能返回 null，表示取不到有效值。 |
| Policy | SmartOptimizerPolicy | 否 | 策略描述 注意：此字段可能返回 null，表示取不到有效值。 |
SmartPolicyBaseInfo
SmartPolicyBaseInfo
被如下接口引用：GetOptimizerPolicy。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Uin | String | 是 | 用户uin 注意：此字段可能返回 null，表示取不到有效值。 示例值：100011282005 |
| PolicyType | String | 否 | Catalog/Database/Table 注意：此字段可能返回 null，表示取不到有效值。 示例值：Table |
| Catalog | String | 否 | Catalog名称 注意：此字段可能返回 null，表示取不到有效值。 示例值： DataLakeCatalog |
| Database | String | 否 | 数据库名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：dbtest |
| Table | String | 否 | 表名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：tbtest |
| AppId | String | 否 | 用户appid 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
SparkJobInfo
spark作业详情。
被如下接口引用：DescribeSparkAppJob, DescribeSparkAppJobs。
| 名称 | 类型 | 描述 |
|---|---|---|
| JobId | String | spark作业ID 示例值：4a7cad6bb86211ec9c616e6f30623d72 |
| JobName | String | spark作业名 示例值：test-app |
| JobType | Integer | spark作业类型，可去1或者2，1表示batch作业， 2表示streaming作业 示例值：1 |
| DataEngine | String | 引擎名 示例值：spark-engine |
| Eni | String | 该字段已下线，请使用字段Datasource 示例值：kafka |
| IsLocal | String | 程序包是否本地上传，cos或者lakefs 示例值：cos |
| JobFile | String | 程序包路径 示例值：cosn://bucket/example.jar |
| RoleArn | Integer | 角色ID 示例值：1 |
| MainClass | String | spark作业运行主类 示例值：org.tencent.Example |
| CmdArgs | String | 命令行参数，spark作业命令行参数，空格分隔 示例值：1 2 |
| JobConf | String | spark原生配置，换行符分隔 示例值：spark.network.timeout=120s |
| IsLocalJars | String | 依赖jars是否本地上传，cos或者lakefs 示例值：cos |
| JobJars | String | spark作业依赖jars，逗号分隔 示例值：example.jar |
| IsLocalFiles | String | 依赖文件是否本地上传，cos或者lakefs 示例值：cos |
| JobFiles | String | spark作业依赖文件，逗号分隔 示例值：cos |
| JobDriverSize | String | spark作业driver资源大小 示例值：small |
| JobExecutorSize | String | spark作业executor资源大小 示例值：small |
| JobExecutorNums | Integer | spark作业executor个数 示例值：1 |
| JobMaxAttempts | Integer | spark流任务最大重试次数 示例值：3 |
| JobCreator | String | spark作业创建者 示例值：test |
| JobCreateTime | Integer | spark作业创建时间 示例值：1 |
| JobUpdateTime | Integer | spark作业更新时间 示例值：1 |
| CurrentTaskId | String | spark作业最近任务ID 示例值：4a7cad6bb86211ec9c616e6f30623d72 |
| JobStatus | Integer | spark作业最近运行状态，初始化：0，运行中：1，成功：2，数据写入中： 3， 排队中： 4， 失败： -1， 已删除： -3，已过期： -5 示例值：0 |
| StreamingStat | StreamingStatistics | spark流作业统计 注意：此字段可能返回 null，表示取不到有效值。 |
| DataSource | String | 数据源名 注意：此字段可能返回 null，表示取不到有效值。 示例值：kafka-datasource |
| IsLocalPythonFiles | String | pyspark：依赖上传方式，1、cos；2、lakefs（控制台使用，该方式不支持直接接口调用） 注意：此字段可能返回 null，表示取不到有效值。 示例值：cos |
| AppPythonFiles | String | 注：该返回值已废弃 注意：此字段可能返回 null，表示取不到有效值。 示例值：test.py |
| IsLocalArchives | String | archives：依赖上传方式，1、cos；2、lakefs（控制台使用，该方式不支持直接接口调用） 注意：此字段可能返回 null，表示取不到有效值。 示例值：cos |
| JobArchives | String | archives：依赖资源 注意：此字段可能返回 null，表示取不到有效值。 示例值：file1.tar.gz#abc |
| SparkImage | String | Spark Image 版本 注意：此字段可能返回 null，表示取不到有效值。 示例值：1.0 |
| JobPythonFiles | String | pyspark：python依赖, 除py文件外，还支持zip/egg等归档格式，多文件以逗号分隔 注意：此字段可能返回 null，表示取不到有效值。 示例值：test.py |
| TaskNum | Integer | 当前job正在运行或准备运行的任务个数 注意：此字段可能返回 null，表示取不到有效值。 示例值：5 |
| DataEngineStatus | Integer | 引擎状态：-100（默认：未知状态），-2~11：引擎正常状态； 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| JobExecutorMaxNumbers | Integer | 指定的Executor数量（最大值），默认为1，当开启动态分配有效，若未开启，则该值等于JobExecutorNums 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| SparkImageVersion | String | 镜像版本 注意：此字段可能返回 null，表示取不到有效值。 示例值：pyspark3.2 |
| SessionId | String | 查询脚本关联id 注意：此字段可能返回 null，表示取不到有效值。 示例值：931a72aa-4f83-4d6a-adf1-2sdda0234a655 |
| DataEngineClusterType | String | spark_emr_livy 注意：此字段可能返回 null，表示取不到有效值。 示例值：引擎类型 |
| DataEngineImageVersion | String | Spark 3.2-EMR 注意：此字段可能返回 null，表示取不到有效值。 示例值：引擎镜像版本 |
| IsInherit | Integer | 任务资源配置是否继承集群模板，0（默认）不继承，1：继承 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
| IsSessionStarted | Boolean | 是否使用session脚本的sql运行任务：false：否，true：是 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| EngineTypeDetail | String | 引擎详细类型：SparkSQL、PrestoSQL、SparkBatch、StandardSpark、StandardPresto 注意：此字段可能返回 null，表示取不到有效值。 示例值：SparkSQL |
SparkMonitorMetrics
Spark监控数据
被如下接口引用：DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| ShuffleWriteBytesCos | Integer | shuffle写溢出到COS数据量，单位：byte 注意：此字段可能返回 null，表示取不到有效值。 |
| ShuffleWriteBytesTotal | Integer | shuffle写数据量，单位：byte 注意：此字段可能返回 null，表示取不到有效值。 |
SparkSessionBatchLog
SparkSQL批任务运行日志
被如下接口引用：DescribeSparkSessionBatchSqlLog。
| 名称 | 类型 | 描述 |
|---|---|---|
| Step | String | 日志步骤：BEG/CS/DS/DSS/DSF/FINF/RTO/CANCEL/CT/DT/DTS/DTF/FINT/EXCE 注意：此字段可能返回 null，表示取不到有效值。 示例值：BEG |
| Time | String | 时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：2023-03-20 12:12:12 |
| Message | String | 日志提示 注意：此字段可能返回 null，表示取不到有效值。 示例值：开始 |
| Operate | Array of SparkSessionBatchLogOperate | 日志操作 注意：此字段可能返回 null，表示取不到有效值。 示例值：复杂类型 |
SparkSessionBatchLogOperate
SparkSQL批任务日志操作信息。
被如下接口引用：DescribeSparkSessionBatchSqlLog。
| 名称 | 类型 | 描述 |
|---|---|---|
| Text | String | 操作提示 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| Operate | String | 操作类型：COPY、LOG、UI、RESULT、List、TAB 注意：此字段可能返回 null，表示取不到有效值。 示例值：COPY |
| Supplement | Array of KVPair | 补充信息：如：taskid、sessionid、sparkui等 注意：此字段可能返回 null，表示取不到有效值。 示例值：d3018ad4-9a7e-4f64-a3f4-f38507c69742 |
StatementInformation
statement信息
被如下接口引用：CreateSparkSessionBatchSQL。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | SQL任务唯一ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：09ei23ea-d6c0-4cd9-bbed-2e909jef04dc |
| SQL | String | SQL内容 注意：此字段可能返回 null，表示取不到有效值。 示例值：select 1; |
StatementOutput
notebook session statement输出信息。
被如下接口引用：CreateNotebookSessionStatement, DescribeNotebookSessionStatement。
| 名称 | 类型 | 描述 |
|---|---|---|
| ExecutionCount | Integer | 执行总数 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| Data | Array of KVPair | Statement数据 注意：此字段可能返回 null，表示取不到有效值。 示例值：["key":"testKey","value":"testValue"] |
| Status | String | Statement状态:ok,error 注意：此字段可能返回 null，表示取不到有效值。 示例值：ok |
| ErrorName | String | 错误名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：compute fail |
| ErrorValue | String | 错误类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：InternalError |
| ErrorMessage | Array of String | 错误堆栈信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：["internal Error"] |
| SQLResult | String | SQL类型任务结果返回 注意：此字段可能返回 null，表示取不到有效值。 示例值：{ "application/json":{ "schema":{ "type":"struct", "fields":[ { "name":"1", "type":"integer", "nullable":false, "metadata":{ } } ] } } } |
StreamingStatistics
spark流任务统计信息
被如下接口引用：DescribeSparkAppJob, DescribeSparkAppJobs。
| 名称 | 类型 | 描述 |
|---|---|---|
| StartTime | String | 任务开始时间 示例值：2022-05-16 00:00:00 |
| Receivers | Integer | 数据接收器数 示例值：1 |
| NumActiveReceivers | Integer | 运行中的接收器数 示例值：1 |
| NumInactiveReceivers | Integer | 不活跃的接收器数 示例值：0 |
| NumActiveBatches | Integer | 运行中的批数 示例值：1 |
| NumRetainedCompletedBatches | Integer | 待处理的批数 示例值：1 |
| NumTotalCompletedBatches | Integer | 已完成的批数 示例值：1 |
| AverageInputRate | Float | 平均输入速率 示例值：0.2 |
| AverageSchedulingDelay | Float | 平均等待时长 示例值：1.0 |
| AverageProcessingTime | Float | 平均处理时长 示例值：2.0 |
| AverageTotalDelay | Float | 平均延时 示例值：3.0 |
TCHouseD
Doirs数据源详细信息
被如下接口引用：DescribeDatasourceConnection。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 否 | 数据源实例的唯一ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：datasource-test |
| InstanceName | String | 否 | 数据源名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：test_datasource |
| JdbcUrl | String | 否 | 数据源的JDBC 注意：此字段可能返回 null，表示取不到有效值。 示例值：jdbc:mysql// |
| User | String | 否 | 用于访问数据源的用户 注意：此字段可能返回 null，表示取不到有效值。 示例值：root |
| Password | String | 否 | 数据源访问密码，需要base64编码 注意：此字段可能返回 null，表示取不到有效值。 示例值：xaskdowq+= |
| Location | DatasourceConnectionLocation | 否 | 数据源的VPC和子网信息 注意：此字段可能返回 null，表示取不到有效值。 |
| DbName | String | 否 | 默认数据库名 注意：此字段可能返回 null，表示取不到有效值。 示例值：default |
| AccessInfo | String | 否 | 访问信息 注意：此字段可能返回 null，表示取不到有效值。 示例值："[{"address":"10.0.0.6:9030","protocol":"tcp"},{"address":"10.0.0.6:8030","protocol":"http"},{"address":"10.0.0.6:8040","protocol":"be_http"}]" |
TColumn
表字段描述信息
被如下接口引用：AssignMangedTableProperties, CreateInternalTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 字段名称 注意：此字段可能返回 null，表示取不到有效值。 |
| Type | String | 是 | 字段类型 注意：此字段可能返回 null，表示取不到有效值。 |
| Comment | String | 否 | 字段描述 注意：此字段可能返回 null，表示取不到有效值。 |
| Default | String | 否 | 字段默认值 注意：此字段可能返回 null，表示取不到有效值。 |
| NotNull | Boolean | 否 | 字段是否是非空 注意：此字段可能返回 null，表示取不到有效值。 |
| Precision | Integer | 否 | 表示整个 numeric 的长度,取值1-38 注意：此字段可能返回 null，表示取不到有效值。 |
| Scale | Integer | 否 | 表示小数部分的长度 Scale小于Precision 注意：此字段可能返回 null，表示取不到有效值。 |
| Position | Integer | 否 | 字段位置，小的在前 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| IsPartition | Boolean | 否 | 是否为分区字段 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
TPartition
表分区字段信息
被如下接口引用：AssignMangedTableProperties, CreateInternalTable, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 字段名称 |
| Type | String | 否 | 字段类型 |
| Comment | String | 否 | 字段描述 |
| PartitionType | String | 否 | 分区类型 |
| PartitionFormat | String | 否 | 分区格式 |
| PartitionDot | Integer | 否 | 分区分隔数 |
| Transform | String | 否 | 分区转换策略 |
| TransformArgs | Array of String | 否 | 策略参数 |
TableBaseInfo
数据表配置信息
被如下接口引用：AssignMangedTableProperties, CreateInternalTable, CreateTable, DeleteTable, DescribeTable, DescribeTables, GenerateCreateMangedTableSql。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 该数据表所属数据库名字 示例值：database1 |
| TableName | String | 是 | 数据表名字 示例值：table |
| DatasourceConnectionName | String | 否 | 该数据表所属数据源名字 注意：此字段可能返回 null，表示取不到有效值。 示例值：CosDataCatalog |
| TableComment | String | 否 | 该数据表备注 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| Type | String | 否 | 具体类型，表or视图 注意：此字段可能返回 null，表示取不到有效值。 示例值：table |
| TableFormat | String | 否 | 数据格式类型，hive，iceberg等 注意：此字段可能返回 null，表示取不到有效值。 示例值：hive |
| UserAlias | String | 否 | 建表用户昵称 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| UserSubUin | String | 否 | 建表用户ID 注意：此字段可能返回 null，表示取不到有效值。 示例值：100019878767 |
| SmartPolicy | SmartPolicy | 否 | 智能数据治理配置项 注意：此字段可能返回 null，表示取不到有效值。 |
TableInfo
返回数据表的相关信息。
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TableBaseInfo | TableBaseInfo | 是 | 数据表配置信息。 |
| DataFormat | DataFormat | 是 | 数据表格式。每次入参可选如下其一的KV结构，[TextFile，CSV，Json, Parquet, ORC, AVRD]。 |
| Columns | Array of Column | 是 | 数据表列信息。 |
| Partitions | Array of Partition | 是 | 数据表分块信息。 |
| Location | String | 是 | 数据存储路径。当前仅支持cos路径，格式如下：cosn://bucket-name/filepath。 示例值：cosn://test-bucket-1123423/csvdata/ |
TableResponseInfo
查询表信息对象
被如下接口引用：DescribeTable, DescribeTables。
| 名称 | 类型 | 描述 |
|---|---|---|
| TableBaseInfo | TableBaseInfo | 数据表基本信息。 示例值：{} |
| Columns | Array of Column | 数据表列信息。 注意：此字段可能返回 null，表示取不到有效值。 示例值：{} |
| Partitions | Array of Partition | 数据表分块信息。 注意：此字段可能返回 null，表示取不到有效值。 示例值：{} |
| Location | String | 数据存储路径。 注意：此字段可能返回 null，表示取不到有效值。 示例值：cosn://test-bucket-123242/csvdata/ |
| Properties | Array of Property | 数据表属性信息。 注意：此字段可能返回 null，表示取不到有效值。 示例值：{} |
| ModifiedTime | String | 数据表更新时间, 单位: ms。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611579344000 |
| CreateTime | String | 数据表创建时间,单位: ms。 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611579344000 |
| InputFormat | String | 数据格式。 注意：此字段可能返回 null，表示取不到有效值。 示例值：org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat |
| StorageSize | Integer | 数据表存储大小（单位：Byte） 注意：此字段可能返回 null，表示取不到有效值。 示例值：1024 |
| RecordCount | Integer | 数据表行数 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
| MapMaterializedViewName | String | xxxx 注意：此字段可能返回 null，表示取不到有效值。 示例值：DataLakeCatalog |
| HeatValue | Integer | 访问热点 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
TagInfo
标签对信息
被如下接口引用：CreateDataEngine, DescribeDataEngine, DescribeDataEngines。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TagKey | String | 否 | 标签键 注意：此字段可能返回 null，表示取不到有效值。 示例值：tagKey1 |
| TagValue | String | 否 | 标签值 注意：此字段可能返回 null，表示取不到有效值。 示例值：tagValue1 |
Task
任务类型，任务如SQL查询等。
被如下接口引用：CreateTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SQLTask | SQLTask | 否 | SQL查询任务 |
| SparkSQLTask | SQLTask | 否 | Spark SQL查询任务 |
TaskResponseInfo
任务实例。
被如下接口引用：DescribeSparkAppTasks, DescribeTasks。
| 名称 | 类型 | 描述 |
|---|---|---|
| DatabaseName | String | 任务所属Database的名称。 示例值：database1 |
| DataAmount | Integer | 任务数据量。 示例值：1024 |
| Id | String | 任务Id。 示例值：89570c65-49de-4bbd-ac0a-a67c724fc80f |
| UsedTime | Integer | 计算耗时，单位： ms 示例值：60000 |
| OutputPath | String | 任务输出路径。 示例值：cosn://test-bucket-123434324234/result/ |
| CreateTime | String | 任务创建时间。 示例值：1611646962000 |
| State | Integer | 任务状态：0 初始化， 1 执行中， 2 执行成功，3 数据写入中，4 排队中。-1 执行失败，-3 已取消。 示例值：2 |
| SQLType | String | 任务SQL类型，DDL|DML等 示例值：DDL |
| SQL | String | 任务SQL语句 示例值：U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| ResultExpired | Boolean | 结果是否过期。 示例值：false |
| RowAffectInfo | String | 数据影响统计信息。 示例值：500 rows selected (0.077 seconds) |
| DataSet | String | 任务结果数据表。 注意：此字段可能返回 null，表示取不到有效值。 示例值：{"Schema":["name","age"],"Data":[{"name":"29","age":"Michael"}]} |
| Error | String | 失败信息, 例如：errorMessage。该字段已废弃。 示例值："" |
| Percentage | Integer | 任务执行进度num/100(%) 示例值：100 |
| OutputMessage | String | 任务执行输出信息。 示例值："" |
| TaskType | String | 执行SQL的引擎类型 示例值："" |
| ProgressDetail | String | 任务进度明细 注意：此字段可能返回 null，表示取不到有效值。 示例值：[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks" |
| UpdateTime | String | 任务结束时间 注意：此字段可能返回 null，表示取不到有效值。 示例值：1611646962000 |
| DataEngineId | String | 计算资源id 注意：此字段可能返回 null，表示取不到有效值。 示例值：resource-1gghpd1t |
| OperateUin | String | 执行sql的子uin 注意：此字段可能返回 null，表示取不到有效值。 示例值：**** |
| DataEngineName | String | 计算资源名字 注意：此字段可能返回 null，表示取不到有效值。 示例值：shared_presto |
| InputType | String | 导入类型是本地导入还是cos 注意：此字段可能返回 null，表示取不到有效值。 示例值：local |
| InputConf | String | 导入配置 注意：此字段可能返回 null，表示取不到有效值。 示例值：[{"Key":"paths","Value":"lakefs://20000003366d155f79a522c8349496 |
| DataNumber | Integer | 数据条数 注意：此字段可能返回 null，表示取不到有效值。 示例值：111 |
| CanDownload | Boolean | 查询数据能不能下载 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| UserAlias | String | 用户别名 注意：此字段可能返回 null，表示取不到有效值。 示例值：testname |
| SparkJobName | String | spark应用作业名 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark_app |
| SparkJobId | String | spark应用作业Id 注意：此字段可能返回 null，表示取不到有效值。 示例值：batch_sdafa |
| SparkJobFile | String | spark应用入口jar文件 注意：此字段可能返回 null，表示取不到有效值。 示例值：example.jar |
| UiUrl | String | spark ui url 注意：此字段可能返回 null，表示取不到有效值。 示例值：https://dlc-spark-ui.cloud.tencent.com/history/spark-893c606226b |
| TotalTime | Integer | 任务耗时，单位： ms 注意：此字段可能返回 null，表示取不到有效值。 示例值：80000 |
| CmdArgs | String | spark app job执行task的程序入口参数 注意：此字段可能返回 null，表示取不到有效值。 示例值：spark.sql.shuffle.partitions |
| ImageVersion | String | 集群镜像大版本名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：SuperSQL P 1.0 |
| DriverSize | String | driver规格：small,medium,large,xlarge；内存型(引擎类型)：m.small,m.medium,m.large,m.xlarge 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorSize | String | executor规格：small,medium,large,xlarge；内存型(引擎类型)：m.small,m.medium,m.large,m.xlarge 注意：此字段可能返回 null，表示取不到有效值。 示例值：small |
| ExecutorNums | Integer | 指定executor数量，最小值为1，最大值小于集群规格 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| ExecutorMaxNumbers | Integer | 指定executor max数量（动态配置场景下），最小值为1，最大值小于集群规格（当ExecutorMaxNumbers小于ExecutorNums时，改值设定为ExecutorNums） 注意：此字段可能返回 null，表示取不到有效值。 示例值：1 |
| CommonMetrics | CommonMetrics | 任务公共指标数据 注意：此字段可能返回 null，表示取不到有效值。 |
| SparkMonitorMetrics | SparkMonitorMetrics | spark任务指标数据 注意：此字段可能返回 null，表示取不到有效值。 |
| PrestoMonitorMetrics | PrestoMonitorMetrics | presto任务指标数据 注意：此字段可能返回 null，表示取不到有效值。 |
| ResultFormat | String | 结果文件格式：默认为csv 注意：此字段可能返回 null，表示取不到有效值。 示例值：csv |
| EngineTypeDetail | String | 引擎类型，SparkSQL：SparkSQL 引擎；SparkBatch：Spark作业引擎；PrestoSQL：Presto引擎 注意：此字段可能返回 null，表示取不到有效值。 示例值：SparkSQL |
| ResourceGroupName | String | spark引擎资源组名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：ResourceGroupName1 |
TaskResultInfo
任务结果信息。
被如下接口引用：DescribeTaskResult。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskId | String | 任务唯一ID 示例值：fdd9c5fa21ca11eca6fb5254006c64af |
| DatasourceConnectionName | String | 数据源名称，当前任务执行时候选中的默认数据源 注意：此字段可能返回 null，表示取不到有效值。 示例值：COSDataCatalog |
| DatabaseName | String | 数据库名称，当前任务执行时候选中的默认数据库 注意：此字段可能返回 null，表示取不到有效值。 示例值：database1 |
| SQL | String | 当前执行的SQL，一个任务包含一个SQL 示例值：select * from test limit 10; |
| SQLType | String | 执行任务的类型，现在分为DDL、DML、DQL 示例值：DDL |
| State | Integer | 任务当前的状态，0：初始化 1：任务运行中 2：任务执行成功 3：数据写入中 4：排队中 -1：任务执行失败 -3：用户手动终止 。只有任务执行成功的情况下，才会返回任务执行的结果 示例值：2 |
| DataAmount | Integer | 扫描的数据量，单位byte 示例值：1024 |
| UsedTime | Integer | 计算耗时，单位： ms 示例值：42 |
| OutputPath | String | 任务结果输出的COS桶地址 示例值：cosn://dlc-nj-125849872/test/DLCQueryResults/2021/09/ |
| CreateTime | String | 任务创建时间，时间戳 示例值：1632991895728 |
| OutputMessage | String | 任务执行信息，成功时返回success，失败时返回失败原因 示例值：success |
| RowAffectInfo | String | 被影响的行数 示例值：OK, No rows affected (0.000000 seconds) |
| ResultSchema | Array of Column | 结果的schema信息 注意：此字段可能返回 null，表示取不到有效值。 |
| ResultSet | String | 结果信息，反转义后，外层数组的每个元素为一行数据 注意：此字段可能返回 null，表示取不到有效值。 示例值：[["3","kk"],["3","kk"]] |
| NextToken | String | 分页信息，如果没有更多结果数据，nextToken为空 示例值：nextMarker=\u0026nextKey=test/DLCQueryResults/2021/10/15/2c60388 |
| Percentage | Integer | 任务执行进度num/100(%) 示例值：100 |
| ProgressDetail | String | 任务进度明细 示例值：[{"jobId":1,"stages":[{"stageId":1,"numTasks":3,"numActiveTasks" |
| DisplayFormat | String | 控制台展示格式。table：表格展示 text：文本展示 示例值：table |
| TotalTime | Integer | 任务耗时，单位： ms 示例值：1000 |
| QueryResultTime | Float | 获取结果消耗的时间 注意：此字段可能返回 null，表示取不到有效值。 |
TasksInfo
批量顺序执行任务集合
被如下接口引用：CreateTasks, CreateTasksInOrder。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TaskType | String | 是 | 任务类型，SQLTask：SQL查询任务。SparkSQLTask：Spark SQL查询任务 示例值：SQLTask |
| FailureTolerance | String | 是 | 容错策略。Proceed：前面任务出错/取消后继续执行后面的任务。Terminate：前面的任务出错/取消之后终止后面任务的执行，后面的任务全部标记为已取消。 示例值：Proceed |
| SQL | String | 是 | base64加密后的SQL语句，用";"号分隔每个SQL语句，一次最多提交50个任务。严格按照前后顺序执行 示例值：U0VMRUNUICogRlJPTSBgdGVzdGA7 |
| Config | Array of KVPair | 否 | 任务的配置信息，当前仅支持SparkSQLTask任务。 |
| Params | Array of KVPair | 否 | 任务的用户自定义参数信息 |
TasksOverview
任务概览
被如下接口引用：DescribeTasks, DescribeTasksOverview。
| 名称 | 类型 | 描述 |
|---|---|---|
| TaskQueuedCount | Integer | 正在排队的任务个数 示例值：1 |
| TaskInitCount | Integer | 初始化的任务个数 示例值：1 |
| TaskRunningCount | Integer | 正在执行的任务个数 示例值：1 |
| TotalTaskCount | Integer | 当前时间范围的总任务个数 示例值：1 |
TextFile
文本格式
被如下接口引用：CreateTable。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Format | String | 否 | 文本类型，本参数取值为TextFile。 示例值：TextFile |
| Regex | String | 否 | 处理文本用的正则表达式。 注意：此字段可能返回 null，表示取不到有效值。 示例值："("[^]]") ("[0-9]") (-|[^ ]*)" |
UserDetailInfo
用户详细信息
被如下接口引用：DescribeUserInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id 注意：此字段可能返回 null，表示取不到有效值。 示例值：1208763821 |
| Type | String | 返回的信息类型，Group：返回的当前用户的工作组信息；DataAuth：返回的当前用户的数据权限信息；EngineAuth：返回的当前用户的引擎权限信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：Group |
| UserType | String | 用户类型：ADMIN：管理员 COMMON：一般用户 注意：此字段可能返回 null，表示取不到有效值。 示例值：ADMIN |
| UserDescription | String | 用户描述信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：testUser |
| DataPolicyInfo | Policys | 数据权限信息集合 注意：此字段可能返回 null，表示取不到有效值。 |
| EnginePolicyInfo | Policys | 引擎权限集合 注意：此字段可能返回 null，表示取不到有效值。 |
| WorkGroupInfo | WorkGroups | 绑定到该用户的工作组集合信息 注意：此字段可能返回 null，表示取不到有效值。 |
| UserAlias | String | 用户别名 注意：此字段可能返回 null，表示取不到有效值。 示例值：testname |
| RowFilterInfo | Policys | 行过滤集合 注意：此字段可能返回 null，表示取不到有效值。 |
| AccountType | String | 账号类型 注意：此字段可能返回 null，表示取不到有效值。 示例值：UserAccount |
UserIdSetOfWorkGroupId
绑定到同一个工作组的用户Id的集合
被如下接口引用：AddUsersToWorkGroup, DeleteUsersFromWorkGroup。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| WorkGroupId | Integer | 是 | 工作组Id 示例值：1 |
| UserIds | Array of String | 是 | 用户Id集合，和CAM侧Uin匹配 示例值：["12345678"] |
UserInfo
授权用户信息
被如下接口引用：DescribeUsers。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id，和子用户uin相同 示例值：12345678 |
| UserDescription | String | 用户描述信息，方便区分不同用户 注意：此字段可能返回 null，表示取不到有效值。 示例值：测试用户 |
| PolicySet | Array of Policy | 单独给用户绑定的权限集合 注意：此字段可能返回 null，表示取不到有效值。 |
| Creator | String | 当前用户的创建者 示例值：Administrator |
| CreateTime | String | 创建时间，格式如2021-07-28 16:19:32 示例值：2021-07-28 16:19:32 |
| WorkGroupSet | Array of WorkGroupMessage | 关联的工作组集合 注意：此字段可能返回 null，表示取不到有效值。 |
| IsOwner | Boolean | 是否是主账号 注意：此字段可能返回 null，表示取不到有效值。 示例值：false |
| UserType | String | 用户类型。ADMIN：管理员 COMMON：普通用户。 注意：此字段可能返回 null，表示取不到有效值。 示例值：ADMIN |
| UserAlias | String | 用户别名 注意：此字段可能返回 null，表示取不到有效值。 示例值：username |
UserMessage
用户部分信息
被如下接口引用：DescribeWorkGroupInfo, DescribeWorkGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserId | String | 用户Id，和CAM侧子用户Uin匹配 示例值：12345678 |
| UserDescription | String | 用户描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：test user |
| Creator | String | 当前用户的创建者 示例值：Administrator |
| CreateTime | String | 当前用户的创建时间，形如2021-07-28 16:19:32 示例值：2021-07-28 16:19:32 |
| UserAlias | String | 用户别名 示例值：testname |
UserRole
用户角色
被如下接口引用：DescribeUserRoles。
| 名称 | 类型 | 描述 |
|---|---|---|
| RoleId | Integer | 角色ID |
| AppId | String | 用户app ID |
| Uin | String | 用户ID |
| Arn | String | 角色权限 |
| ModifyTime | Integer | 最近修改时间戳 |
| Desc | String | 角色描述信息 |
| RoleName | String | 角色名称 注意：此字段可能返回 null，表示取不到有效值。 |
| Creator | String | 创建者UIN 注意：此字段可能返回 null，表示取不到有效值。 |
| CosPermissionList | Array of CosPermission | cos授权路径列表 注意：此字段可能返回 null，表示取不到有效值。 |
| PermissionJson | String | cam策略json 注意：此字段可能返回 null，表示取不到有效值。 |
Users
用户信息集合
被如下接口引用：DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| UserSet | Array of UserMessage | 用户信息集合 注意：此字段可能返回 null，表示取不到有效值。 |
| TotalCount | Integer | 用户总数 注意：此字段可能返回 null，表示取不到有效值。 示例值：0 |
ViewBaseInfo
视图基本配置信息
被如下接口引用：DescribeViews。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DatabaseName | String | 是 | 该视图所属数据库名字 示例值：database1 |
| ViewName | String | 是 | 视图名称 示例值：view-test |
| UserAlias | String | 否 | 视图创建人昵称 示例值：testUser |
| UserSubUin | String | 否 | 视图创建人ID 示例值：100019878767 |
ViewResponseInfo
查询视图信息对象
被如下接口引用：DescribeViews。
| 名称 | 类型 | 描述 |
|---|---|---|
| ViewBaseInfo | ViewBaseInfo | 视图基本信息。 |
| Columns | Array of Column | 视图列信息。 注意：此字段可能返回 null，表示取不到有效值。 |
| Properties | Array of Property | 视图属性信息。 注意：此字段可能返回 null，表示取不到有效值。 |
| CreateTime | String | 视图创建时间。 示例值：1611646962 |
| ModifiedTime | String | 视图更新时间。 示例值：1611646962 |
VpcCidrBlock
VPC子网信息
被如下接口引用：DescribeOtherCHDFSBindingList。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CidrId | String | 否 | 子网Id 注意：此字段可能返回 null，表示取不到有效值。 |
| CidrAddr | String | 否 | 子网网段 注意：此字段可能返回 null，表示取不到有效值。 |
VpcInfo
vpc信息
被如下接口引用：CreateCHDFSBindingProduct, DeleteCHDFSBindingProduct。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VpcId | String | 否 | vpc Id 注意：此字段可能返回 null，表示取不到有效值。 |
| VpcCidrBlock | String | 否 | vpc子网 注意：此字段可能返回 null，表示取不到有效值。 示例值：10.0.0.1/22 |
| RuleId | Integer | 否 | 规则Id 注意：此字段可能返回 null，表示取不到有效值。 |
| AccessGroupId | String | 否 | 权限组Id 注意：此字段可能返回 null，表示取不到有效值。 |
WorkGroupDetailInfo
工作组详细信息
被如下接口引用：DescribeWorkGroupInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 工作组Id 注意：此字段可能返回 null，表示取不到有效值。 示例值：12 |
| WorkGroupName | String | 工作组名称 注意：此字段可能返回 null，表示取不到有效值。 示例值：testGroup |
| Type | String | 包含的信息类型。User：用户信息；DataAuth：数据权限；EngineAuth:引擎权限 注意：此字段可能返回 null，表示取不到有效值。 示例值：User |
| UserInfo | Users | 工作组上绑定的用户集合 注意：此字段可能返回 null，表示取不到有效值。 |
| DataPolicyInfo | Policys | 数据权限集合 注意：此字段可能返回 null，表示取不到有效值。 |
| EnginePolicyInfo | Policys | 引擎权限集合 注意：此字段可能返回 null，表示取不到有效值。 |
| WorkGroupDescription | String | 工作组描述信息 注意：此字段可能返回 null，表示取不到有效值。 示例值：group for admin |
| RowFilterInfo | Policys | 行过滤信息集合 注意：此字段可能返回 null，表示取不到有效值。 |
| CatalogPolicyInfo | Policy | 数据目录权限集 注意：此字段可能返回 null，表示取不到有效值。 |
WorkGroupIdSetOfUserId
同一个用户绑定的工作组集合
被如下接口引用：BindWorkGroupsToUser, UnbindWorkGroupsFromUser。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| UserId | String | 是 | 用户Id，和CAM侧Uin匹配 示例值：“12345678” |
| WorkGroupIds | Array of Integer | 是 | 工作组Id集合 示例值：[1,2,3] |
WorkGroupInfo
工作组信息
被如下接口引用：DescribeWorkGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 查询到的工作组唯一Id 示例值：1 |
| WorkGroupName | String | 工作组名称 示例值：testGroup |
| WorkGroupDescription | String | 工作组描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| UserNum | Integer | 工作组关联的用户数量 示例值：0 |
| UserSet | Array of UserMessage | 工作组关联的用户集合 注意：此字段可能返回 null，表示取不到有效值。 |
| PolicySet | Array of Policy | 工作组绑定的权限集合 注意：此字段可能返回 null，表示取不到有效值。 |
| Creator | String | 工作组的创建人 示例值：Administrator |
| CreateTime | String | 工作组的创建时间，形如2021-07-28 16:19:32 示例值：2021-07-28 16:19:32 |
WorkGroupMessage
工作组部分信息
被如下接口引用：DescribeUserInfo, DescribeUsers。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupId | Integer | 工作组唯一Id 示例值：1 |
| WorkGroupName | String | 工作组名称 示例值：group1 |
| WorkGroupDescription | String | 工作组描述 注意：此字段可能返回 null，表示取不到有效值。 示例值：test |
| Creator | String | 创建者 示例值：Administrator |
| CreateTime | String | 工作组创建的时间，形如2021-07-28 16:19:32 示例值：2021-07-28 16:19:32 |
WorkGroups
工作组集合
被如下接口引用：DescribeUserInfo。
| 名称 | 类型 | 描述 |
|---|---|---|
| WorkGroupSet | Array of WorkGroupMessage | 工作组信息集合 注意：此字段可能返回 null，表示取不到有效值。 |
| TotalCount | Integer | 工作组总数 注意：此字段可能返回 null，表示取不到有效值。 示例值：10 |
