数据结构

最近更新时间:2025-05-27 01:18:25

我的收藏
  • 展开全部
  • Acl

    ACL对象实体

    被如下接口引用:DescribeACL。

    名称 类型 描述
    ResourceType Integer Acl资源类型,(0:UNKNOWN,1:ANY,2:TOPIC,3:GROUP,4:CLUSTER,5:TRANSACTIONAL_ID)当前只有TOPIC,
    示例值:2
    ResourceName String 资源名称,和resourceType相关如当resourceType为TOPIC时,则该字段表示topic名称,当resourceType为GROUP时,该字段表示group名称
    示例值:topic-test
    Principal String 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户
    示例值:User:
    Host String 默认*,表示任何host都可以访问,当前ckafka不支持host为*,但是后面开源kafka的产品化会直接支持
    示例值:10.0.0.1
    Operation Integer Acl操作方式(0:UNKNOWN,1:ANY,2:ALL,3:READ,4:WRITE,5:CREATE,6:DELETE,7:ALTER,8:DESCRIBE,9:CLUSTER_ACTION,10:DESCRIBE_CONFIGS,11:ALTER_CONFIGS,12:IDEMPOTEN_WRITE)
    示例值:3
    PermissionType Integer 权限类型(0:UNKNOWN,1:ANY,2:DENY,3:ALLOW)
    示例值:3

    AclResponse

    ACL返回结果集

    被如下接口引用:DescribeACL。

    名称 类型 描述
    TotalCount Integer 符合条件的总数据条数
    示例值:1
    AclList Array of Acl ACL列表
    示例值:[{"ResourceType":2,"ResourceName":"topic-test","Principal":"User:user-test","Host":"*","Operation":3,"PermissionType":3}]

    AclRule

    AclRule列表接口出参

    被如下接口引用:DescribeAclRule, DescribeTopicAttributes。

    名称 类型 描述
    RuleName String ACL规则名
    示例值:rulename-test
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    PatternType String ACL规则匹配类型,目前只支持前缀匹配,枚举值列表:PREFIXED
    示例值:PREFIXED
    Pattern String 表示前缀匹配的前缀的值
    示例值:aclPatt
    ResourceType String Acl资源类型,目前只支持Topic,枚举值列表:Topic
    示例值:Topic
    AclList String 该规则所包含的ACL信息
    示例值:[{"host":"*","operation":"Write","permissionType":"Deny","principal":"User:*"}]
    CreateTimeStamp String 规则所创建的时间
    示例值:Sat Apr 03 20:13:03 CST 2021
    IsApplied Integer 预设ACL规则是否应用到新增的topic中
    示例值:1
    UpdateTimeStamp String 规则更新时间
    示例值:Sat Apr 03 20:13:03 CST 2021
    Comment String 规则的备注
    示例值:comment-test
    TopicName String 其中一个显示的对应的TopicName
    示例值:topic-test
    TopicCount Integer 应用该ACL规则的Topic数
    示例值:1
    PatternTypeTitle String patternType的中文显示
    示例值:预设策略

    AclRuleInfo

    表示ACL 规则的四元组信息

    被如下接口引用:BatchCreateAcl, CreateAclRule。

    名称 类型 必选 描述
    Operation String Acl操作方式,枚举值(所有操作: All, 读:Read,写:Write)
    示例值:Read
    PermissionType String 权限类型,(Deny,Allow)
    示例值:Allow
    Host String 默认为*,表示任何host都可以访问,当前ckafka不支持host为* 和 ip网段
    示例值:10.0.0.6
    Principal String 用户列表,默认为User:,表示任何user都可以访问,当前用户只能是用户列表中包含的用户。传入格式需要带【User:】前缀。例如用户A,传入为User:A。
    示例值:User:

    AclRuleResp

    AclRule列表接口返回结果

    被如下接口引用:DescribeAclRule。

    名称 类型 描述
    TotalCount Integer 总数据条数
    示例值:1
    AclRuleList Array of AclRule AclRule列表

    AnalyseParam

    数据处理-解析参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Format String 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取,SOURCE处理上层所有结果
    示例值:JSON
    Regex String 分隔符、正则表达式
    示例值:,
    InputValueType String 需再次处理的KEY——模式
    示例值:JSONPATH
    InputValue String 需再次处理的KEY——KEY表达式
    示例值:$.log

    AppIdResponse

    AppId的查询结果

    被如下接口引用:DescribeAppInfo。

    名称 类型 描述
    TotalCount Integer 符合要求的所有AppId数量
    示例值:1
    AppIdList Array of Integer 符合要求的App Id列表
    示例值:[1000000001]

    Assignment

    存储着分配给该消费者的 partition 信息

    被如下接口引用:DescribeGroupInfo。

    名称 类型 描述
    Version Integer assingment版本信息
    示例值:0
    Topics Array of GroupInfoTopics topic信息列表
    示例值:[{"Topic":"topic-test","Partitions":[0]}]

    BatchAnalyseParam

    批量解析

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Format String ONE_BY_ONE单条输出,MERGE合并输出
    示例值:ONE_BY_ONE

    BatchContent

    批量发送消息内容

    被如下接口引用:SendMessage。

    名称 类型 必选 描述
    Body String 发送的消息体
    示例值:body-test
    Key String 发送消息的键名
    示例值:key-test

    BatchModifyTopicInfo

    批量修改topic参数

    被如下接口引用:BatchModifyTopicAttributes。

    名称 类型 必选 描述
    TopicName String 主题名
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:1
    Note String 备注
    示例值:note-test
    ReplicaNum Integer 副本数
    示例值:2
    CleanUpPolicy String 消息删除策略,可以选择delete 或者compact
    示例值:compact
    MinInsyncReplicas Integer 当producer设置request.required.acks为-1时,min.insync.replicas指定replicas的最小数目
    示例值:1
    UncleanLeaderElectionEnable Boolean 是否允许非ISR的副本成为Leader
    示例值:false
    RetentionMs Integer topic维度的消息保留时间(毫秒)范围1 分钟到90 天
    示例值:3600000
    RetentionBytes Integer topic维度的消息保留大小,范围1 MB到1024 GB
    示例值:1048576
    SegmentMs Integer Segment分片滚动的时长(毫秒),范围1 到90 天
    示例值:86400000
    MaxMessageBytes Integer 批次的消息大小,范围1 KB到12 MB
    示例值:1024
    LogMsgTimestampType String 消息保存的时间类型:CreateTime/LogAppendTime
    示例值:LogAppendTime

    BatchModifyTopicResultDTO

    批量修改topic属性结果

    被如下接口引用:BatchModifyTopicAttributes。

    名称 类型 描述
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    TopicName String 主题名
    示例值:topic-test
    ReturnCode String 操作返回码
    示例值:0
    Message String 操作返回信息
    示例值:success

    BrokerTopicData

    主题占用Broker磁盘大小

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 描述
    TopicName String 主题名称
    示例值:topic-test
    TopicId String 主题Id
    示例值:topic-test
    DataSize Integer 主题占用Broker 容量大小
    示例值:200

    BrokerTopicFlowData

    broker维度topic 流量排行指标

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 必选 描述
    TopicName String 主题名
    示例值:topic-test
    TopicId String 主题Id
    示例值:topic-test
    TopicTraffic String Topic 流量(MB)
    示例值:1.00

    CdcClusterResponse

    创建CDC 标准版共享集群出参

    被如下接口引用:CreateCdcCluster。

    名称 类型 描述
    TaskId Integer 任务ID
    示例值:105

    ClickHouseConnectParam

    ClickHouse连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer ClickHouse的连接port
    示例值:8080
    UserName String ClickHouse连接源的用户名
    示例值:username-test
    Password String ClickHouse连接源的密码
    示例值:password-test
    Resource String ClickHouse连接源的实例资源
    示例值:resource-test
    SelfBuilt Boolean ClickHouse连接源是否为自建集群
    示例值:false
    ServiceVip String ClickHouse连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String ClickHouse连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:true

    ClickHouseModifyConnectParam

    ClickHouse修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String ClickHouse连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer ClickHouse的连接port【不支持修改】
    示例值:8080
    ServiceVip String ClickHouse连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String ClickHouse连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String ClickHouse连接源的用户名
    示例值:username-test
    Password String ClickHouse连接源的密码
    示例值:password-test
    SelfBuilt Boolean ClickHouse连接源是否为自建集群【不支持修改】
    示例值:false
    IsUpdate Boolean 是否更新到关联的Datahub任务,默认为true
    示例值:true

    ClickHouseParam

    ClickHouse类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Cluster String ClickHouse的集群
    示例值:cluster-test
    Database String ClickHouse的数据库名
    示例值:database-test
    Table String ClickHouse的数据表名
    示例值:table-test
    Schema Array of ClickHouseSchema ClickHouse的schema
    示例值:[{"ColumnName":"column_test","JsonKey":"column_test","Type":"String","AllowNull":false}]
    Resource String 实例资源
    示例值:resource-test
    Ip String ClickHouse的连接ip
    示例值:10.0.0.5
    Port Integer ClickHouse的连接port
    示例值:8099
    UserName String ClickHouse的用户名
    示例值:username-test
    Password String ClickHouse的密码
    示例值:password-test
    ServiceVip String 实例vip
    示例值:10.0.0.5
    UniqVpcId String 实例的vpcId
    示例值:vpc-test
    SelfBuilt Boolean 是否为自建集群
    示例值:false
    DropInvalidMessage Boolean ClickHouse是否抛弃解析失败的消息,默认为true
    示例值:true
    Type String ClickHouse 类型,emr-clickhouse : "emr";cdw-clickhouse : "cdwch";自建 : ""
    示例值:emr
    DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
    示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
    BatchSize Integer 每批次投递到 ClickHouse 表消息数量,默认为 1000 条。
    提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
    示例值:1000
    ConsumerFetchMinBytes Integer 每次从 topic 中拉取消息大小,默认为 1MB,即至少要从 topic 中批量拉取 1MB 消息,才进行数据投递到 ClickHouse 操作。
    提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
    示例值:1000000
    ConsumerFetchMaxWaitMs Integer 每次从 topic 拉取消息最大等待时间,当超过当前最大等待时间时,即使没有拉取到 ConsumerFetchMinBytes 大小,也将进行 ClickHouse 投递操作。
    提高该参数值,有利于减少往 ClickHouse 投递的次数,但在错误消息过多及网络不稳定等极端情况下时,可能导致频繁重试影响效率。
    示例值:30000

    ClickHouseSchema

    ClickHouse的Schema

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    ColumnName String 表的列名
    示例值:column_test
    JsonKey String 该列对应的jsonKey名
    示例值:column_test
    Type String 表列项的类型
    示例值:String
    AllowNull Boolean 列项是否允许为空
    示例值:false

    ClsParam

    Cls类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    DecodeJson Boolean 生产的信息是否为json格式
    示例值:true
    Resource String cls日志主题id
    示例值:resource-test
    LogSet String cls日志集id
    示例值:logset-test
    ContentKey String 当DecodeJson为false时必填
    示例值:key-test
    TimeField String 指定消息中的某字段内容作为cls日志的时间。
    字段内容格式需要是秒级时间戳
    示例值:time

    ClusterInfo

    集群信息实体

    被如下接口引用:DescribeCkafkaZone。

    名称 类型 描述
    ClusterId Integer 集群Id
    示例值:6894
    ClusterName String 集群名称
    示例值:100003-ckafka-test
    MaxDiskSize Integer 集群最大磁盘 单位GB
    示例值:198
    MaxBandWidth Integer 集群最大带宽 单位MB/s
    示例值:19
    AvailableDiskSize Integer 集群当前可用磁盘 单位GB
    示例值:198
    AvailableBandWidth Integer 集群当前可用带宽 单位MB/s
    示例值:19
    ZoneId Integer 集群所属可用区,表明集群归属的可用区
    示例值:100003
    ZoneIds Array of Integer 集群节点所在的可用区,若该集群为跨可用区集群,则包含该集群节点所在的多个可用区。
    示例值:[100003,100002]

    Config

    高级配置对象

    被如下接口引用:DescribeTopicAttributes, DescribeTopicDetail。

    名称 类型 描述
    Retention Integer 消息保留时间
    示例值:1
    MinInsyncReplicas Integer 最小同步复制数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    CleanUpPolicy String 日志清理模式,默认 delete。
    delete:日志按保存时间删除;compact:日志按 key 压缩;compact, delete:日志按 key 压缩且会保存时间删除。
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:delete
    SegmentMs Integer Segment 分片滚动的时长
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    UncleanLeaderElectionEnable Integer 0表示 false。 1表示 true。
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:0
    SegmentBytes Integer Segment 分片滚动的字节数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    MaxMessageBytes Integer 最大消息字节数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    RetentionBytes Integer 消息保留文件大小
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:107374
    LogMsgTimestampType String 消息保存的时间类型
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:LogAppendTime

    ConnectResourceResourceIdResp

    返回连接源的Id

    被如下接口引用:CreateConnectResource, DeleteConnectResource, ModifyConnectResource。

    名称 类型 描述
    ResourceId String 连接源的Id
    示例值:resource-test

    Connection

    Connection信息

    被如下接口引用:DescribeDatahubTask。

    名称 类型 描述
    TopicName String 主题名
    示例值:topic-test
    GroupId String 消费组ID
    示例值:group-test
    TopicId String 主题Id
    示例值:topic-test

    ConsumerGroup

    用户组实体

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    ConsumerGroupName String 用户组名称
    示例值:consumerGroup-test
    SubscribedInfo Array of SubscribedInfo 订阅信息实体
    示例值:[{"TopicName":"topic-test","PartitionOffset":[{"Partition":"0","Offset":966186803},{"Partition":"1","Offset":968552882},{"Partition":"2","Offset":957792934}]}]

    ConsumerGroupResponse

    消费组返回结果实体

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    TotalCount Integer 符合条件的消费组数量
    示例值:1
    TopicList Array of ConsumerGroupTopic 主题列表
    GroupList Array of ConsumerGroup 消费分组List
    TotalPartition Integer 所有分区数量
    示例值:0
    PartitionListForMonitor Array of Partition 监控的分区列表
    TotalTopic Integer 主题总数
    示例值:1
    TopicListForMonitor Array of ConsumerGroupTopic 监控的主题列表
    GroupListForMonitor Array of Group 监控的组列表

    ConsumerGroupSpeed

    消费者组消费速度排行

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 描述
    ConsumerGroupName String 消费者组名称
    示例值:consumerGroup-test
    Speed Integer 消费速度 Count/Minute
    示例值:1235

    ConsumerGroupTopic

    消费组主题对象

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    TopicId String 主题ID
    示例值:topic-test
    TopicName String 主题名称
    示例值:topic-test

    ConsumerRecord

    消息记录

    被如下接口引用:FetchDatahubMessageByOffset, FetchLatestDatahubMessageList, FetchMessageByOffset, FetchMessageListByOffset, FetchMessageListByTimestamp。

    名称 类型 描述
    Topic String 主题名
    示例值:topic-test
    Partition Integer 分区id
    示例值:0
    Offset Integer 位点
    示例值:0
    Key String 消息key
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:key-test
    Value String 消息value
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:value-test
    Timestamp Integer 消息时间戳
    示例值:1657542315
    Headers String 消息headers
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:header-test

    CosParam

    Cos Datahub 任务接入参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    BucketName String cos 存储桶名称
    示例值:bucket-name-test
    Region String 地域代码
    示例值:ap-guangzhou
    ObjectKey String 对象名称
    示例值:key-test
    AggregateBatchSize Integer 汇聚消息量的大小(单位:MB)
    示例值:100
    AggregateInterval Integer 汇聚的时间间隔(单位:小时)
    示例值:1
    FormatOutputType String 消息汇聚后的文件格式(支持csv, json)
    示例值:json
    ObjectKeyPrefix String 转储的对象目录前缀
    示例值:prefix-test
    DirectoryTimeFormat String 根据strptime 时间格式化的分区格式
    示例值:/%Y/%m/%d/%H

    CreateDatahubTaskRes

    创建数据转储返回值

    被如下接口引用:CreateDatahubTask。

    名称 类型 描述
    TaskId String 转储任务id
    示例值:task-test
    DatahubId String 数据转储Id
    示例值:task-test

    CreateInstancePostData

    创建后付费接口返回的 Data 数据结构

    被如下接口引用:CreatePostPaidInstance。

    名称 类型 描述
    FlowId Integer CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。
    示例值:0
    DealNames Array of String 订单号列表
    示例值:["20230608002033882210000"]
    InstanceId String ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id
    示例值:ckafka-test
    DealNameInstanceIdMapping Array of DealInstanceDTO 订单和购买实例对应映射列表
    示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]

    CreateInstancePostResp

    后付费实例相关接口返回结构

    被如下接口引用:CreatePostPaidInstance。

    名称 类型 描述
    ReturnCode String 返回的code,0为正常,非0为错误
    示例值:0
    ReturnMessage String 接口返回消息,当接口报错时提示错误信息
    示例值:success
    Data CreateInstancePostData 返回的Data数据
    示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]}

    CreateInstancePreData

    创建预付费接口返回的Data

    被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。

    名称 类型 描述
    FlowId Integer CreateInstancePre返回固定为0,不能作为CheckTaskStatus的查询条件。只是为了保证和后台数据结构对齐。
    示例值:0
    DealNames Array of String 订单号列表
    示例值:["20230608002033882210000"]
    InstanceId String ckafka集群实例Id,当购买多个实例时,默认返回购买的第一个实例 id
    示例值:ckafka-test
    DealNameInstanceIdMapping Array of DealInstanceDTO 订单和购买实例对应映射列表
    示例值:[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]

    CreateInstancePreResp

    预付费实例相关接口返回结构

    被如下接口引用:CreateInstancePre, DeleteInstancePre, ModifyInstancePre。

    名称 类型 描述
    ReturnCode String 返回的code,0为正常,非0为错误
    示例值:0
    ReturnMessage String 成功消息
    示例值:success
    Data CreateInstancePreData 操作型返回的Data数据
    示例值:{"FlowId":0,"DealNames":["20230608002033882210000"],"InstanceId":"ckafka-test","DealNameInstanceIdMapping":[{"DealName":"20230608002033882210000","InstanceIdList":["ckafka-test"]}]}

    CreateTopicResp

    创建主题返回

    被如下接口引用:CreateTopic。

    名称 类型 描述
    TopicId String 主题Id
    示例值:topic-test

    CtsdbConnectParam

    Ctsdb连接源参数

    被如下接口引用:DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer Ctsdb的连接port
    示例值:8080
    ServiceVip String Ctsdb连接源的实例vip
    示例值:10.0.0.31
    UniqVpcId String Ctsdb连接源的vpcId
    示例值:vpc-test
    UserName String Ctsdb连接源的用户名
    示例值:username-test
    Password String Ctsdb连接源的密码
    示例值:password-test
    Resource String Ctsdb连接源的实例资源
    示例值:resource-test

    CtsdbModifyConnectParam

    Ctsdb连接源参数(更新)

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Port Integer Ctsdb的连接port
    示例值:8080
    ServiceVip String Ctsdb连接源的实例vip
    示例值:10.0.0.31
    UniqVpcId String Ctsdb连接源的vpcId
    示例值:vpc-test
    UserName String Ctsdb连接源的用户名
    示例值:username-test
    Password String Ctsdb连接源的密码
    示例值:password-test
    Resource String Ctsdb连接源的实例资源
    示例值:resource-test

    CtsdbParam

    Ctsdb类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Resource String 连接管理实例资源
    示例值:resource-test
    CtsdbMetric String Ctsdb的metric
    示例值:metric-test

    CvmAndIpInfo

    CVM和IP信息

    被如下接口引用:DescribeCvmInfo。

    名称 类型 描述
    CkafkaInstanceId String ckafka集群实例Id
    示例值:ckafka-test
    InstanceId String CVM实例ID
    示例值:ins-test
    Ip String IP地址
    示例值:10.0.0.30

    DatahubResource

    Datahub资源配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask, DescribeDatahubTasks。

    名称 类型 必选 描述
    Type String 资源类型
    示例值:EB
    KafkaParam KafkaParam ckafka配置,Type为KAFKA时必填
    注意:此字段可能返回 null,表示取不到有效值。
    EventBusParam EventBusParam EB配置,Type为EB时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Type":"COS","SelfBuilt":false,"Resource":"resource-test","Namespace":"namespace-test","FunctionName":"function-test","Qualifier":"qualifier-test"}
    MongoDBParam MongoDBParam MongoDB配置,Type为MONGODB时必填
    注意:此字段可能返回 null,表示取不到有效值。
    EsParam EsParam Es配置,Type为ES时必填
    注意:此字段可能返回 null,表示取不到有效值。
    TdwParam TdwParam Tdw配置,Type为TDW时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Bid":"bid-test","Tid":"tid-test","IsDomestic":true,"TdwHost":"tl-tdbank-tdmanager.tencent-distribute.com","TdwPort":8099}
    DtsParam DtsParam Dts配置,Type为DTS时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Ip":"10.0.0.5","Port":8099,"Topic":"topic-test","GroupId":"group-test","GroupUser":"username-test","GroupPassword":"password-test","TranSql":true}
    ClickHouseParam ClickHouseParam ClickHouse配置,Type为CLICKHOUSE时必填
    注意:此字段可能返回 null,表示取不到有效值。
    ClsParam ClsParam Cls配置,Type为CLS时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"DecodeJson":true,"Resource":"resource-test","LogSet":"logset-test","ContentKey":"key-test","TimeField":"time"}
    CosParam CosParam Cos配置,Type为COS时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"BucketName":"bucket-name-test","Region":"ap-guangzhou","ObjectKey":"key-test","AggregateBatchSize":100,"AggregateInterval":1,"FormatOutputType":"json","ObjectKeyPrefix":"prefix-test","DirectoryTimeFormat":"/%Y/%m/%d/%H"}
    MySQLParam MySQLParam MySQL配置,Type为MYSQL时必填
    注意:此字段可能返回 null,表示取不到有效值。
    PostgreSQLParam PostgreSQLParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时必填
    注意:此字段可能返回 null,表示取不到有效值。
    TopicParam TopicParam Topic配置,Type为Topic时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"topic-test","OffsetType":"timestamp","StartTime":1566144000,"TopicId":"topic-test","CompressionType":"none","UseAutoCreateTopic":false,"MsgMultiple":1}
    MariaDBParam MariaDBParam MariaDB配置,Type为MARIADB时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Database":"database-test","Table":"table-test","Resource":"resource-test","SnapshotMode":"initial","KeyColumns":"db1.table2.k1,k2","IsTablePrefix":false,"OutputFormat":"DEFAULT","IncludeContentChanges":"all","IncludeQuery":false,"RecordWithSchema":false}
    SQLServerParam SQLServerParam SQLServer配置,Type为SQLSERVER时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Database":"database-test","Table":"*","Resource":"resource-test","SnapshotMode":"initial"}
    CtsdbParam CtsdbParam Ctsdb配置,Type为CTSDB时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","CtsdbMetric":"metric-test"}
    ScfParam ScfParam Scf配置,Type为SCF时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"FunctionName":"function-test","Namespace":"default","Qualifier":"$DEFAULT","BatchSize":1000,"MaxRetries":5}
    MqttParam MqttParam MQTT配置,Type为 MQTT 时必填
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Topics":"topic-test","CleanSession":true,"Resource":"resource-test","Ip":"10.0.0.5","Port":1883,"UserName":"username-test","Password":"password-test","Qos":1,"MaxTasks":1,"ServiceVip":"10.0.0.30","UniqVpcId":"vpc-test","SelfBuilt":false}

    DatahubTaskIdRes

    Datahub请求的taskid

    被如下接口引用:DeleteDatahubTask, ModifyDatahubTask。

    名称 类型 描述
    TaskId String 任务id
    示例值:task-test

    DatahubTaskInfo

    Datahub任务信息

    被如下接口引用:DescribeDatahubTasks。

    名称 类型 描述
    TaskId String 任务Id
    示例值:task-test
    TaskName String 任务名称
    示例值:task测试
    TaskType String 任务类型,SOURCE数据接入,SINK数据流出
    示例值:SINK
    Status Integer 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败
    示例值:1
    SourceResource DatahubResource 数据源
    TargetResource DatahubResource 数据目标
    CreateTime String 任务创建时间
    示例值:2019-08-19 00:00:00
    ErrorMessage String 异常信息
    示例值:message-test
    TaskProgress Float 创建进度百分比
    示例值:90
    TaskCurrentStep String 任务当前处于的步骤
    示例值:等待连接
    DatahubId String Datahub转储Id
    示例值:datahub-test
    StepList Array of String 步骤列表
    示例值:["step-test"]

    DatahubTopicDTO

    Datahub主题

    被如下接口引用:DescribeDatahubTopics。

    名称 类型 描述
    Name String 名称
    示例值:appId-test
    TopicName String Topic名称
    示例值:topic-test
    TopicId String Topic Id
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:1
    RetentionMs Integer 过期时间
    示例值:3600000
    Note String 备注
    示例值:note-test
    Status Integer 状态,1使用中,2删除中
    示例值:1

    DatahubTopicResp

    Datahub Topic 响应

    被如下接口引用:CreateDatahubTopic。

    名称 类型 描述
    TopicName String 主题名称
    示例值:topic-test
    TopicId String 主题Id
    示例值:topic-test

    DateParam

    数据处理——Value处理参数——转换时间格式参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Format String 时间格式
    示例值:yyyy-MM-dd HH:mm:ss
    TargetType String 输入类型,string,unix时间戳,默认string
    示例值:string
    TimeZone String 时区,默认GMT+8
    示例值:GMT+8

    DealInstanceDTO

    预付费/后付费接口中,订单和 CKafka 实例映射数据结构

    被如下接口引用:CreateInstancePre, CreatePostPaidInstance, DeleteInstancePre, ModifyInstancePre。

    名称 类型 描述
    DealName String 订单流水
    示例值:20230608002033882210000
    InstanceIdList Array of String 订单流水对应购买的 CKafka 实例 id 列表
    示例值:["ckafka-test"]

    DescribeConnectInfoResultDTO

    topic链接信息

    被如下接口引用:DescribeTopicProduceConnection。

    名称 类型 描述
    IpAddr String ip地址
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:10.0.0.1
    Time String 连结时间
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:2020-08-21 11:15:54
    IsUnSupportVersion Boolean 是否支持的版本
    示例值:true

    DescribeConnectResource

    查询连接源具体数据的返参

    被如下接口引用:DescribeConnectResources。

    名称 类型 描述
    ResourceId String 连接源的Id
    示例值:resource-test
    ResourceName String 连接源名称
    示例值:resource-test
    Description String 连接源描述
    示例值:description-test
    Type String 连接源类型
    示例值:KAFKA
    Status Integer 连接源的状态
    示例值:0
    CreateTime String 连接源的创建时间
    示例值:2019-08-19 00:00:00
    ErrorMessage String 连接源的异常信息
    示例值:message-test
    DatahubTaskCount Integer 该连接源关联的Datahub任务数
    示例值:1
    CurrentStep String 连接源的当前所处步骤
    示例值:step-test
    TaskProgress Float 创建进度百分比
    示例值:0
    StepList Array of String 步骤列表
    示例值:["step-test"]
    DtsConnectParam DtsConnectParam Dts配置,Type为DTS时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"}
    MongoDBConnectParam MongoDBConnectParam MongoDB配置,Type为MONGODB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    EsConnectParam EsConnectParam Es配置,Type为ES时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    ClickHouseConnectParam ClickHouseConnectParam ClickHouse配置,Type为CLICKHOUSE时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    MySQLConnectParam MySQLConnectParam MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false}
    PostgreSQLConnectParam PostgreSQLConnectParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false}
    MariaDBConnectParam MariaDBConnectParam MariaDB配置,Type为MARIADB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
    SQLServerConnectParam SQLServerConnectParam SQLServer配置,Type为SQLSERVER时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
    CtsdbConnectParam CtsdbConnectParam Ctsdb配置,Type为CTSDB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"}
    DorisConnectParam DorisConnectParam Doris 配置,Type 为 DORIS 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040}
    KafkaConnectParam KafkaConnectParam Kafka配置,Type 为 KAFKA 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"}
    MqttConnectParam MqttConnectParam MQTT配置,Type 为 MQTT 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"}

    DescribeConnectResourceResp

    查询连接源具体数据的返参

    被如下接口引用:DescribeConnectResource。

    名称 类型 描述
    ResourceId String 连接源的Id
    示例值:resource-test
    ResourceName String 连接源名称
    示例值:resource-test
    Description String 连接源描述
    示例值:description-test
    Type String 连接源类型
    示例值:KAFKA
    Status Integer 连接源的状态
    示例值:0
    CreateTime String 连接源的创建时间
    示例值:2019-08-19 00:00:00
    ErrorMessage String 连接源的异常信息
    示例值:message-test
    CurrentStep String 连接源的当前所处步骤
    示例值:step-test
    StepList Array of String 步骤列表
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:["step-test"]
    MySQLConnectParam MySQLConnectParam MySQL配置,Type为MYSQL或TDSQL_C_MYSQL时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"ClusterId":"cynosdbmysql-test","SelfBuilt":false}
    PostgreSQLConnectParam PostgreSQLConnectParam PostgreSQL配置,Type为POSTGRESQL或TDSQL_C_POSTGRESQL时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","ClusterId":"tdcpg-test","IsUpdate":true,"SelfBuilt":false}
    DtsConnectParam DtsConnectParam Dts配置,Type为DTS时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"GroupId":"group-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"Topic":"topic-test"}
    MongoDBConnectParam MongoDBConnectParam MongoDB配置,Type为MONGODB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    EsConnectParam EsConnectParam Es配置,Type为ES时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    ClickHouseConnectParam ClickHouseConnectParam ClickHouse配置,Type为CLICKHOUSE时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","SelfBuilt":false,"IsUpdate":true}
    MariaDBConnectParam MariaDBConnectParam MariaDB配置,Type为MARIADB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
    SQLServerConnectParam SQLServerConnectParam SQLServer配置,Type为SQLSERVER时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":1433,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true}
    CtsdbConnectParam CtsdbConnectParam Ctsdb配置,Type为CTSDB时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Port":8080,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","Resource":"resource-test"}
    DorisConnectParam DorisConnectParam Doris 配置,Type 为 DORIS 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"resource-test","Port":9030,"ServiceVip":"10.0.0.31","UniqVpcId":"vpc-test","UserName":"username-test","Password":"password-test","IsUpdate":true,"SelfBuilt":false,"BePort":8040}
    KafkaConnectParam KafkaConnectParam Kafka配置,Type 为 KAFKA 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Resource":"ckafka-test","SelfBuilt":true,"IsUpdate":true,"BrokerAddress":"10.0.0.30:9092,10.0.0.31:9092","Region":"ap-guangzhou"}
    MqttConnectParam MqttConnectParam MQTT配置,Type 为 MQTT 时返回
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UserName":"username-test","Password":"password-test","Resource":"resource-test","UniqVpcId":"vpc-test","SelfBuilt":true,"IsUpdate":true,"Region":"ap-guangzhou"}

    DescribeConnectResourcesResp

    查询连接源列表的返参

    被如下接口引用:DescribeConnectResources。

    名称 类型 描述
    TotalCount Integer 连接源个数
    示例值:1
    ConnectResourceList Array of DescribeConnectResource 连接源数据

    DescribeDatahubTaskRes

    查询Datahub任务信息

    被如下接口引用:DescribeDatahubTask。

    名称 类型 描述
    TaskId String 任务ID
    示例值:task-test
    TaskName String 任务名称
    示例值:task-test
    TaskType String 任务类型,SOURCE数据接入,SINK数据流出
    示例值:SINK
    Status Integer 状态,-1创建失败,0创建中,1运行中,2删除中,3已删除,4删除失败,5暂停中,6已暂停,7暂停失败,8恢复中,9恢复失败
    示例值:1
    SourceResource DatahubResource 数据源
    示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}}
    TargetResource DatahubResource 数据目标
    示例值:{"Type":"KAFKA","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"}}
    Connections Array of Connection Connection列表
    示例值:[{"TopicName":"topic-test","GroupId":"group-test","TopicId":"topic-test"}]
    CreateTime String 任务创建时间
    示例值:2019/8/19 00:00:00
    TransformParam TransformParam 消息处理规则
    注意:此字段可能返回 null,表示取不到有效值。
    DatahubId String 数据接入ID
    示例值:task-test
    SchemaId String 绑定的SchemaId
    示例值:schema-test
    SchemaName String 绑定的Schema名称
    示例值:schema-test
    TransformsParam TransformsParam 数据处理规则
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Content":"{"name":"value"}","FieldChain":{"Analyse":{"Format":"JSON"}}}
    ErrorMessage String 异常信息
    示例值:message-test
    Tags Array of Tag 任务标签列表
    示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]

    DescribeDatahubTasksRes

    查询Datahub任务列表

    被如下接口引用:DescribeDatahubTasks。

    名称 类型 描述
    TotalCount Integer 任务总数
    示例值:1
    TaskList Array of DatahubTaskInfo Datahub任务信息列表

    DescribeDatahubTopicResp

    Datahub Topic详情

    被如下接口引用:DescribeDatahubTopic。

    名称 类型 描述
    Name String 名称
    示例值:appId-test
    TopicName String Topic名称
    示例值:topic-test
    TopicId String Topic Id
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:1
    RetentionMs Integer 过期时间
    示例值:3600000
    Note String 备注
    示例值:note-test
    UserName String 用户名
    示例值:username-test
    Password String 密码
    示例值:password-test
    Status Integer 状态,1使用中,2删除中
    示例值:1
    Address String 服务路由地址
    示例值:10.0.0.3

    DescribeDatahubTopicsResp

    Datahub主题列表

    被如下接口引用:DescribeDatahubTopics。

    名称 类型 描述
    TotalCount Integer 总数
    示例值:10
    TopicList Array of DatahubTopicDTO Topic列表
    示例值:[{"Name":"appId-test","TopicName":"topic-test","TopicId":"topic-test","PartitionNum":1,"RetentionMs":1,"Note":"note-test","Status":1}]

    DescribeGroup

    DescribeGroup返回实体

    被如下接口引用:DescribeGroup。

    名称 类型 描述
    Group String 消费分组名称
    示例值:group-test
    Protocol String 该 group 使用的协议。
    示例值:consumer

    DorisConnectParam

    Doris 连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口
    示例值:9030
    UserName String Doris 连接源的用户名
    示例值:username-test
    Password String Doris 连接源的密码
    示例值:password-test
    Resource String Doris 连接源的实例资源
    示例值:resource-test
    ServiceVip String Doris 连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String Doris 连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true
    SelfBuilt Boolean Doris 连接源是否为自建集群
    示例值:false
    BePort Integer Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口
    示例值:8040

    DorisModifyConnectParam

    Doris 连接源修改参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String Doris 连接源的实例资源
    示例值:resource-test
    Port Integer Doris jdbc 负载均衡连接 port,通常映射到 fe 的 9030 端口
    示例值:9030
    ServiceVip String Doris 连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String Doris 连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    UserName String Doris 连接源的用户名
    示例值:username-test
    Password String Doris 连接源的密码
    示例值:password-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true
    SelfBuilt Boolean Doris 连接源是否为自建集群
    示例值:false
    BePort Integer Doris 的 http 负载均衡连接 port,通常映射到 be 的 8040 端口
    示例值:8040

    DropCls

    dip失败消息写入cls的配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    DropInvalidMessageToCls Boolean 是否投递到cls
    示例值:true
    DropClsRegion String 投递cls的地域
    示例值:ap-guangzhou
    DropClsOwneruin String 投递cls的账号
    示例值:10003080064
    DropClsTopicId String 投递cls的主题
    示例值:eafds-vfdfsdf-dbdfsdf
    DropClsLogSet String 投递cls的日志集id
    示例值:wqead-bfdebv-sfds

    DtsConnectParam

    Dts连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer Dts的连接port
    示例值:8080
    GroupId String Dts消费分组的Id
    示例值:group-test
    UserName String Dts消费分组的账号
    示例值:username-test
    Password String Dts消费分组的密码
    示例值:password-test
    Resource String Dts实例Id
    示例值:resource-test
    Topic String Dts订阅的topic
    示例值:topic-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    DtsModifyConnectParam

    Dts修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String Dts实例Id【不支持修改】
    示例值:resource-test
    Port Integer Dts的连接port【不支持修改】
    示例值:8080
    GroupId String Dts消费分组的Id
    示例值:group-test
    UserName String Dts消费分组的账号
    示例值:username-test
    Password String Dts消费分组的密码
    示例值:password-test
    IsUpdate Boolean 是否更新到关联的Datahub任务,默认为true
    示例值:true
    Topic String Dts订阅的topic【不支持修改】
    示例值:topic-test

    DtsParam

    Dts类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Resource String Dts实例Id
    示例值:resource-test
    Ip String Dts的连接ip
    示例值:10.0.0.5
    Port Integer Dts的连接port
    示例值:8099
    Topic String Dts订阅的topic
    示例值:topic-test
    GroupId String Dts消费分组的Id
    示例值:group-test
    GroupUser String Dts消费分组的账号
    示例值:username-test
    GroupPassword String Dts消费分组的密码
    示例值:password-test
    TranSql Boolean false同步原始数据,true同步解析后的json格式数据,默认true
    示例值:true

    DynamicDiskConfig

    动态硬盘扩容配置

    被如下接口引用:DescribeInstanceAttributes。

    名称 类型 必选 描述
    Enable Integer 动态硬盘扩容配置开关(0: 关闭,1: 开启)
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    StepForwardPercentage Integer 每次磁盘动态扩容大小百分比
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:15
    DiskQuotaPercentage Integer 磁盘配额百分比触发条件,即消息达到此值触发硬盘自动扩容事件
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:70
    MaxDiskSpace Integer 最大扩容硬盘大小,以 GB 为单位
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1000

    DynamicRetentionTime

    动态消息保留时间配置

    被如下接口引用:DescribeInstanceAttributes, ModifyInstanceAttributes。

    名称 类型 必选 描述
    Enable Integer 动态消息保留时间配置开关(0: 关闭,1: 开启)
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:0
    DiskQuotaPercentage Integer 磁盘配额百分比触发条件,即消息达到此值触发消息保留时间变更事件
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:75
    StepForwardPercentage Integer 每次向前调整消息保留时间百分比
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:10
    BottomRetention Integer 保底时长,单位分钟
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:360

    EsConnectParam

    Es连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer Es的连接port
    示例值:8080
    UserName String Es连接源的用户名
    示例值:username-test
    Password String Es连接源的密码
    示例值:password-test
    Resource String Es连接源的实例资源
    示例值:resource-test
    SelfBuilt Boolean Es连接源是否为自建集群
    示例值:false
    ServiceVip String Es连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String Es连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:true

    EsModifyConnectParam

    Es修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String Es连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer Es的连接port【不支持修改】
    示例值:8080
    ServiceVip String Es连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String Es连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String Es连接源的用户名
    示例值:username-test
    Password String Es连接源的密码
    示例值:password-test
    SelfBuilt Boolean Es连接源是否为自建集群【不支持修改】
    示例值:false
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    EsParam

    Es类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Resource String Es实例资源Id
    示例值:resource-test
    Port Integer Es的连接port
    示例值:8099
    UserName String Es用户名
    示例值:username-test
    Password String Es密码
    示例值:password-test
    SelfBuilt Boolean 是否为自建集群
    示例值:false
    ServiceVip String 实例vip
    示例值:10.0.0.30
    UniqVpcId String 实例的vpcId
    示例值:vpc-test
    DropInvalidMessage Boolean Es是否抛弃解析失败的消息
    示例值:true
    Index String Es自定义index名称
    示例值:index-test
    DateFormat String Es自定义日期后缀
    示例值:yyyy-MM-dd
    ContentKey String 非json格式数据的自定义key
    示例值:key-test
    DropInvalidJsonMessage Boolean Es是否抛弃非json格式的消息
    示例值:true
    DocumentIdField String 转储到Es中的文档ID取值字段名
    示例值:$.payload.name
    IndexType String Es自定义index名称的类型,STRING,JSONPATH,默认为STRING
    示例值:JSONPATH
    DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
    示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
    DatabasePrimaryKey String 转储到ES的消息为Database的binlog时,如果需要同步数据库操作,即增删改的操作到ES时填写数据库表主键
    示例值:pk_test
    DropDlq FailureParam 死信队列
    示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":2,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"}
    RecordMappingList Array of EsRecordMapping 使用数据订阅格式导入 es 时,消息与 es 索引字段映射关系。不填默认为默认字段匹配
    示例值:[{"ColumnName":"column-test","JsonKey":"key-test"}]
    DateField String 消息要映射为 es 索引中 @timestamp 的字段,如果当前配置为空,则使用消息的时间戳进行映射
    示例值:create_timestamp
    RecordMappingMode String 用来区分当前索引映射,属于新建索引还是存量索引。"EXIST_MAPPING":从存量索引中选择;"NEW_MAPPING":新建索引
    示例值:EXIST_MAPPING

    EsRecordMapping

    消息字段与 es 索引的映射关系

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    ColumnName String es 索引成员名称
    示例值:column-test
    JsonKey String 消息字段名称
    示例值:key-test

    EventBusParam

    EventBus配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Type String 资源类型。COS/ES/CLS
    示例值:COS
    SelfBuilt Boolean 是否为自建集群
    示例值:false
    Resource String 实例资源
    示例值:resource-test
    Namespace String SCF云函数命名空间
    示例值:namespace-test
    FunctionName String SCF云函数函数名
    示例值:function-test
    Qualifier String SCF云函数版本及别名
    示例值:qualifier-test

    FailureParam

    数据处理规则失败处理

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Type String 类型,DLQ死信队列,IGNORE_ERROR保留,DROP丢弃
    示例值:DLQ
    KafkaParam KafkaParam Ckafka类型死信队列
    示例值:{"SelfBuilt":false,"Resource":"ckafka-test"}
    RetryInterval Integer 重试间隔
    示例值:1
    MaxRetryAttempts Integer 重试次数
    示例值:2
    TopicParam TopicParam DIP Topic类型死信队列
    示例值:{"Resource":"appId-test"}
    DlqType String 死信队列类型,CKAFKA,TOPIC
    示例值:TOPIC

    FieldParam

    数据处理——处理链

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Analyse AnalyseParam 解析
    示例值:{"Format":"JSON"}
    SecondaryAnalyse SecondaryAnalyseParam 二次解析
    示例值:{"Regex":","}
    SMT Array of SMTParam 数据处理
    示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
    Result String 测试结果
    示例值:result-test
    AnalyseResult Array of SMTParam 解析结果
    示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
    SecondaryAnalyseResult Array of SMTParam 二次解析结果
    示例值:[{"Key":"key-test","Operate":"MAPPING","SchemeType":"ORIGINAL"}]
    AnalyseJsonResult String JSON格式解析结果
    示例值:result-test
    SecondaryAnalyseJsonResult String JSON格式二次解析结果
    示例值:result-test

    Filter

    查询过滤器

    描述键值对过滤器,用于条件过滤查询。例如过滤ID、名称、状态等

    • 若存在多个Filter时,Filter间的关系为逻辑与(AND)关系。
    • 若同一个Filter存在多个Values,同一FilterValues间的关系为逻辑或(OR)关系。

    被如下接口引用:DescribeGroup, DescribeInstancesDetail, DescribeTopicDetail。

    名称 类型 必选 描述
    Name String 需要过滤的字段。
    示例值:GroupState
    Values Array of String 字段的过滤值。
    示例值:["Empty"]

    FilterMapParam

    过滤器参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Key String Key值
    示例值:key-test
    MatchMode String 匹配模式,前缀匹配PREFIX,后缀匹配SUFFIX,包含匹配CONTAINS,EXCEPT除外匹配,数值匹配NUMBER,IP匹配IP
    示例值:PREFIX
    Value String Value值
    示例值:value-test
    Type String 固定REGULAR
    示例值:REGULAR

    Group

    组实体

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    GroupName String 消费分组名称
    示例值:group-test

    GroupInfoMember

    consumer信息

    被如下接口引用:DescribeGroupInfo。

    名称 类型 描述
    MemberId String coordinator 为消费分组中的消费者生成的唯一 ID
    示例值:consumer-test
    ClientId String 客户消费者 SDK 自己设置的 client.id 信息
    示例值:consumer-client-test
    ClientHost String 一般存储客户的 IP 地址
    示例值:10.0.0.30
    Assignment Assignment 存储着分配给该消费者的 partition 信息
    示例值:{"Version":0,"Topics":[{"Topic":"topic-test","Partitions":[0]}]}

    GroupInfoResponse

    GroupInfo返回数据的实体

    被如下接口引用:DescribeGroupInfo, DescribeTopicSubscribeGroup。

    名称 类型 描述
    ErrorCode String 错误码,正常为0
    示例值:0
    State String group 状态描述(常见的为 Empty、Stable、Dead 三种状态):
    Dead:消费分组不存在
    Empty:消费分组,当前没有任何消费者订阅
    PreparingRebalance:消费分组处于 rebalance 状态
    CompletingRebalance:消费分组处于 rebalance 状态
    Stable:消费分组中各个消费者已经加入,处于稳定状态
    示例值:Stable
    ProtocolType String 消费分组选择的协议类型正常的消费者一般为 consumer 但有些系统采用了自己的协议如 kafka-connect 用的就是 connect。只有标准的 consumer 协议,本接口才知道具体的分配方式的格式,才能解析到具体的 partition 的分配情况
    示例值:consumer
    Protocol String 消费者 partition 分配算法常见的有如下几种(Kafka 消费者 SDK 默认的选择项为 range):range、 roundrobin、 sticky
    示例值:range
    Members Array of GroupInfoMember 仅当 state 为 Stable 且 protocol_type 为 consumer 时, 该数组才包含信息
    示例值:[{"MemberId":"member-test","ClientId":"client-test","ClientHost":"10.0.0.5","Assignment":{"Version":1,"Topics":[{"Topic":"topic-test","Partitions":[0,1,2]}]}}]
    Group String 消费分组名称
    示例值:group-test

    GroupInfoTopics

    GroupInfo内部topic对象

    被如下接口引用:DescribeGroupInfo。

    名称 类型 描述
    Topic String 分配的 topic 名称
    示例值:topic-test
    Partitions Array of Integer 分配的 partition 信息
    示例值:[0]

    GroupOffsetPartition

    组偏移量分区对象

    被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

    名称 类型 描述
    Partition Integer topic 的 partitionId
    示例值:0
    Offset Integer consumer 提交的 offset 位置
    示例值:0
    Metadata String 支持消费者提交消息时,传入 metadata 作为它用,当前一般为空字符串
    示例值:Metadata-test
    ErrorCode Integer 错误码
    示例值:502
    LogEndOffset Integer 当前 partition 最新的 offset
    示例值:118
    Lag Integer 未消费的消息个数
    示例值:1

    GroupOffsetResponse

    消费组偏移量返回结果

    被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

    名称 类型 描述
    TotalCount Integer 符合调节的总结果数
    示例值:1
    TopicList Array of GroupOffsetTopic 该主题分区数组,其中每个元素为一个 json object
    示例值:[{"Partitions":[{"ErrorCode":0,"Lag":1,"LogEndOffset":1,"Metadata":"","Offset":0,"Partition":0}],"Topic":"topic-test"}]

    GroupOffsetTopic

    消费分组主题对象

    被如下接口引用:DescribeDatahubGroupOffsets, DescribeGroupOffsets。

    名称 类型 描述
    Topic String 主题名称
    示例值:topic-test
    Partitions Array of GroupOffsetPartition 该主题分区数组,其中每个元素为一个 json object
    示例值:[{"partition":0,"offset":0,"logEndOffset":0,"lag":1,"errorCode":0,"metadata":"test"}]

    GroupResponse

    DescribeGroup的返回

    被如下接口引用:DescribeGroup。

    名称 类型 描述
    TotalCount Integer 计数
    示例值:1
    GroupList Array of DescribeGroup GroupList
    示例值:[{"Group":"group-test","Protocol":"consumer"}]
    GroupCountQuota Integer 消费分组配额
    示例值:300

    InquireCkafkaPriceResp

    InquireCkafkaPrice接口询价返回值

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 描述
    InstancePrice InquiryPrice 实例价格
    示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}
    PublicNetworkBandwidthPrice InquiryPrice 公网带宽价格
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}

    InquiryBasePrice

    询价返回参数

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 描述
    UnitPrice Float 单位原价
    示例值:1.0
    UnitPriceDiscount Float 折扣单位价格
    示例值:1.0
    OriginalPrice Float 合计原价
    示例值:1.0
    DiscountPrice Float 折扣合计价格
    示例值:1.0
    Discount Float 折扣(单位是%)
    示例值:100.0
    GoodsNum Integer 商品数量
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    Currency String 付费货币
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:CNY
    DiskType String 硬盘专用返回参数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:SSD
    TimeSpan Integer 购买时长
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    TimeUnit String 购买时长单位("m"按月, "h"按小时)
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:m
    Value Integer 购买数量
    示例值:100

    InquiryDetailPrice

    详细类别的价格

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 描述
    BandwidthPrice InquiryBasePrice 额外内网带宽价格
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
    DiskPrice InquiryBasePrice 硬盘价格
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UnitPrice":175,"UnitPriceDiscount":50.1,"OriginalPrice":175,"DiscountPrice":50.1,"Discount":28.3,"GoodsNum":null,"Currency":null,"DiskType":"CLOUD_BASIC","TimeSpan":null,"TimeUnit":null,"Value":500}
    PartitionPrice InquiryBasePrice 额外分区价格
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
    TopicPrice InquiryBasePrice 额外Topic价格
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"DetailPrices":null,"UnitPrice":0,"UnitPriceDiscount":0,"OriginalPrice":0,"DiscountPrice":0,"Discount":100,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":0}
    InstanceTypePrice InquiryBasePrice 实例套餐价格
    示例值:{"DetailPrices":null,"UnitPrice":190,"UnitPriceDiscount":57.56,"OriginalPrice":190,"DiscountPrice":7.56,"Discount":30.3,"GoodsNum":null,"Currency":null,"DiskType":null,"TimeSpan":null,"TimeUnit":null,"Value":1}

    InquiryDiskParam

    购买硬盘参数

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 必选 描述
    DiskType String 购买硬盘类型: SSD(SSD), CLOUD_SSD(SSD云硬盘), CLOUD_PREMIUM(高性能云硬盘), CLOUD_BASIC(云盘)
    示例值:SSD
    DiskSize Integer 购买硬盘大小: 单位GB
    示例值:1

    InquiryPrice

    询价返回参数

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 描述
    UnitPrice Float 单位原价
    示例值:1.0
    UnitPriceDiscount Float 折扣单位价格
    示例值:1.0
    OriginalPrice Float 合计原价
    示例值:1.0
    DiscountPrice Float 折扣合计价格
    示例值:1.0
    Discount Float 折扣(单位是%)
    示例值:100.0
    GoodsNum Integer 商品数量
    示例值:1
    Currency String 付费货币
    示例值:CNY
    DiskType String 硬盘专用返回参数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:SSD
    TimeSpan Integer 购买时长
    示例值:1
    TimeUnit String 购买时长单位("m"按月, "h"按小时)
    示例值:m
    Value Integer 购买数量
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:100
    DetailPrices InquiryDetailPrice 详细类别的价格
    注意:此字段可能返回 null,表示取不到有效值。

    InquiryPublicNetworkParam

    公网带宽参数

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 必选 描述
    PublicNetworkChargeType String 公网计费模式: BANDWIDTH_PREPAID(包年包月), BANDWIDTH_POSTPAID_BY_HOUR(带宽按小时计费)
    示例值:BANDWIDTH_PREPAID
    PublicNetworkMonthly Integer 公网带宽, 单位MB
    示例值:0

    Instance

    实例对象

    被如下接口引用:DescribeInstances, DescribeTypeInstances。

    名称 类型 描述
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    InstanceName String ckafka集群实例Name
    示例值:ckafka测试
    Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
    示例值:1
    IfCommunity Boolean 是否开源实例。开源:true,不开源:false
    示例值:false

    InstanceAttributesResponse

    实例属性返回结果对象

    被如下接口引用:DescribeInstanceAttributes。

    名称 类型 描述
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    InstanceName String ckafka集群实例Name
    示例值:ckafka测试
    VipList Array of VipEntity 接入点 VIP 列表信息
    示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
    Vip String 虚拟IP
    示例值:10.0.0.5
    Vport String 虚拟端口
    示例值:9092
    Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
    示例值:1
    Bandwidth Integer 实例带宽,单位:Mbps
    示例值:100
    DiskSize Integer 实例的存储大小,单位:GB
    示例值:200
    ZoneId Integer 可用区
    示例值:100003
    VpcId String VPC 的 ID,为空表示是基础网络
    示例值:vpc-test
    SubnetId String 子网 ID, 为空表示基础网络
    示例值:subnet-test
    Healthy Integer 实例健康状态, 1:健康,2:告警,3:异常
    示例值:1
    HealthyMessage String 实例健康信息,当前会展示磁盘利用率,最大长度为256
    示例值:healthy
    CreateTime Integer 创建时间
    示例值:2019-08-19 00:00:00
    MsgRetentionTime Integer 消息保存时间,单位为分钟
    示例值:4320
    Config InstanceConfigDO 自动创建 Topic 配置, 若该字段为空,则表示未开启自动创建
    示例值:{"AutoCreateTopicsEnable":false,"DefaultNumPartitions":0,"DefaultReplicationFactor":0}
    RemainderPartitions Integer 剩余创建分区数
    示例值:310
    RemainderTopics Integer 剩余创建主题数
    示例值:190
    CreatedPartitions Integer 当前创建分区数
    示例值:90
    CreatedTopics Integer 当前创建主题数
    示例值:10
    Tags Array of Tag 标签数组
    示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]
    ExpireTime Integer 过期时间
    示例值:1566144000
    ZoneIds Array of Integer 可用区列表
    示例值:[100003,100004]
    Version String ckafka集群实例版本
    示例值:1.1.1
    MaxGroupNum Integer 最大分组数
    示例值:500
    Cvm Integer 售卖类型,0:标准版,1:专业版
    示例值:1
    InstanceType String 类型
    示例值:profession
    Features Array of String 表示该实例支持的特性。FEATURE_SUBNET_ACL:表示acl策略支持设置子网。
    示例值:["FEATURE_TOPIC_QUOTA","CLOUD_EKS_TSE","CLOUD_EKS_CROS_ZONE","FEATURE_SASL_SCRAM"]
    RetentionTimeConfig DynamicRetentionTime 动态消息保留策略
    示例值:{"BottomRetention":360,"DiskQuotaPercentage":75,"Enable":1,"StepForwardPercentage":10}
    MaxConnection Integer 最大连接数
    示例值:50000
    PublicNetwork Integer 公网带宽
    示例值:3
    DeleteRouteTimestamp String 时间
    示例值:1566144000
    RemainingPartitions Integer 剩余创建分区数
    示例值:310
    RemainingTopics Integer 剩余创建主题数
    示例值:190
    DynamicDiskConfig DynamicDiskConfig 动态硬盘扩容策略
    示例值:{"DiskQuotaPercentage":75,"Enable":1,"MaxDiskSpace":500000,"StepForwardPercentage":10}
    InstanceChargeType String 实例计费类型
    示例值:PREPAID
    ClusterType String 集群类型
    示例值:CLOUD_CVM
    FreePartitionNumber Integer 免费分区数量
    示例值:400
    ElasticFloatBandwidth Integer 弹性带宽上浮值
    示例值:240
    CustomCertId String ssl自定义证书id
    示例值:cert-test
    UncleanLeaderElectionEnable Integer 集群topic默认 unclean.leader.election.enable配置: 1 开启 0 关闭
    示例值:1

    InstanceChargeParam

    实例购买付费参数

    被如下接口引用:InquireCkafkaPrice。

    名称 类型 必选 描述
    InstanceChargeType String 实例付费类型: PREPAID(包年包月), POSTPAID_BY_HOUR(按量付费)
    示例值:PREPAID
    InstanceChargePeriod Integer 购买时长: 包年包月时需要填写, 按量计费无需填写
    示例值:1

    InstanceConfigDO

    实例配置实体

    被如下接口引用:DescribeInstanceAttributes。

    名称 类型 描述
    AutoCreateTopicsEnable Boolean 是否自动创建主题
    示例值:false
    DefaultNumPartitions Integer 分区数
    示例值:0
    DefaultReplicationFactor Integer 默认的复制Factor
    示例值:0

    InstanceDeleteResponse

    删除实例返回任务

    被如下接口引用:DeleteInstancePost。

    名称 类型 描述
    FlowId Integer 删除实例返回的任务Id
    示例值:6970

    InstanceDetail

    实例详情

    被如下接口引用:DescribeInstancesDetail。

    名称 类型 描述
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    InstanceName String ckafka集群实例名称
    示例值:ckafka测试
    Vip String 访问实例的vip 信息
    示例值:10.0.0.5
    Vport String 访问实例的端口信息
    示例值:9092
    VipList Array of VipEntity 虚拟IP列表
    示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
    Status Integer 实例的状态。0: 创建中,1: 运行中,2: 删除中, 3: 已删除, 5: 隔离中, 7: 升级中, -1: 创建失败
    示例值:1
    Bandwidth Integer 实例带宽,单位Mbps
    示例值:300
    DiskSize Integer ckafka集群实例磁盘大小,单位G
    示例值:800
    ZoneId Integer 可用区域ID
    示例值:100003
    VpcId String vpcId,如果为空,说明是基础网络
    示例值:vpc-test
    SubnetId String 子网id
    示例值:subnet-test
    RenewFlag Integer 实例是否续费,int 枚举值:1表示自动续费,2表示明确不自动续费
    示例值:1
    Healthy Integer 实例状态 int:1表示健康,2表示告警,3 表示实例状态异常
    示例值:1
    HealthyMessage String 实例状态信息
    示例值:"健康"
    CreateTime Integer 实例创建时间
    示例值:1566144000
    ExpireTime Integer 实例过期时间
    示例值:1566144000
    IsInternal Integer 是否为内部客户。值为1 表示内部客户
    示例值:1
    TopicNum Integer Topic个数
    示例值:10
    Tags Array of Tag 标识tag
    示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]
    Version String kafka版本信息
    示例值:1.1.1
    ZoneIds Array of Integer 跨可用区
    示例值:[100003,100004]
    Cvm Integer ckafka售卖类型
    示例值:0
    InstanceType String ckafka集群实例类型
    示例值:profession
    DiskType String ckafka集群实例磁盘类型
    示例值:CLOUD_SSD
    MaxTopicNumber Integer 当前规格最大Topic数
    示例值:400
    MaxPartitionNumber Integer 当前规格最大Partition数
    示例值:800
    RebalanceTime String 计划升级配置时间
    示例值:0000-00-00 00:00:00
    PartitionNumber Integer 实例当前partition数量
    示例值:30
    PublicNetworkChargeType String ckafka集群实例公网带宽类型
    示例值:BANDWIDTH_PREPAID
    PublicNetwork Integer 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写
    示例值:3
    ClusterType String ckafka集群实例底层集群类型
    示例值:CLOUD_CVM
    Features Array of String 实例功能列表
    示例值:["FEATURE_UPDATE_PROFESSION"]

    InstanceDetailResponse

    实例详情返回结果

    被如下接口引用:DescribeInstancesDetail。

    名称 类型 描述
    TotalCount Integer 符合条件的实例总数
    示例值:1
    InstanceList Array of InstanceDetail 符合条件的实例详情列表

    InstanceQuotaConfigResp

    实例 / topic 维度限流策略

    被如下接口引用:DescribeTopicAttributes。

    名称 类型 描述
    QuotaProducerByteRate Integer 生产限流大小,单位 MB/s
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:30
    QuotaConsumerByteRate Integer 消费限流大小,单位 MB/s
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:30

    InstanceResponse

    聚合的实例状态返回结果

    被如下接口引用:DescribeInstances, DescribeTypeInstances。

    名称 类型 描述
    InstanceList Array of Instance 符合条件的实例列表
    示例值:[{"InstanceId":"ckafka-test","InstanceName":"ckafka测试","IfCommunity":true,"Status":1}]
    TotalCount Integer 符合条件的结果总数
    示例值:1

    InstanceRoute

    实例路由

    被如下接口引用:DescribeSecurityGroupRoutes。

    名称 类型 必选 描述
    InstanceId String ckafka集群实例Id
    示例值:ckafka-test
    RouteId Integer 路由Id
    示例值:301

    JgwOperateResponse

    操作型结果返回值

    被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

    名称 类型 描述
    ReturnCode String 返回的code,0为正常,非0为错误
    示例值:0
    ReturnMessage String 成功消息
    示例值:success
    Data OperateResponseData 操作型返回的Data数据,可能有flowId等
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"FlowId": 500201,"RouteDTO":{"RouteId":301}}

    JsonPathReplaceParam

    数据处理——Value处理参数——Jsonpath替换参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    OldValue String 被替换值,Jsonpath表达式
    示例值:$.old
    NewValue String 替换值,Jsonpath表达式或字符串
    示例值:$.new

    KVParam

    key-value二次解析

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Delimiter String 分隔符
    示例值:;
    Regex String key-value二次解析分隔符
    示例值:=
    KeepOriginalKey String 保留源Key,默认为false不保留
    示例值:false

    KafkaConnectParam

    Kafka连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。

    名称 类型 必选 描述
    Resource String Kafka连接源的实例资源, 非自建时必填,NetworkType=VPC时传clb实例id
    示例值:ckafka-test
    SelfBuilt Boolean 是否为自建集群
    示例值:true
    IsUpdate Boolean 是否更新到关联的Dip任务
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:true
    BrokerAddress String Kafka连接的broker地址, NetworkType=PUBLIC公网时必填
    示例值:10.0.0.30:9092,10.0.0.31:9092
    Region String CKafka连接源的实例资源地域, 跨地域时必填
    示例值:ap-guangzhou

    KafkaParam

    Ckafka配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    SelfBuilt Boolean 是否为自建集群
    示例值:false
    Resource String ckafka集群实例Id
    示例值:ckafka-test
    Topic String 主题名,多个以“,”分隔
    示例值:topic-test
    OffsetType String Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:timestamp
    StartTime Integer Offset类型为timestamp时必传,传时间戳,精确到秒
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1566144000
    ResourceName String 实例资源名称
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:ckafka测试
    ZoneId Integer 可用区
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:100003
    TopicId String 主题Id
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:topic-test
    PartitionNum Integer Topic的分区数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1
    EnableToleration Boolean 启用容错实例/开启死信队列
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:false
    QpsLimit Integer Qps 限制
    示例值:4000
    TableMappings Array of TableMapping Table到Topic的路由,「分发到多个topic」开关打开时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:[{"Database":"db1","Table":"table1","Topic":"topic1","TopicId":"topic-id"}]
    UseTableMapping Boolean 「分发到多个topic」开关,默认为false
    示例值:false
    UseAutoCreateTopic Boolean 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务,如果不使用分发到多个topic,需要在Topic字段填写需要自动创建的topic名)
    示例值:false
    CompressionType String 写入Topic时是否进行压缩,不开启填"none",开启的话,填写"open"。
    示例值:none
    MsgMultiple Integer 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用)
    示例值:1
    ConnectorSyncType String 数据同步专用参数, 正常数据处理可为空, 实例级别同步: 仅同步元数据填写"META_SYNC_INSTANCE_TYPE", 同步元数据及全部topic内消息的填写"META_AND_DATA_SYNC_INSTANCE_TYPE"; topic级别同步: 选中的源和目标topic中的消息(需要目标实例也包含该topic)填写"DATA_SYNC_TYPE"
    示例值:DATA_SYNC_TYPE
    KeepPartition Boolean 数据同步专用参数, 当通过时,希望下游的消息写入分区与上游的一致,则填true,但下游分区小于上游时,会报错; 不需要一致则为false, 默认为false
    示例值:false
    TopicRegularExpression String 正则匹配Topic列表
    示例值:mytest

    ListCvmAndIpInfoRsp

    CVM和IP 信息列表

    被如下接口引用:DescribeCvmInfo。

    名称 类型 描述
    CvmList Array of CvmAndIpInfo cvm和IP 列表
    示例值:[{"CkafkaInstanceId":"ckafka-test","InstanceId":"ins-test","Ip":"10.0.0.30"}]
    TotalCount Integer 实例数据量
    示例值:1

    LowercaseParam

    小写字符解析

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述

    MapParam

    Map参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Key String key值
    示例值:key-test
    Type String 类型,DEFAULT默认,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射
    示例值:DEFAULT
    Value String
    示例值:value-test

    MariaDBConnectParam

    MariaDB连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer MariaDB的连接port
    示例值:8080
    UserName String MariaDB连接源的用户名
    示例值:username-test
    Password String MariaDB连接源的密码
    示例值:password-test
    Resource String MariaDB连接源的实例资源
    示例值:resource-test
    ServiceVip String MariaDB连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String MariaDB连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    MariaDBModifyConnectParam

    MariaDB连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String MariaDB连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer MariaDB的连接port【不支持修改】
    示例值:8080
    ServiceVip String MariaDB连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String MariaDB连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String MariaDB连接源的用户名
    示例值:username-test
    Password String MariaDB连接源的密码
    示例值:password-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    MariaDBParam

    MariaDB类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String MariaDB的数据库名称,"*"为全数据库
    示例值:database-test
    Table String MariaDB的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写
    示例值:table-test
    Resource String 该MariaDB在连接管理内的Id
    示例值:resource-test
    SnapshotMode String 复制存量信息(schema_only不复制, initial全量),默认值initial
    示例值:initial
    KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
    示例值:db1.table2.k1,k2
    IsTablePrefix Boolean 当Table输入的是前缀时,该项值为true,否则为false
    示例值:false
    OutputFormat String 输出格式,DEFAULT、CANAL_1、CANAL_2
    示例值:DEFAULT
    IncludeContentChanges String 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic
    示例值:all
    IncludeQuery Boolean 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句
    示例值:false
    RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
    示例值:false

    ModifyInstanceAttributesConfig

    修改实例属性的配置对象

    被如下接口引用:ModifyInstanceAttributes。

    名称 类型 必选 描述
    AutoCreateTopicEnable Boolean 自动创建 true 表示开启,false 表示不开启
    示例值:true
    DefaultNumPartitions Integer 可选,如果auto.create.topic.enable设置为true没有设置该值时,默认设置为3
    示例值:3
    DefaultReplicationFactor Integer 如果auto.create.topic.enable设置为true没有指定该值时默认设置为2
    示例值:2

    MongoDBConnectParam

    MongoDB连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer MongoDB的连接port
    示例值:8080
    UserName String MongoDB连接源的用户名
    示例值:username-test
    Password String MongoDB连接源的密码
    示例值:password-test
    Resource String MongoDB连接源的实例资源
    示例值:resource-test
    SelfBuilt Boolean MongoDB连接源是否为自建集群
    示例值:false
    ServiceVip String MongoDB连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String MongoDB连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    MongoDBModifyConnectParam

    MongoDB修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String MongoDB连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer MongoDB的连接port【不支持修改】
    示例值:8080
    ServiceVip String MongoDB连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String MongoDB连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String MongoDB连接源的用户名
    示例值:username-test
    Password String MongoDB连接源的密码
    示例值:password-test
    SelfBuilt Boolean MongoDB连接源是否为自建集群【不支持修改】
    示例值:false
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true

    MongoDBParam

    MongoDB类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String MongoDB的数据库名称
    示例值:database-test
    Collection String MongoDB的集群
    示例值:collection-test
    CopyExisting Boolean 是否复制存量数据,默认传参true
    示例值:true
    Resource String 实例资源
    示例值:resource-test
    Ip String MongoDB的连接ip
    示例值:10.0.0.5
    Port Integer MongoDB的连接port
    示例值:8099
    UserName String MongoDB数据库用户名
    示例值:username-test
    Password String MongoDB数据库密码
    示例值:password-test
    ListeningEvent String 监听事件类型,为空时表示全选。取值包括insert,update,replace,delete,invalidate,drop,dropdatabase,rename,多个类型间使用,逗号分隔
    示例值:insert,update
    ReadPreference String 主从优先级,默认主节点
    示例值:主节点
    Pipeline String 聚合管道
    示例值:pipeline-test
    SelfBuilt Boolean 是否为自建集群
    示例值:false

    MqttConnectParam

    MQTT连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources, ModifyConnectResource。

    名称 类型 必选 描述
    UserName String MQTT连接源的用户名
    示例值:username-test
    Password String MQTT连接源的密码
    示例值:password-test
    Resource String MQTT连接源的实例资源
    示例值:resource-test
    UniqVpcId String MQTT Instance vpc-id
    示例值:vpc-test
    SelfBuilt Boolean 是否为自建集群
    示例值:true
    IsUpdate Boolean 是否更新到关联的Dip任务
    示例值:true
    Region String MQTT连接源的实例资源地域, 跨地域时必填
    示例值:ap-guangzhou

    MqttParam

    创建MQTT 为Source的Data Hub Task参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Topics String 需要同步的MQTT Topic列表, CSV格式
    示例值:topic-test
    CleanSession Boolean MQTT clean-session
    示例值:true
    Resource String MQTT instance-id
    示例值:resource-test
    Ip String MQTT实例VIP
    示例值:10.0.0.5
    Port Integer MQTT VIP 端口
    示例值:1883
    UserName String MQTT实例用户名
    示例值:username-test
    Password String MQTT实例内账户密码
    示例值:password-test
    Qos Integer QoS
    示例值:1
    MaxTasks Integer tasks.max 订阅Topic的并发Task个数, 默认为1; 当设置大于1时, 使用Shared Subscription
    示例值:1
    ServiceVip String MQTT 实例的Service VIP
    示例值:10.0.0.30
    UniqVpcId String MQTT实例的VPC ID
    示例值:vpc-test
    SelfBuilt Boolean 是否为自建集群, MQTT只支持非自建集群
    示例值:false

    MySQLConnectParam

    MySQL连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer MySQL的连接port
    示例值:8080
    UserName String MySQL连接源的用户名
    示例值:username-test
    Password String MySQL连接源的密码
    示例值:password-test
    Resource String MySQL连接源的实例资源
    示例值:resource-test
    ServiceVip String MySQL连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String MySQL连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:true
    ClusterId String 当type为TDSQL_C_MYSQL时,必填
    示例值:cynosdbmysql-test
    SelfBuilt Boolean Mysql 连接源是否为自建集群
    示例值:false

    MySQLModifyConnectParam

    MySQL修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String MySQL连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer MySQL的连接port【不支持修改】
    示例值:8080
    ServiceVip String MySQL连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String MySQL连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String MySQL连接源的用户名
    示例值:username-test
    Password String MySQL连接源的密码
    示例值:password-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true
    ClusterId String 当type为TDSQL_C_MYSQL时
    示例值:cynosdbmysql-test
    SelfBuilt Boolean 是否是自建的集群
    示例值:false

    MySQLParam

    MySQL类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String MySQL的数据库名称,"*"为全数据库
    示例值:database-test
    Table String MySQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"数据库名\.数据表名"
    示例值:table-test
    Resource String 该MySQL在连接管理内的Id
    示例值:resource-test
    SnapshotMode String 复制存量信息(schema_only不复制, initial全量),默认值initial
    示例值:initial
    DdlTopic String 存放MySQL的Ddl信息的Topic,为空则默认不存放
    示例值:topic-test
    DataSourceMonitorMode String "TABLE" 表示读取项为 table,"QUERY" 表示读取项为 query
    示例值:TABLE
    DataSourceMonitorResource String 当 "DataMonitorMode"="TABLE" 时,传入需要读取的 Table;当 "DataMonitorMode"="QUERY" 时,传入需要读取的查询 sql 语句
    示例值:table-test
    DataSourceIncrementMode String "TIMESTAMP" 表示增量列为时间戳类型,"INCREMENT" 表示增量列为自增 id 类型
    示例值:TIMESTAMP
    DataSourceIncrementColumn String 传入需要监听的列名称
    示例值:column_test
    DataSourceStartFrom String "HEAD" 表示复制存量 + 增量数据,"TAIL" 表示只复制增量数据
    示例值:HEAD
    DataTargetInsertMode String "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入
    示例值:INSERT
    DataTargetPrimaryKeyField String 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键
    示例值:id
    DataTargetRecordMapping Array of RecordMapping 表与消息间的映射关系
    示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}]
    TopicRegex String 事件路由到特定主题的正则表达式,默认为(.)
    示例值:(.
    ).db.(.*)
    TopicReplacement String TopicRegex的引用组,指定$1、$2等
    示例值:$1
    KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
    示例值:db1.table2.k1,k2
    DropInvalidMessage Boolean Mysql 是否抛弃解析失败的消息,默认为true
    示例值:true
    DropCls DropCls 当设置成员参数DropInvalidMessageToCls设置为true时,DropInvalidMessage参数失效
    示例值:{"DropInvalidMessageToCls":true,"DropClsRegion":"ap-guangzhou","DropClsOwneruin":"10003080064","DropClsTopicId":"eafds-vfdfsdf-dbdfsdf","DropClsLogSet":"wqead-bfdebv-sfds"}
    OutputFormat String 输出格式,DEFAULT、CANAL_1、CANAL_2
    示例值:DEFAULT
    IsTablePrefix Boolean 当Table输入的是前缀时,该项值为true,否则为false
    示例值:false
    IncludeContentChanges String 如果该值为all,则DDL数据以及DML数据也会写入到选中的topic;若该值为dml,则只有DML数据写入到选中的topic
    示例值:all
    IncludeQuery Boolean 如果该值为true,且MySQL中"binlog_rows_query_log_events"配置项的值为"ON",则流入到topic的数据包含原SQL语句;若该值为false,流入到topic的数据不包含原SQL语句
    示例值:false
    RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
    示例值:false
    SignalDatabase String 存放信令表的数据库名称
    示例值:database-test
    IsTableRegular Boolean 输入的table是否为正则表达式,如果该选项以及IsTablePrefix同时为true,该选项的判断优先级高于IsTablePrefix
    示例值:false
    SignalTable String 信号表
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:table-test
    DateTimeZone String datetime 类型字段转换为时间戳的时区
    示例值:UTC+8
    SelfBuilt Boolean 自建
    示例值:false

    OperateResponseData

    操作类型返回的Data结构

    被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

    名称 类型 描述
    FlowId Integer 流程Id
    示例值:500201
    RouteDTO RouteDTO RouteIdDto
    示例值:{"RouteId":301}

    Partition

    分区实体

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    PartitionId Integer 分区ID
    示例值:0

    PartitionOffset

    分区和位移

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    Partition String 分区
    示例值:0
    Offset Integer 位点偏移量
    示例值:20

    Partitions

    partition信息

    被如下接口引用:BatchModifyGroupOffsets。

    名称 类型 必选 描述
    Partition Integer 分区
    示例值:0
    Offset Integer partition 消费位移
    示例值:1

    PostgreSQLConnectParam

    PostgreSQL连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer PostgreSQL的连接port
    示例值:8080
    UserName String PostgreSQL连接源的用户名
    示例值:username-test
    Password String PostgreSQL连接源的密码
    示例值:password-test
    Resource String PostgreSQL连接源的实例资源
    示例值:resource-test
    ServiceVip String PostgreSQL连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String PostgreSQL连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    ClusterId String 当type为TDSQL_C_POSTGRESQL时,必填
    示例值:tdcpg-test
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true
    SelfBuilt Boolean PostgreSQL连接源是否为自建集群
    示例值:false

    PostgreSQLModifyConnectParam

    PostgreSQL修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String PostgreSQL连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer PostgreSQL的连接port【不支持修改】
    示例值:8080
    ServiceVip String PostgreSQL连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String PostgreSQL连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String PostgreSQL连接源的用户名
    示例值:username-test
    Password String PostgreSQL连接源的密码
    示例值:password-test
    ClusterId String 当type为TDSQL_C_POSTGRESQL时,该参数才有值【不支持修改】
    示例值:tdcpg-xxx
    IsUpdate Boolean 是否更新到关联的Datahub任务
    示例值:true
    SelfBuilt Boolean 是否为自建集群
    示例值:false

    PostgreSQLParam

    PostgreSQL类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String PostgreSQL的数据库名称
    示例值:database-test
    Table String PostgreSQL的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"Schema名.数据表名"的格式进行填写,需要填入正则表达式时,格式为"Schema名\.数据表名"
    示例值:SchemaName.Tabletest
    Resource String 该PostgreSQL在连接管理内的Id
    示例值:resource-test
    PluginName String 插件名(decoderbufs/pgoutput),默认为decoderbufs
    示例值:decoderbufs
    SnapshotMode String 复制存量信息(never增量, initial全量),默认为initial
    示例值:initial
    DataFormat String 上游数据格式(JSON/Debezium), 当数据库同步模式为默认字段匹配时,必填
    示例值:JSON
    DataTargetInsertMode String "INSERT" 表示使用 Insert 模式插入,"UPSERT" 表示使用 Upsert 模式插入
    示例值:INSERT
    DataTargetPrimaryKeyField String 当 "DataInsertMode"="UPSERT" 时,传入当前 upsert 时依赖的主键
    示例值:id
    DataTargetRecordMapping Array of RecordMapping 表与消息间的映射关系
    示例值:[{"JsonKey":"test-key","Type":"Integer","AllowNull":false,"ColumnName":"column_test","ExtraInfo":"AUTO_INCREMENT COMMENT 'ID'","ColumnSize":"32","DecimalDigits":"10","AutoIncrement":true,"DefaultValue":"0"}]
    DropInvalidMessage Boolean 是否抛弃解析失败的消息,默认为true
    示例值:true
    IsTableRegular Boolean 输入的table是否为正则表达式
    示例值:false
    KeyColumns String 格式:库1.表1:字段1,字段2;库2.表2:字段2,表之间;(分号)隔开,字段之间,(逗号)隔开。不指定的表默认取表的主键
    示例值:db1.table2.k1,k2
    RecordWithSchema Boolean 如果该值为 true,则消息中会携带消息结构体对应的schema,如果该值为false则不会携带
    示例值:false

    Price

    消息价格实体

    被如下接口引用:DescribeCkafkaZone。

    名称 类型 描述
    RealTotalCost Float 折扣价
    示例值:0
    TotalCost Float 原价
    示例值:0

    PrometheusDTO

    普罗米修斯打通的vipVport

    被如下接口引用:DescribePrometheus。

    名称 类型 描述
    Type String export类型(jmx_export\node_export)
    示例值:jmx_export
    SourceIp String vip
    示例值:10.0.0.5
    SourcePort Integer vport
    示例值:9090
    BrokerIp String broker地址
    示例值:10.0.0.30
    VpcId String VPC ID信息
    示例值:vpc-test
    SubnetId String 子网ID信息
    示例值:subnet-test

    PrometheusResult

    Prometheus 监控返回

    被如下接口引用:CreatePrometheus。

    名称 类型 描述
    ReturnCode String 返回的code,0为正常,非0为错误
    示例值:0
    ReturnMessage String 成功消息
    示例值:success
    Data OperateResponseData 操作型返回的Data数据,可能有flowId等
    示例值:{"FlowId":0}

    RecordMapping

    record 与数据库表的映射关系

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    JsonKey String 消息的 key 名称
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:test-key
    Type String 消息类型
    示例值:Integer
    AllowNull Boolean 消息是否允许为空
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:false
    ColumnName String 对应映射列名称
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:column_test
    ExtraInfo String 数据库表额外字段
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:AUTO_INCREMENT COMMENT 'ID'
    ColumnSize String 当前列大小
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:32
    DecimalDigits String 当前列精度
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:10
    AutoIncrement Boolean 是否为自增列
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:true
    DefaultValue String 数据库表默认参数
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:0

    RegexReplaceParam

    数据处理——Value处理参数——正则替换参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Regex String 正则表达式
    示例值:^[0-9]*$
    NewValue String 替换新值
    示例值:newValue-test

    Region

    地域实体对象

    被如下接口引用:DescribeRegion。

    名称 类型 描述
    RegionId Integer 地域ID
    示例值:1
    RegionName String 地域名称
    示例值:广州
    AreaName String 区域名称
    示例值:华南地区
    RegionCode String 地域代码
    示例值:gz
    RegionCodeV3 String 地域代码(V3版本)
    示例值:ap-guangzhou
    Support String NONE:默认值不支持任何特殊类型 实例类型
    示例值:profession
    Ipv6 Integer 是否支持ipv6, 0:表示不支持,1:表示支持
    示例值:0
    MultiZone Integer 是否支持跨可用区, 0:表示不支持,1:表示支持
    示例值:0

    RenewCkafkaInstanceResp

    RenewCkafkaInstance接口出参bigDealIds

    被如下接口引用:RenewCkafkaInstance。

    名称 类型 描述
    BigDealId String 订单号
    示例值:20190819000001
    DealName String 子订单号
    示例值:20190819000002

    ReplaceParam

    数据处理——Value处理参数——替换参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    OldValue String 被替换值
    示例值:value-old
    NewValue String 替换值
    示例值:value-new

    Route

    路由实体对象

    被如下接口引用:DescribeRoute。

    名称 类型 描述
    AccessType Integer 实例接入方式
    0:PLAINTEXT (明文方式,没有带用户信息老版本及社区版本都支持)
    1:SASL_PLAINTEXT(明文方式,不过在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持)
    2:SSL(SSL加密通信,没有带用户信息,老版本及社区版本都支持)
    3:SASL_SSL(SSL加密通信,在数据开始时,会通过SASL方式登录鉴权,仅社区版本支持)
    示例值:1
    RouteId Integer 路由Id
    示例值:301
    VipType Integer vip网络类型(1:外网TGW 2:基础网络 3:VPC网络 4:支撑网络(idc 环境) 5:SSL外网访问方式访问 6:黑石环境vpc 7:支撑网络(cvm 环境)
    示例值:1
    VipList Array of VipEntity 虚拟IP列表
    示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
    Domain String 域名
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:tencent.com
    DomainPort Integer 域名port
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:0
    DeleteTimestamp String 时间戳
    示例值:2019-08-19 00:00:00
    Subnet String 子网Id
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:subnet-test
    BrokerVipList Array of VipEntity 虚拟IP列表(1对1 broker节点)
    示例值:[{"Vip":"10.0.0.5","Vport":"9092"}]
    VpcId String 私有网络Id
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:vpc-test

    RouteDTO

    RouteDTO

    被如下接口引用:BatchModifyGroupOffsets, CreateAcl, CreateConsumer, CreateInstancePost, CreatePartition, CreatePrometheus, CreateRoute, CreateTopicIpWhiteList, CreateUser, DeleteAcl, DeleteDatahubTopic, DeleteGroup, DeleteRoute, DeleteTopic, DeleteTopicIpWhiteList, DeleteUser, ModifyDatahubTopic, ModifyGroupOffsets, ModifyInstanceAttributes, ModifyPassword, ModifyRoutineMaintenanceTask, ModifyTopicAttributes。

    名称 类型 描述
    RouteId Integer 路由Id
    示例值:301

    RouteFilter

    路由列表过滤器

    被如下接口引用:DescribeSecurityGroupRoutes。

    名称 类型 必选 描述
    Name String 过滤名称,目前支持security-group-id,按安全组关联过滤
    示例值:security-group-id
    Values Array of String 过滤值,当过滤名称为security-group-id时仅支持传单个value
    示例值:["sg-test"]
    Relation String 过滤关系,支持IN和NOT_IN,默认为IN
    示例值:IN

    RouteResponse

    路由信息返回对象

    被如下接口引用:DescribeRoute。

    名称 类型 描述
    Routers Array of Route 路由信息列表

    RowParam

    数据处理ROW输出格式配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    RowContent String 行内容,KEY_VALUE,VALUE
    示例值:KEY_VALUE
    KeyValueDelimiter String key和value间的分隔符
    示例值:=
    EntryDelimiter String 元素建的分隔符
    示例值:&

    SMTParam

    数据处理——数据处理参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Key String 数据处理KEY
    示例值:key-test
    Operate String 操作,DATE系统预设-时间戳,CUSTOMIZE自定义,MAPPING映射,JSONPATH
    示例值:MAPPING
    SchemeType String 数据类型,ORIGINAL原始,STRING,INT64,FLOAT64,BOOLEAN,MAP,ARRAY
    示例值:ORIGINAL
    Value String 数据处理VALUE
    示例值:value-test
    ValueOperate ValueParam VALUE处理
    示例值:{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}}
    OriginalValue String 原始VALUE
    示例值:value-test
    ValueOperates Array of ValueParam VALUE处理链
    示例值:[{"Date":{"Format":"yyyy-MM-dd HH:mm:ss"},"Substr":{"Start":0,"End":1},"Type":"type-test","Replace":{"NewValue":"value-new","OldValue":"value-old"}}]

    SQLServerConnectParam

    SQLServer连接源参数

    被如下接口引用:CreateConnectResource, DescribeConnectResource, DescribeConnectResources。

    名称 类型 必选 描述
    Port Integer SQLServer的连接port
    示例值:1433
    UserName String SQLServer连接源的用户名
    示例值:username-test
    Password String SQLServer连接源的密码
    示例值:password-test
    Resource String SQLServer连接源的实例资源
    示例值:resource-test
    ServiceVip String SQLServer连接源的实例vip,当为腾讯云实例时,必填
    示例值:10.0.0.31
    UniqVpcId String SQLServer连接源的vpcId,当为腾讯云实例时,必填
    示例值:vpc-test
    IsUpdate Boolean 是否更新到关联的Dip任务
    示例值:true

    SQLServerModifyConnectParam

    SQLServer修改连接源参数

    被如下接口引用:ModifyConnectResource。

    名称 类型 必选 描述
    Resource String SQLServer连接源的实例资源【不支持修改】
    示例值:resource-test
    Port Integer SQLServer的连接port【不支持修改】
    示例值:1433
    ServiceVip String SQLServer连接源的实例vip【不支持修改】
    示例值:10.0.0.31
    UniqVpcId String SQLServer连接源的vpcId【不支持修改】
    示例值:vpc-test
    UserName String SQLServer连接源的用户名
    示例值:username-test
    Password String SQLServer连接源的密码
    示例值:password-test
    IsUpdate Boolean 是否更新到关联的Dip任务
    示例值:true

    SQLServerParam

    SQLServer类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String SQLServer的数据库名称
    示例值:database-test
    Table String SQLServer的数据表名称,"*"为所监听的所有数据库中的非系统表,可以","间隔,监听多个数据表,但数据表需要以"数据库名.数据表名"的格式进行填写
    示例值: DatabaseName.Tabletest
    Resource String 该SQLServer在连接管理内的Id
    示例值:resource-test
    SnapshotMode String 复制存量信息(schema_only增量, initial全量),默认为initial
    示例值:initial

    SaleInfo

    标准版销售信息

    被如下接口引用:DescribeCkafkaZone。

    名称 类型 描述
    Flag Boolean 手动设置的flag标志
    示例值:false
    Version String ckafka版本号(1.1.1/2.4.2/0.10.2)
    示例值:1.1.1
    Platform String 专业版、标准版标志
    示例值:standard
    SoldOut Boolean 售罄标志:true售罄
    示例值:true

    ScalingDownResp

    实例缩容应答

    被如下接口引用:InstanceScalingDown。

    名称 类型 描述
    DealNames Array of String 订单号列表
    示例值:["20190819000001"]

    ScfParam

    Scf类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    FunctionName String SCF云函数函数名
    示例值:function-test
    Namespace String SCF云函数命名空间, 默认为default
    示例值:default
    Qualifier String SCF云函数版本及别名, 默认为$DEFAULT
    示例值:$DEFAULT
    BatchSize Integer 每批最大发送消息数, 默认为1000
    示例值:1000
    MaxRetries Integer SCF调用失败后重试次数, 默认为5
    示例值:5

    SecondaryAnalyseParam

    数据处理——二次解析参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Regex String 分隔符
    示例值:,

    SecurityGroupRoute

    安全组路由信息

    被如下接口引用:DescribeSecurityGroupRoutes。

    名称 类型 必选 描述
    InstanceRoute InstanceRoute 路由信息
    示例值:{"InstanceId":"ckafka-test","RouteId":301}
    SecurityGroupIds Array of String 关联的安全组列表
    示例值:["sg-test"]
    InstanceName String ckafka集群实例名称
    示例值:ckafka测试
    VpcId String 路由vpcId
    示例值:vpc-test
    Vip String 路由vip
    示例值:10.0.0.5

    SecurityGroupRouteResp

    安全组路由信息返回结果

    被如下接口引用:DescribeSecurityGroupRoutes。

    名称 类型 描述
    TotalCount Integer 符合条件的安全组路由信息总数
    示例值:1
    SecurityGroupRoutes Array of SecurityGroupRoute 符合条件的安全组路由信息列表
    示例值:[{"InstanceRoute":{"InstanceId":"ckafka-test","RouteId":301},"SecurityGroupIds":["sg-test"],"InstanceName":"ckafka测试","VpcId":"vpc-test","Vip":"10.0.0.5"}]

    SplitParam

    值支持一拆多,即将一个值拆为一个数组

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Regex String 分隔符
    示例值:,

    SubscribedInfo

    订阅信息实体

    被如下接口引用:DescribeConsumerGroup。

    名称 类型 描述
    TopicName String 订阅的主题名
    示例值:topic-test
    Partition Array of Integer 订阅的分区
    示例值:[0]
    PartitionOffset Array of PartitionOffset 分区offset信息
    示例值:[{"Partition":"0","Offset":966186803}]
    TopicId String 订阅的主题ID
    示例值:topic-test

    SubstrParam

    数据处理——Value处理参数——截取参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Start Integer 截取起始位置
    示例值:0
    End Integer 截取截止位置
    示例值:7

    TableMapping

    Table、Topic路由

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Database String 库名
    示例值:db1
    Table String 表名,多个表,(逗号)隔开
    示例值:table1
    Topic String Topic名称
    示例值:topic1
    TopicId String Topic ID
    示例值:topic-id

    Tag

    实例详情中的标签对象

    被如下接口引用:CreateDatahubTask, CreateDatahubTopic, CreateInstancePost, CreateInstancePre, CreatePostPaidInstance, CreateTopic, DescribeDatahubTask, DescribeInstanceAttributes, DescribeInstancesDetail, DescribeTopicDetail, ModifyDatahubTopic, ModifyTopicAttributes。

    名称 类型 必选 描述
    TagKey String 标签的key
    示例值:tagkey-test
    TagValue String 标签的值
    示例值:tagvalue-test

    TaskStatusResponse

    任务状态返回对象

    被如下接口引用:DescribeTaskStatus。

    名称 类型 描述
    Status Integer 任务状态:
    0 成功
    1 失败
    2 进行中
    示例值:1
    Output String 输出信息
    示例值:任务异常失败

    TdwParam

    Tdw类型入参

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Bid String Tdw的bid
    示例值:bid-test
    Tid String Tdw的tid
    示例值:tid-test
    IsDomestic Boolean 默认true
    示例值:true
    TdwHost String TDW地址,默认tl-tdbank-tdmanager.tencent-distribute.com
    示例值:tl-tdbank-tdmanager.tencent-distribute.com
    TdwPort Integer TDW端口,默认8099
    示例值:8099

    Topic

    返回的topic对象

    被如下接口引用:DescribeTopic。

    名称 类型 描述
    TopicId String 主题的ID
    示例值:topic-test
    TopicName String 主题的名称
    示例值:topic-test
    Note String 备注
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:note-test

    TopicAttributesResponse

    主题属性返回结果实体

    被如下接口引用:DescribeTopicAttributes。

    名称 类型 描述
    TopicId String 主题 ID
    示例值:topic-test
    CreateTime Integer 创建时间
    示例值:2021-7-26 4:16:58
    Note String 主题备注
    示例值:note-test
    PartitionNum Integer 分区个数
    示例值:1
    EnableWhiteList Integer IP 白名单开关,1:打开; 0:关闭
    示例值:1
    IpWhiteList Array of String IP 白名单列表
    示例值:["10.0.0.50"]
    Config Config topic 配置数组
    示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete","SegmentMs":null,"UncleanLeaderElectionEnable":1,"SegmentBytes":null,"MaxMessageBytes":8388608,"RetentionBytes":null}
    Partitions Array of TopicPartitionDO 分区详情
    示例值:[{"Partition":0,"LeaderStatus":0,"IsrNum":2,"ReplicaNum":2}]
    EnableAclRule Integer ACL预设策略开关,1:打开; 0:关闭
    示例值:1
    AclRuleList Array of AclRule 预设策略列表
    QuotaConfig InstanceQuotaConfigResp topic 限流策略
    示例值:{"QuotaProducerByteRate":30,"QuotaConsumerByteRate":30}
    ReplicaNum Integer 副本数
    示例值:2

    TopicDetail

    主题详情

    被如下接口引用:DescribeTopicDetail。

    名称 类型 描述
    TopicName String 主题名
    示例值:topic-test
    TopicId String 主题Id
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:6
    ReplicaNum Integer topic副本数 最小值 1,最大值 3
    示例值:2
    Note String 备注
    示例值:note-test
    CreateTime Integer 创建时间
    示例值:1566144000
    EnableWhiteList Boolean 是否开启ip鉴权白名单,true表示开启,false表示不开启
    示例值:false
    IpWhiteListCount Integer ip白名单中ip个数
    示例值:0
    ForwardCosBucket String 数据备份cos bucket: 转存到cos 的bucket地址
    示例值:cos-bucket-test
    ForwardStatus Integer 数据备份cos 状态: 1 不开启数据备份,0 开启数据备份
    示例值:1
    ForwardInterval Integer 数据备份到cos的周期频率
    示例值:0
    Config Config 高级配置
    示例值:{"Retention":86400000,"MinInsyncReplicas":1,"CleanUpPolicy":"delete"}
    RetentionTimeConfig TopicRetentionTimeConfigRsp 消息保留时间配置(用于动态配置变更记录)
    示例值:{"Expect":1440,"Current":1440,"ModTimeStamp":1566144000}
    Status Integer 0:正常,1:已删除,2:删除中
    示例值:0
    Tags Array of Tag 标签列表
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:[{"TagKey":"tagkey-test","TagValue":"tagvalue-test"}]

    TopicDetailResponse

    主题详情返回实体

    被如下接口引用:DescribeTopicDetail。

    名称 类型 描述
    TopicList Array of TopicDetail 返回的主题详情列表
    TotalCount Integer 符合条件的所有主题详情数量
    示例值:1

    TopicFlowRanking

    topic 流量排行

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 描述
    TopicId String 主题Id
    示例值:topic-test
    TopicName String 主题名称
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:3
    ReplicaNum Integer 副本数
    示例值:2
    TopicTraffic String Topic 流量,单位MB(设置date时以sum方式聚合)
    示例值:35.23
    MessageHeap Integer Topic 消息堆积
    示例值:9235266

    TopicFlowRankingResult

    topic 生产消息数据,消费者数据

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 描述
    TopicFlow Array of TopicFlowRanking Topic 流量数组
    示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}]
    ConsumeSpeed Array of ConsumerGroupSpeed 消费者组消费速度排行速度
    示例值:[{"ConsumerGroupName":"group-test","Speed":100}]
    TopicMessageHeap Array of TopicMessageHeapRanking Topic 消息堆积/占用磁盘排行
    示例值:[{"MessageHeap":0,"PartitionNum":3,"ReplicaNum":2,"TopicId":"topic-test","TopicName":"topic-test","TopicTraffic":"0.00"}]
    BrokerIp Array of String Broker Ip 列表
    示例值:["10.0.0.5"]
    BrokerTopicData Array of BrokerTopicData 单个broker 节点 Topic占用的数据大小
    示例值:[{"TopicName":"topic-test","TopicId":"topic-test","DataSize":200}]
    BrokerTopicFlowData Array of BrokerTopicFlowData 单个Broker 节点Topic 流量的大小(单位MB)
    示例值:[{"TopicName":"topic-test","TopicId":"topic-test","TopicTraffic":"1.00"}]

    TopicInSyncReplicaInfo

    topic副本及详细信息

    被如下接口引用:DescribeTopicSyncReplica。

    名称 类型 描述
    Partition String 分区名称
    示例值:partition-1
    Leader Integer Leader Id
    示例值:0
    Replica String 副本集
    示例值:1,3,2
    InSyncReplica String ISR
    示例值:1,2,3
    BeginOffset Integer 起始Offset
    示例值:12055
    EndOffset Integer 末端Offset
    示例值:13353
    MessageCount Integer 消息数
    示例值:120045
    OutOfSyncReplica String 未同步副本集
    示例值:1,2

    TopicInSyncReplicaResult

    Topic 副本及详情数据集合

    被如下接口引用:DescribeTopicSyncReplica。

    名称 类型 描述
    TopicInSyncReplicaList Array of TopicInSyncReplicaInfo Topic详情及副本合集
    示例值:[{"BeginOffset":0,"EndOffset":1,"InSyncReplica":"1","Leader":1,"MessageCount":0,"OutOfSyncReplica":"2","Partition":"0","Replica":"2,1"}]
    TotalCount Integer 总计个数
    示例值:1

    TopicMessageHeapRanking

    topic消息堆积、占用磁盘排行

    被如下接口引用:DescribeTopicFlowRanking。

    名称 类型 描述
    TopicId String 主题ID
    示例值:topic-test
    TopicName String 主题名称
    示例值:topic-test
    PartitionNum Integer 分区数
    示例值:2
    ReplicaNum Integer 副本数
    示例值:2
    TopicTraffic String Topic 流量
    示例值:35.12
    MessageHeap Integer topic消息堆积/占用磁盘
    示例值:949006

    TopicParam

    Topic配置

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Resource String 单独售卖Topic的Topic名称
    示例值:topic-test
    OffsetType String Offset类型,最开始位置earliest,最新位置latest,时间点位置timestamp
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:timestamp
    StartTime Integer Offset类型为timestamp时必传,传时间戳,精确到秒
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:1566144000
    TopicId String Topic的TopicId【出参】
    示例值:topic-test
    CompressionType String 写入Topic时是否进行压缩,不开启填"none",开启的话,可选择"gzip", "snappy", "lz4"中的一个进行填写。
    示例值:none
    UseAutoCreateTopic Boolean 使用的Topic是否需要自动创建(目前只支持SOURCE流入任务)
    示例值:false
    MsgMultiple Integer 源topic消息1条扩增成msgMultiple条写入目标topic(该参数目前只有ckafka流入ckafka适用)
    示例值:1

    TopicPartitionDO

    分区详情

    被如下接口引用:DescribeTopicAttributes。

    名称 类型 描述
    Partition Integer Partition 分区ID
    示例值:0
    LeaderStatus Integer Leader 运行状态
    示例值:0
    IsrNum Integer ISR 个数
    示例值:2
    ReplicaNum Integer 副本个数
    示例值:2

    TopicResult

    统一返回的TopicResponse

    被如下接口引用:DescribeTopic。

    名称 类型 描述
    TopicList Array of Topic 返回的主题信息列表
    示例值:[{"TopicId":"topic-test","TopicName":"topic-test","Note":"note-test"}]
    TotalCount Integer 符合条件的 topic 数量
    示例值:1

    TopicRetentionTimeConfigRsp

    Topic消息保留时间配置返回信息

    被如下接口引用:DescribeTopicDetail。

    名称 类型 描述
    Expect Integer 期望值,即用户配置的Topic消息保留时间(单位分钟)
    示例值:30
    Current Integer 当前值,即当前生效值(可能存在动态调整,单位分钟)
    示例值:2
    ModTimeStamp Integer 最近变更时间
    示例值:1566144000

    TopicSubscribeGroup

    DescribeTopicSubscribeGroup接口出参

    被如下接口引用:DescribeTopicSubscribeGroup。

    名称 类型 描述
    TotalCount Integer 总数
    示例值:1
    StatusCountInfo String 消费分组状态数量信息
    示例值:1 Empty
    GroupsInfo Array of GroupInfoResponse 消费分组信息
    Status Integer 此次请求是否异步的状态。实例里分组较少的会直接返回结果,Status为1。当分组较多时,会异步更新缓存,Status为0时不会返回分组信息,直至Status为1更新完毕返回结果。
    示例值:1

    TransformParam

    数据处理参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    AnalysisFormat String 解析格式,JSON,DELIMITER分隔符,REGULAR正则提取
    示例值:DELIMITER
    OutputFormat String 输出格式
    示例值:JSON
    FailureParam FailureParam 是否保留解析失败数据
    示例值:{"Type":"DLQ","KafkaParam":{"SelfBuilt":false,"Resource":"ckafka-test"},"RetryInterval":1,"MaxRetryAttempts":1,"TopicParam":{"Resource":"appId-test"},"DlqType":"TOPIC"}
    Content String 原始数据
    示例值:content-test
    SourceType String 数据来源,TOPIC从源topic拉取,CUSTOMIZE自定义
    示例值:TOPIC
    Regex String 分隔符、正则表达式
    示例值:,
    MapParam Array of MapParam Map
    示例值:[{"Key":"key-test","Type":"DEFAULT","Value":"value-test"}]
    FilterParam Array of FilterMapParam 过滤器
    示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]
    Result String 测试结果
    示例值:result-test
    AnalyseResult Array of MapParam 解析结果
    示例值:[{"Type":"DEFAULT","Key":"1"},{"Type":"DEFAULT","Key":"2"}]
    UseEventBus Boolean 底层引擎是否使用eb
    示例值:true

    TransformsParam

    数据处理参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Content String 原始数据
    示例值:{"name":"abc"}
    FieldChain Array of FieldParam 处理链
    示例值:{"Analyse":{"Format":"JSON"}}
    FilterParam Array of FilterMapParam 过滤器
    示例值:[{"Key":"key-test","Type":"REGULAR","MatchMode":"PREFIX","Value":"value-test"}]
    FailureParam FailureParam 失败处理
    示例值:{"Type":"DROP"}
    Result String 测试结果
    示例值:result-test
    SourceType String 数据来源
    示例值:CKAFKA
    OutputFormat String 输出格式,JSON,ROW,默认为JSON
    示例值:JSON
    RowParam RowParam 输出格式为ROW必填
    示例值:{"RowContent":"KEY_VALUE","KeyValueDelimiter":"=","EntryDelimiter":"&"}
    KeepMetadata Boolean 是否保留数据源Topic元数据信息(源Topic、Partition、Offset),默认为false
    示例值:false
    BatchAnalyse BatchAnalyseParam 数组解析
    示例值:{"Format":"ONE_BY_ONE"}

    UrlDecodeParam

    Url解析

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    CharsetName String 编码
    示例值:UTF-8

    User

    用户实体

    被如下接口引用:DescribeUser。

    名称 类型 描述
    UserId Integer 用户id
    示例值:1
    Name String 用户名称
    示例值:name-test
    CreateTime Timestamp 创建时间
    示例值:2019-08-19 00:00:00
    UpdateTime Timestamp 最后更新时间
    示例值:2019-08-19 00:00:00

    UserResponse

    用户返回实体

    被如下接口引用:DescribeUser。

    名称 类型 描述
    Users Array of User 符合条件的用户列表
    示例值:[{"CreateTime":"2019-08-19 00:00:00","Name":"name-test","UpdateTime":"2019-08-19 00:00:00","UserId":101}]
    TotalCount Integer 符合条件的总用户数
    示例值:1

    ValueParam

    数据处理——Value处理参数

    被如下接口引用:CreateDatahubTask, DescribeDatahubTask。

    名称 类型 必选 描述
    Type String 处理模式,REPLACE替换,SUBSTR截取,DATE日期转换,TRIM去除前后空格,REGEX_REPLACE正则替换,URL_DECODE,LOWERCASE转换为小写
    示例值:TRIM
    Replace ReplaceParam 替换,TYPE=REPLACE时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"OldValue":"old","NewValue":"new"}
    Substr SubstrParam 截取,TYPE=SUBSTR时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Start":0,"End":7}
    Date DateParam 时间转换,TYPE=DATE时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Format":"yyyy-MM-dd HH:mm:ss","TargetType":"string","TimeZone":"GMT+8"}
    RegexReplace RegexReplaceParam 正则替换,TYPE=REGEX_REPLACE时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Regex":"^[0-9]*$","NewValue":"newValue-test"}
    Split SplitParam 值支持一拆多,TYPE=SPLIT时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Regex":","}
    KV KVParam key-value二次解析,TYPE=KV时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"Delimiter":";","Regex":"=","KeepOriginalKey":"false"}
    Result String 处理结果
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:result-test
    JsonPathReplace JsonPathReplaceParam JsonPath替换,TYPE=JSON_PATH_REPLACE时必传
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"OldValue":"$.old","NewValue":"$.new"}
    UrlDecode UrlDecodeParam Url解析
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{"CharsetName":"UTF-8"}
    Lowercase LowercaseParam 小写字符解析
    注意:此字段可能返回 null,表示取不到有效值。
    示例值:{}

    VipEntity

    虚拟IP实体

    被如下接口引用:DescribeInstanceAttributes, DescribeInstancesDetail, DescribeRoute。

    名称 类型 描述
    Vip String 虚拟IP
    示例值:1.0.0.5
    Vport String 虚拟端口
    示例值:9092

    ZoneInfo

    zone信息实体

    被如下接口引用:DescribeCkafkaZone。

    名称 类型 描述
    ZoneId String 可用区
    示例值:100003
    IsInternalApp Integer 是否内部APP
    示例值:1
    AppId Integer 应用标识
    示例值:1000000001
    Flag Boolean 标识
    示例值:false
    ZoneName String 可用区名称
    示例值:广州三区
    ZoneStatus Integer 可用区状态
    示例值:3
    SoldOut String true为售罄,false为未售罄
    示例值:true
    SalesInfo Array of SaleInfo 标准版售罄信息
    示例值:[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}]
    ExtraFlag String 额外标识
    示例值:0

    ZoneResponse

    查询kafka的zone信息返回的实体

    被如下接口引用:DescribeCkafkaZone。

    名称 类型 描述
    ZoneList Array of ZoneInfo zone列表
    示例值:[{"ZoneId":"100003","IsInternalApp":1,"AppId":1000000001,"Flag":false,"ZoneName":"广州三区","ZoneStatus":3,"SoldOut":"true","SalesInfo":[{"Flag":false,"Version":"1.1.1","Platform":"standard","SoldOut":true}],"ExtraFlag":"0"}]
    MaxBuyInstanceNum Integer 最大购买实例个数
    示例值:100
    MaxBandwidth Integer 最大购买带宽 单位Mb/s
    示例值:9600
    UnitPrice Price 后付费单位价格
    示例值:{"RealTotalCost":0,"TotalCost":0}
    MessagePrice Price 后付费消息单价
    示例值:{"RealTotalCost":0,"TotalCost":0}
    ClusterInfo Array of ClusterInfo 用户独占集群信息
    示例值:[{"ClusterId":6894,"ClusterName":"100003-ckafka-test","MaxDiskSize":198,"MaxBandWidth":19,"AvailableDiskSize":198,"AvailableBandWidth":19,"ZoneId":100003,"ZoneIds":[100003,100002]}]
    Standard String 购买标准版配置
    示例值:{"standard":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}}
    StandardS2 String 购买标准版S2配置
    示例值:{"InstanceTypeConfigSet":[],"maximumTopicPartition":2500,"maximumInstanceConsumerGroup":0}
    Profession String 购买专业版配置
    示例值:{"BasicEdition":{"Bandwidth":{"Maximum":1200,"Minimal":20,"Step":20},"DiskCapacity":{},"DiskTypes":["SSD","CLOUD_BASIC"],"MessageRetention":{"Maximum":2160,"Minimal":24,"Step":1},"Partition":{}}}
    Physical String 购买物理独占版配置
    示例值:{"physicallyExclusive":{"bandwidth":{"maximum":200,"minimal":3,"step":3}}}
    PublicNetwork String 公网带宽 最小3Mbps 最大999Mbps 仅专业版支持填写
    示例值:3
    PublicNetworkLimit String 公网带宽配置
    示例值:999
    RequestId String 请求Id
    示例值:a85846f2-95bd-454d-8edf-f4cfe618282f
    Version String 版本
    示例值:1.1.1
    Offset Integer 分页offset
    示例值:0
    Limit Integer 分页limit
    示例值:20
    ForceCheckTag Boolean 是否必须录入tag
    示例值:false

    如果遇到产品相关问题,您可咨询 在线客服寻求帮助。

    目录
    返回顶部