连接器发布记录

最近更新时间:2024-08-14 10:02:01

我的收藏

2024年5月

动态名称
动态描述
发布时间
相关文档
K2K 支持跨云同步
跨云同步不仅实现了不同云厂商 Kafka 数据和元数据同步到腾讯云 CKafka 的能力,同时也实现了腾讯云内自建 Kafka 实例同步元数据和数据到 Ckafka 的能力。
2024-5-24
数据订阅 Binlog 类型支持锁方式配置
增加行锁配置,减少数据同步时的锁范围,避免锁等待情况
2024-5-24

2023年12月

动态名称
动态描述
发布时间
相关文档
MySQL 数据采集支持过滤空消息
如果采集的 MySQL Binlog 日志里包含 MySQL 的指令SQL,例如 Begin Transaction,投递到 CKafka 时将会是空字符串。支持过滤此类空字符串。
跨云同步不仅实现了不同云厂商 Kafka 数据和元数据同步到腾讯云 CKafka 的能力,同时也实现了腾讯云内自建 Kafka 实例同步元数据和数据到 Ckafka 的能力。
2023-12-06

2023年11月

动态名称
动态描述
发布时间
相关文档
数据同步支持同步 Offset
在连接器进行 Kafka 实例级别数据同步时,支持选择同步消费位点。
2023-11-01
支持连接器订阅源库变更操作同步更新到目标 MySQL 库
支持将连接器订阅 MySQL、PostgreSQL数据库订阅到 Topic 里的数据(增删改)同步更新到目标 MySQL 库。会识别数据库的增删改,保持目标表数据与源表的数据一致。
2023-11-01
连接器 MySQL 订阅支持自定义时区
连接器 MySQL 订阅支持自定义时区
2023-11-01

2023年09月

动态名称
动态描述
发布时间
相关文档
连接器数据流出到 COS 支持分钟级聚合数据
连接器数据流出到 COS 支持分钟级聚合
2023-09-20

2023年08月

动态名称
动态描述
发布时间
相关文档
连接器订阅数据库变更数据到 ES 支持自定义字段映射
当使用连接器订阅关系型数据库的变更数据到 ES 时,支持自定义映射消息字段名和目标索引字段。
2023-8-22
连接器数据流出到 ES 支持指定索引时间
使用连接器流出数据到 ES 时,支持指定源数据中的某一字段作为索引时间。默认为消息的投递时间。
2023-8-22

2023年05月

动态名称
动态描述
发布时间
相关文档
数据流出至 Kafka 支持实例级别数据同步
支持 Kafka 实例级别和 Topic 级别同步数据,即支持不同地域实例间的复制迁移功能,也支持不同 CKafka 实例的任意 Topic 之间互相传递数据、自动同步,帮助用户提升业务连续服务的能力,同时提升数据的可靠性。
2023-05-08

2023年01月

动态名称
动态描述
发布时间
相关文档
数据流出目标新增支持云函数 SCF
借助云函数 SCF 和 CKafka 连接器,可以非常方便实现 CKafka 消息转出到 COS、ES、CDW 等。
2023-01-13
数据同步功能迁移
“跨地域容灾”最新功能迁移至“实例列表-集群备份”。
“数据同步”最新功能迁移至“连接器-任务列表-数据流出至 CKafka”。
以上功能迁移不影响客户正常使用。
2023-01-13
数据处理解析规则支持 JSON 对象数据解析
数据处理解析模式新增支持“JSON 对象数组- 单行输出”和“JSON 对象数组- 多行输出”,以提升数据流转效率
2023-01-13
数据处理规则支持导出/导入任务配置能力
您可以将数据处理规则导出为模板,在后续的数据任务中复制使用,减少重复配置的操作成本。
2023-01-13
数据处理支持正则表达式自动生成
数据处理支持正则表达式自动生成,适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个 key-value 键值的日志解析模式。
2023-01-13
数据流出到 COS 支持按时间聚合
数据流出到 COS 聚合方式新增支持按时间聚合,根据消息量的大小,选取汇聚消息的时间间隔。
2023-01-13

2022年11月

动态名称
动态描述
发布时间
相关文档
数据库订阅任务支持自动创建 Topic
新建数据库订阅任务时,数据目标配置支持选择自动创建 Topic 或选择已有 Topic。
2022-11-14
MySQL 订阅支持正则匹配库
新建 MySQL、TDSQL-C MySQL 数据库订阅任务时,选择数据源库表时支持使用正则匹配时订阅整库或者订阅表。
2022-11-14
PostgreSQL 数据流入支持不同表数据分配到不同的 Topic
新建 PostgreSQL、TDSQL-C PostgreSQL 数据订阅任务时,数据目标配置支持不同表数据分发到不同的 Topic。
2022-11-14
支持新增订阅的表
编辑数据库订阅类任务时,支持新增订阅的表,对任务中已经监听的表,仍维持原有采集逻辑。
2022-11-14
数据接入任务支持数据压缩
-
2022-11-14

2022年10月

动态名称
动态描述
发布时间
相关文档
支持任务编排功能
对于只有一个数据源、一个数据目标的场景,用户可以使用预设模板一键搭建数据流任务,将数据从源快速集成到指定目标。
2022-10-28
新增支持数据目标类型
数据目标新增支持时序数据库(CTSDB)和分析型数据库 Doris。
2022-10-28
CLS sink 指定日志时间支持精确到毫秒
-
2022-10-28
MariaDB数据订阅、TDSQL_C_MYSQL数据订阅优化
支持订阅多个数据库。
支持全部库表、批量选择、正则匹配三种选择库表方式。
支持不同数据库表的订阅数据发送到不同的 Topic。
2022-10-28
TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅
TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅的数据源配置能力与 MySQL 数据订阅对齐
2022-10-28

2022年09月

动态名称
动态描述
发布时间
相关文档
数据流出至 PostgreSQL 支持字段默认匹配
当上游订阅的 MySQL Binlog/PostgreSQL row-level changes 数据表结构变化时,变化可以同步更新到下游 PostgreSQL。
2022-09-15
MySQL 数据订阅支持非 Schema 格式输出
新建数据接入任务,配置数据源信息时,可以选择开启/关闭包含 Schema 开关,决定消息输出时 KEY 和 VALUE 内容是否包含 Schema。
2022-09-15
数据流出至 CLS 时支持指定其中的一个时间字段作为日志时间
新建数据流出任务,配置数据目标信息时,支持将预览数据其中的一个时间字段作为日志时间。
2022-09-15
连接管理新增支持类型
连接管理新增支持:云数据仓库-PostgreSQL、TDSQL PostgreSQL 版。
2022-09-15
数据流出新增支持类型
数据流出新增支持:PostgreSQL,云数据仓库-PostgreSQL,TDSQL-C。
2022-09-15
TDSQL-C
MySQL 数据订阅优化
支持订阅多个数据库。
支持全部库表、批量选择、正则匹配三种选择库表方式。
支持不同数据库表的订阅数据发送到不同的 Topic。
2022-09-01
支持云上自建的服务(基于 CLB)
支持云上 CLB 自建的数据库 MySQL、PostgreSQL。
2022-09-01
数据处理支持输出 ROW 格式
-
2022-09-01

2022年08月

动态名称
动态描述
发布时间
相关文档
MariaDB,TDSQL-C Mysql 版本支持 binlog 订阅
-
2022-08-22
支持 MySQL JDBC source 和 Sink 的接入
数据接入与数据流出目标支持 MySQL JDBC。
2022-08-22
数据处理和数据流出任务合并
创建数据流出任务时可以设置数据处理规则,数据处理后直接流转到下游目标,减少原本数据链路中数据处理环节 CKafka Topic > CKafka Topic 的冗余链路。数据流出目标新增 Kafka 选项。
2022-08-22
支持事件中心
事件中心将连接器所生成的事件数据进行统一管理、存储、分析和展示,方便您查看和分析,您可以在事件中心查看事件数据详情,同时您也可以为事件配置告警通知规则,及时发现问题并进行处理。
2022-08-22
监控指标完善
监控功能新增任务监控能力与数据库监控能力。
2022-08-22
数据处理支持正则替换
设置数据处理规则时,处理 value 支持正则替换处理模式。
2022-08-22
支持处理失败的消息投递到用户的 CLS
数据目标为 ClickHouse、MySQL 和 Elasticsearch Service 时,失败消息处理方式支持投递到用户的 CLS 中。
2022-08-22
数据流出到 COS 时支持指定 object 名称
-
2022-08-22

2022年07月

动态名称
动态描述
发布时间
相关文档
支持连接管理
支持单独构建连接,连接创建完成后,可以直接关联到具体的数据任务,作为数据源或者数据目标,无需再重复配置,降低用户的操作成本。
2022-07-08
数据接入新增支持数据源
数据接入支持 PostgreSQL、TDSQL-C 和 MySQL 数据订阅。
2022-07-08
支持单独售卖 Topic
连接器支持在控制台单独创建 Topic 作为数据任务的数据源或者数据目标。
2022-07-08
新建任务页面重构
数据接入,数据处理和流出任务统一在任务列表进行管理。
2022-07-08

2022年05月

动态名称
动态描述
发布时间
相关文档
支持重启任务
任务创建完成后,在异常状态下时,可以重启任务,重启任务表示重新开始任务,不会影响到已经处理的数据和相关的 CKafka 实例。
2022-05-24
支持复制和重建任务
当您有大量配置相似的任务时,在第一个任务创建成功后可以通过复制任务功能将任务进行复制。
创建失败的任务可能是因为创建任务时的配置失误,用户可以手动重建任务。
2022-05-24
数据处理和数据流出支持展示消费进度
-
2022-05-24
支持查看最新消息
-
2022-05-24

2022年04月

动态名称
动态描述
发布时间
相关文档
支持 Schema 管理功能
连接器支持 Schema 管理功能,您可以将创建好的 Schema 绑定到具体的数据流入任务上,将会按该 Schema 对流入的数据进行格式校验。
2022-04-08
HTTP 支持 Schema
连接器支持在 HTTP 接收数据上报的时候,根据指定的 Schema,对上报数据进行格式校验。
2022-04-08
支持数据流出至对象存储 COS
连接器支持数据流出至对象存储 COS,您可以将 CKafka 数据分发至 COS 以便于对数据进行分析与下载等操作。
2022-04-08
数据源类型支持对象存储 COS
连接器支持接入对象存储 COS 数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
2022-04-08

2022年03月

动态名称
动态描述
发布时间
相关文档
ES/clickhouse 数据流出任务支持丢弃解析失败消息
ES/clickhouse 数据流出任务支持丢弃解析失败消息,若不丢弃解析失败消息,则任务异常,转储不再继续。
2022-03-09
简单数据处理规格支持 JSONPATH 类型
JSONPATH 类型用于解析多层嵌套的 JSON 数据,用$符号开头,符号定位到多层 JSON 的具体字段。
2022-03-09
支持数据流出至日志服务 CLS
连接器支持数据流出至日志服务 CLS,您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位,指标监控,安全审计等问题。
2022-04-08

2022年01月

动态名称
动态描述
发布时间
相关文档
数据源类型支持数据传输服务 DTS
连接器支持接入 DTS 数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
2022-01-23
支持数据流出至分布式数据仓库 TDW
连接器支持数据流出至分布式数据仓库 TDW,您可以将 CKafka 数据分发至分布式数据仓库 TDW 以对数据进行存储、查询和分析。
2022-01-23
支持数据流出至日志服务 CLS
连接器支持数据流出至日志服务 CLS,您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位,指标监控,安全审计等问题。
2022-01-23
支持数据流出至 Clickhouse
连接器支持数据流出至 Clickhouse,您可以将 CKafka 数据分发至数据仓库 Clickhouse 以对数据进行存储、查询和分析。
2022-01-23

2021年12月

动态名称
动态描述
发布时间
相关文档
CKafka 连接器正式上线
CKafka 连接器是腾讯云上的数据接入和处理平台,一站式提供对数据的接入、处理和分发功能。连接器可以持续不断地接收和采集(APP、Web、云产品日志等)数据,实时处理,低成本搭建数据流转链路,构建数据源和数据处理系统间的桥梁。
2021-12-21