数据集成包括离线与实时数据链路,目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。您可以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
数据源 | | 离线同步 | | 实时同步 | | | | | 版本 |
| | 离线读取 | 离线写入 | 单表读取 | 单表写入 | 整库读取 | 整库写入 | 日志采集 | |
关系型数据库 | MySQL | - | 5.6,5.7,8.0.x | ||||||
| TDSQL-C MySQL | - | - | ||||||
| TDSQL MySQL | - | InnoDB 类型 | ||||||
| PostgreSQL | 9.6,10,11,12 | |||||||
| TDSQL PostgreSQL | - | - | - | - | - | 5.21.6行列存融合版 | ||
| SQL Server | - | 2008,2009R2,2012,2014,2016,2017,2019 | ||||||
| Oracle | - | 11,12,19 | ||||||
| DB2 | - | - | - | - | - | - | ||
| SAP HANA | - | - | - | - | - | - | ||
| SAP IQ(Sybase) | - | - | - | - | - | - | - | |
| DM | - | - | - | 7,8 | ||||
| OceanBase (开白使用) | - | - | - | 3.1.4,4.2.1.3 | ||||
| TCHouse-P | - | - | - | |||||
| Hive | - | - | 1.x,2.x,3.x | |||||
| DLC | - | - | - | |||||
| Doris | - | - | 0.15、1.x | |||||
| StarRocks | - | - | - | - | - | |||
| ClickHouse | - | - | - | 20.7+ | ||||
| Iceberg | - | - | 0.13.1+ | |||||
| HBase | - | - | - | 2.2.x | ||||
| HDFS | - | - | - | 2.x,3.x | ||||
| Kudu | - | - | - | - | - | - | ||
| TBase | - | - | - | - | ||||
| GaussDB | - | - | - | - | - | - | ||
| GBase | - | - | - | - | - | - | ||
| Impala | - | - | - | - | - | - | ||
| Greenplum | - | - | - | 4.x,5.x,6.x | ||||
半结构化 | COS | - | - | - | - | - | - | ||
| Rest API | - | - | - | - | - | - | - | |
| FTP | - | - | - | - | - | - | ||
| SFTP | - | - | - | - | - | - | ||
NoSQL | Redis | - | - | - | - | - | - | - | |
| Elasticsearch | - | - | - | 6.x,7.x | ||||
| CTSDB influxDB | - | - | - | - | - | - | ||
| Mongo | - | - | - | 4.x | ||||
| 阿里 Graph Database | ✓ | ✓ | - | - | - | - | - | 仅脚本模式支持 |
消息队列 | Kafka | 2.4.1、2.7.1、2.8.1、2.8.2(包含 Kafka、Ckafka 两种类型的数据源) | |||||||
| TDMQ Pulsar | - | - | - | - | - | - | 虚拟集群版本 | |
| TiDB-Kafka | - | - | - | - | - | - | - | |
| DTS-kafka | - | - | - | - | - | - | - | |
数据上报 | SDK | - | - | - | - | - | - | - | |
| TKE | - | - | - | - | - | - | - | |
| CVM | - | - | - | - | - | - | - |
说明
数据链路读写端,需满足对应数据源版本。