Mongodb 数据源

最近更新时间:2024-08-16 16:15:22

我的收藏

Mongodb 数据源版本限制

支持 Mongo 版本详情:
节点
版本
MongoDB-CDC
MongoDB>=3.6

Mongodb 单表读取节点配置

Mongodb 读取配置参数说明

1. 在数据集成页面左侧目录栏单击实时同步
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Mongo 节点并配置节点信息。



4. 参数说明:
参数
描述
节点名称
输入 Mongo 节点名称。
数据来源
选择项目可用的 Mongo 数据源
支持选择、或者手动输入需读取的库名称
默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。
当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。
集合
支持选择、或者手动输入需读取的集合名称
读取模式
全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。
增量:仅从任务启动后的 binlog cdc 位点开始同步数据。
时区
设置日志时间所属时区,默认上海。
高级设置(可选)
可根据业务需求配置参数。
5. 预览数据字段,单击保存

Mongodb 整库来源配置

Mongodb 读取配置参数说明




参数
说明
数据源
选择需要同步的 Mongo 数据源。
来源表
根据业务需求,选择“所有库、集合”、“指定表”、“指定库”:
所有库、集合:监控数据源下所有库。任务运行期间新增库、表默认将同步至目标端。
指定集合:仅同步指定集合。
指定库:监控指定库,同步库下所有或符合规则的表。
读取模式
全量 + 增量、增量。
过滤操作
提供多种过滤操作,包括插入、更新、删除、删除集合、删除数据库、重命名集合,设置后将不同步指定操作类型的数据。

数据类型转换支持

读取

Mongodb 读取支持的数据类型及转换对应关系如下:
BSON 类型
内部类型
-
TINYINT
-
SMALLINT
Int
INT
Long
BIGINT
-
FLOAT
Double
DOUBLE
Decimal128
DECIMAL(p, s)
Boolean
BOOLEAN
Date Timestamp
DATE
Date Timestamp
TIME
Date
TIMESTAMP(3) TIMESTAMP_LTZ(3)
Timestamp
TIMESTAMP(0) TIMESTAMP_LTZ(0)
String,ObjectId,UUID ,Symbol ,MD5 ,JavaScript,Regex
STRING
BinData
BYTES
Object
ROW
Array
ARRAY
DBPointer
ROW&ltSTRING, STRING>