离线同步支持输入、输出和转换三种类型的数据节点,本文将重点说明各读、写及转换节点配置及底层数据类型映射。
读写节点配置
数据库类型 | 读取节点 | 写入节点 |
关系型数据库 | ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| - | |
大数据 | ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
消息列表 | ||
NoSQL | ||
| ||
| - | |
半结构化 | ||
| ||
| ||
| - |
转换节点配置
字符串替换
字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换,本节点将在字段内容全部或部分匹配字符串时执行替换操作。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行字符串匹配的字段。本节点处理的字段必须为字符串类型。 说明: 本转换节点中,可对同一个字段配置多个转换规则。多个规则之间将根据配置顺序串行。 |
正则表达式 | 用于匹配原字段内容的 Java 正则表达式。 |
新字符串 | 对命中的字段内容替换成指定新字符串。 |
替换方式 | 支持仅替换第一个匹配结果或全部替换。 |
删除 | 删除本行规则。 |
时间格式转换
时间格式转换节点主要用于对表中时间字段转换为目标格式,如将 yyyymmdd 时间格式转换为 yyyymmdd hh:mm:ss 格式。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行时间格式匹配的字段,字段需为 datetime、time、timestamp,date 等类型。 说明: 本转换节点中,可对同一个字段配置多个转换规则。 |
源时间格式 | 指定本字段时间格式,若指定格式与实际格式不符合将不进行转换,数据处理为脏数据。 |
目标时间格式 | 对于每条记录,若当前字段与指定的源目标格式一致,系统将会把源时间格式转为目标格式。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持离线同步任务。
值转换
值转换节点主要用于对字段的内容进行标准化处理,本节点将在字段内容与指定内容完全相等时执行替换操作,替换后原字段内容将被更新。如将“CHINA”统一替换成“CHN”。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行时间格式匹配的字段,字段默认来源于上游字段,支持对所有上游字段进行处理。 说明: 本转换节点中,可对同一个字段配置多个转换规则。 |
匹配值 | 用于判断原字段是否等于该指定值。若相等,将执行替换行为替换值。 |
替换值 | 值转化目标,不可为空。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持离线同步任务。