HBase 单表写入节点配置
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧写入,单击选择 Hbase 节点并配置节点信息。
4. 您可以参考下表进行参数信息配置。
参数 | 说明 |
数据源 | 需要写入的 HBase 数据源。 |
命名空间 | 支持选择、或者手动输入需写入的空间。 |
表 | 支持选择、或者手动输入需写入的表名称。 当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
rowkey 规则 | 单击配置即可进入 rowkey 的配置页面,配置类型和对应的值即可。 |
高级设置 | 可根据业务需求配置参数。 |
5. 预览数据字段并与读取节点配置字段映射,单击保存。
HBase 日志采集写入节点配置
参数 | 说明 |
数据源 | 选择当前项目中可用的 HBase 数据源。 |
命名空间 | 手动输入或者选择命名空间。 |
表 | 选择该数据源中对应的表。 |
rowkey 规则 | HBase 数据源需要配置 rowkey 规则。 |
高级设置(可选) | 可根据业务需求配置参数。 |
HBase 写入数据类型转换支持
写入
HBase 写入支持的数据类型及转换对应关系如下(在处理 HBase 时,会先将 HBase 数据源的数据类型和数据处理引擎的数据类型做映射):
内部类型 | HBase 类型 |
CHAR,VARCHAR,STRING | byte[] toBytes(String s),String toString(byte[] b) |
BOOLEAN | byte[] toBytes(boolean b),boolean toBoolean(byte[] b) |
BINARY VARBINARY | Returns byte[] as is. |
DECIMAL | byte[] toBytes(BigDecimal v),BigDecimal toBigDecimal(byte[] b) |
TINYINT | new byte[] { val },bytes[0] // returns first and only byte from bytes |
SMALLINT | byte[] toBytes(short val),short toShort(byte[] bytes) |
INT | byte[] toBytes(int val),int toInt(byte[] bytes) |
BIGINT | byte[] toBytes(long val),long toLong(byte[] bytes) |
FLOAT | byte[] toBytes(float val),float toFloat(byte[] bytes) |
DOUBLE | byte[] toBytes(double val),double toDouble(byte[] bytes) |
DATE | Stores the number of days since epoch as int value. |
TIME | Stores the number of milliseconds of the day as int value. |
TIMESTAMP | Stores the milliseconds since epoch as long value. |