TCLake 离线写入节点配置

参数 | 说明 |
数据去向 | 需要写入的 TCLake 数据源。 |
数据去向类型 | 固定为 Volume 卷。 |
Volume 卷 | 选择需要写入的 Catalog、Schema 和 Volume。 |
同步方式 | 文件传输:不做内容解析传输整个文件,可应用于非结构化数据同步。 提示:请保证读取节点为 sftp、ftp、cos、s3、hdfs、Azure Blob、File System 或 http 类型,并且该节点同步方式为"文件传输"。 |
文件路径 | Volume 卷下的文件路径信息。 |
压缩格式 | 写入文件的压缩格式,默认 none,支持 none、deflate、gzip、bzip2、lz4、snappy。 |
标记完成文件 | 同步任务结束后在文件路径下生成标记完成文件,该文件内容为空,根据该文件可以判断同步任务是否成功。 |
高级设置 | 可根据业务需求配置参数。 |
数据类型转换支持
写入
TCLake 写入支持的字段类型及类型转换对应关系如下(在处理 TCLake 时,会将 TCLake 数据源的数据类型和数据处理引擎的数据类型做映射):
内部类型 | TCLake 数据类型 |
Long | tinyint, smallint, int, integer, bigint, long |
Double | float, double, decimal |
String | string, varchar, char |
Date | date, timestamp |
Boolean | boolean |
Bytes | binary |