CTSDB influxDB 离线单表读取节点配置
参数 | 说明 |
数据来源 | 选择当前项目中可用的 CTSDB influxDB 数据源。 |
库 | 支持选择、或者手动输入需读取的库名称 默认将数据源绑定的数据库作为默认库，其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时，可手动输入数据库名称。在数据集成网络连通的情况下，仍可进行数据同步。 |
Measurement | 支持选择、或者手动输入需读取的时间序列数据的逻辑分组。 |
时间位点精度 | 起始时间位点和结束时间位点的精度： 若选择小时，则读取时从 yyyyMMddHH 起始/结束。 若选择分钟，则读取时从 yyyyMMddHHmm 起始/结束。 若选择秒，则读取时从 yyyyMMddHHmmss 起始/结束。 |
起始时间位点 | 读取 CTSDB influxDB 的起始时间（CTSDB influxDB 数据库中为 UTC 时间），可输入具体时间值或者时间参数。如时间位点精度指定到秒级别时，时间值：20200101123027，时间参数：${yyyyMMddHHmmss}。时间参数支持使用 “+”、“-” 等运算符处理，如${yyyyMMddHHmmss-3H} |
结束时间位点 | 读取 CTSDB influxDB 的结束时间（CTSDB influxDB 数据库中为 UTC 时间），可输入具体时间值或者时间参数，如时间位点精度指定到秒级别时，时间值：20200101123027，时间参数：${yyyyMMddHHmmss}。时间参数支持使用 “+”、“-” 等运算符处理，如${yyyyMMddHHmmss-3H} |
Batch Size | 每次从 CTSDB influxDB 读取的条数，不填写默认为1000 |
筛选条件（选填） | 根据数据类型填写对应筛选语句，该语句会作为将要同步数据的筛选条件。 |
CTSDB influxDB 离线单表写入节点配置
参数 | 说明 |
数据去向 | 选择当前项目中可用的 CTSDB influxDB 数据源。 |
库 | 支持选择、或者手动输入需写入的库名称 默认将数据源绑定的数据库作为默认库，其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时，可手动输入数据库名称。在数据集成网络连通的情况下，仍可进行数据同步。 |
Measurement | 支持选择、或者手动输入需写入的时间序列数据的逻辑分组。 |
时间戳精度 | 时间数据的精度，可以使用的精度包括 ns（纳秒）、u（微秒）、ms（毫秒）、s（秒）、m（分钟）、h（小时）。 |
是否清空表 | 在写入该 CTSDB influxDB 数据表前可以手动选择是否清空该数据表。 |
批量提交大小 | 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与 Vertica 的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程 OOM 异常。 |
前置 SQL | 执行同步任务之前执行的 SQL 语句，根据数据源类型对应的正确 SQL 语法填写 SQL。 |
后置 SQL | 执行同步任务之后执行的 SQL 语句，根据数据源类型对应的正确 SQL 语法填写 SQL。 |
CTSDB influxDB 脚本 Demo
如果您配置离线任务时，使用脚本模式的方式进行配置，您需要在任务脚本中，按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。
"job": {"content": [{"reader": {"parameter": {"password": "******","column": [ //列名"time"],"connection": [{"endpoint": "http://ip:8086","database": "database","where": " time >= 1577853027000000000 and time < 1577853030000000000", //筛选条件"table": "source_table" //源表}],"batchSize": "1000", //每次读取条数"encoding": "utf-8", //编码方式"username": "wedata"},"name": "influxdbreader"},"transformer": [],"writer": {"parameter": {"password": "******","column": [ //列名{"name": "time","type": "timestamp"}],"connection": [{"endpoint": "http://ip:8086","database": "database","table": "sink_table" //目标表}],"batchSize": 1024, //批量提交大小"encoding": "utf-8", //编码方式"timePointPrecision": "s", //时间戳精度，支持"username": "wedata"},"name": "influxdbwriter"}}],"setting": {"errorLimit": {"record": 0 //脏数据阈值},"speed": {"byte": -1, //不限制同步速度，正整数表示设置最大传输速度 byte/s"channel": 1 //并发数量}}}
