1分钟构建轻量级实时 ETL 作业原创

Oist是大数据生态体系的实时化分析利器，下面演示一下如何一分钟快速构建实时ETL作业。首先我们点击一元秒杀购买ochle集群，然后选择已经创建好的网络和存储，点击确定进行购买。支付完成后，对刘计算角色进行授权，点击前往授权并同意授权。之后切换到OS控制台，等集群创建完成之后，从资源概览页可以看到这个集群下所有的资源。我们这个作业是把数据从MY搜口通过oist ETL作业储存到u search中。首先需要在口中提前创建好表。这里我创建了一个student表，并手动插入了一些数据。现在我们开始新建ETL作业。

进入到作业管理，新建作业，选择ETL作业，选择这里的作业名称以及集群进行创建。进入开发调试数据源表，选择在my circle中创建好的student表。数据目的表选择usas search。配置需要进行映射的字段，这里我们还可以对字段进行计算，比如对H字段。配置完之后，点击发布草稿，启动作业，这里我们就实现了一个简单的实时ETL作业。接下来通过elastic search the key balla工具查询验证刚才写入的数据。

我们可以看到age字段已经进行了加一操作，接下来我们查看下oist的官方文档。ETL作业不仅可以进行一些数学表达式的计算，例如加减乘除、求平均值、求总和等。还可以增加一些常用字段，除此之外，还可以使用flink the udf函数。ETL作业还可以接入丰富的上下游，例如上游接入M色口或PG，下游接入PG clicks or ES。