【离线开发平台】Spark离线计算引擎的批处理开发实践！原创

Spark离线计算引擎的批处理开发实践，从数据抽取、清洗到API服务化的全链路数据中台构建在企业数据流转的过程中，如何高效稳定的打通从业务源表到数据应用的最后一公里？今天奥林数据中台带您体验仅需几步简单的配置，让数据自动同步和精准的进行分析，这不仅仅是数据的搬运，更是数据资产的标准化与服务化。第一步，数据离线调度跑批处理，拖拽式配置，零代码构建从MYSQL原表到Doris数仓四层模型离线沉淀，先检查原表数据情况，然后在目标端每一层先创建好目标表，打开离线开发平台，点击创建项目，点击开始创建离线工作流。

选择ctel组件拖拽到操作区中作为第一层，并设置填写节点名称，这里指定它要运行在哪个集群环境，后续节点也是在这个环境执行。设置执行c tunnel同步任务的配置的脚本，过滤掉6月22日前的数据后面的流程选择Spark组件进行编辑奥2w do这一层设置执行SQL脚本方式运行这个脚本是每日调度关联dores订单与MYSQL用户维度写入Dow的明细表。节点设置完成后，需要按顺序进行上下步骤连接在W~2WWS节点中程序类。

请选Java这部分，按这个进行设置。这里的主程序包需要先在资源中心上传jar包做准备，在WWRS节点中，程序类型也是选择Java填写完成这样的。这里的主程序包同样需要先在资源中心上传jar包做准备。以分层架构为骨架，异构融合为血脉，通过引擎混编与资源弹性调度，构建了一套高可用、高扩展的企业级数据管道体系。设置完成后，点击保存，点击上线，取消定时设置，选择失败后就结束运行，运行环境跟结。

节点设置的环境一致，在工作流实例中等待运行完成后查看结果，运行成功后在任务实例中可以查看执行日志，方便根据执行详情。现在打开目标端查看4个目标表的数据情况，目标端可以看到4个表都已有数据。第二步，API接口封装，让离线数据通过标准化接口敏捷赋能业务前台。检查数据源连接后，在接口配置进行添加新接口，这里选择数据源给接口调用数据，这里是设置接口调用是哪个表的数据，接口配置填写完成是这样的，打开swagger，找到创建的接口，打开进行校验是否正常。

模拟发送后返回的数据显示接口是正常使用的，开启上线，正式使用，设置成公开第三步，数据可视化，基于API接口的多维数据源整合，打造一屏观全域的指挥调度中心，在数据视图进行新建视图，这里选择通过数据表进行新建，这里选择as the province daily summary这个数据表，点击执行后检查数据表，数据没问题后进行保存，这里可以将视图放到文件夹中进行归类管理，完成后视图会创建到对应的文件夹里，点击开始分析进行数据可视化。这里的数。

域分为维度和下面指标两部分，数据来源是根据X province daily summary这个表。这里提供了多种可视化类型，可根据不同业务进行选择。这里把省份设为维度，把订单量设为指标，直观对比各省份的业务量大小。这里维度是决定横轴标签按什么划分，指标是决定竖轴标签看什么数据可以根据不同的业务设置维度和指标。保存数据图表，创建仪表盘进行专项管理，打开新建的仪表盘，添加图表，选择引入已有数据图表的方式，可以将同业务的数据图表都添加到一个仪表盘中，方便后续汇报和管理，确认没问题后点击保存点击。

发布将公开查看导出操作中可以导出图表为PDF或表格等形式，方便汇报演示。至此，离线调度任务全链路加工已完成。