进入数据开发
本文介绍 WeData 数据开发界面功能,方便用户了解数据开发模块的整体布局及功能。
1. 打开并登录 WeData控制台。
2. 单击项目列表中数据开发,进入数据开发模块界面。
整体功能索引
功能说明:
区域 | 描述 |
1 | 返回 WeData 控制台 切换 WeData 功能模块 单击 图标,可以选择 WeData 产品中其他的功能模块: 切换项目 单击 图标,可以选择当前区域下的其他项目空间。 |
2 | 在该区域单击 图标,即可展示对应功能按钮的名称(默认展开)。开发概览:提供从建库建表、数据开发、任务提交、任务运维的全链路数据开发流程。 开发 数据管理:库表管理支持数据库表的创建及 DDL 转换,公有云目前支持的类型包括 Hive 和 DLC。 开发空间:开发空间是 WeData 的脚本开发和调试模块,给用户提供了脚本管理、调试和 SQL 脚本调试结果查看的功能。同时提供了SQL 类型脚本的快速查询能力。 编排空间:编排空间是任务配置和管理模块,给用户提供了可视化的工作流配置、任务管理、任务调试、任务调度配置、任务提交和发布的功能。 数据探索:数据探索目前提供 DLC 数据表的快速查询和分析能力。 函数开发:支持 Hive SQL 、 Spark SQL、DLC 自定义函数的创建与管理,自定义函数创建并提交后,开发脚本和工作流计算任务均可通过函数库引用。 资源管理:资源管理提供了用户在数据开发过程中使用其他资源文件的管理能力,包括创建函数需要的资源文件、Spark 任务使用的Jar 文件等。 事件管理:事件管理提供了调度依赖事件的管理功能,可以实现由事件来触发 WeData 调度任务执行的功能。 回收站:回收站提供了开发空间、编排空间、资源管理中已经删除脚本、任务、文件的管理能力。 发布管理 克隆包列表:克隆包列表用来管理从当前项目克隆到其他目标项目的克隆任务。提供了创建克隆包、编辑克隆包,查看克隆详情的功能。 运维 运维大屏:运维大屏以报表的形式展示需要重点关注的运维指标,包括任务、实例的运行情况统计、任务状态分布、任务完成情况趋势、调度资源变化等。 任务运维:任务运维支持用户按照工作流和任务两个角度来管理和运维任务,包括任务的停止、暂停、重跑,查看实例和历史记录等操作。 实例运维:任务根据周期性的调度生成对应实例,实例运维提供了实例日志查看、重跑等操作。 数据补录:数据补录提供了数据补录计划的统一管理界面,可以在数据补录中查看创建的数据补录计划的详细状态,并且可以对补录的实例进行批量操作。数据补录不提供直接创建补录计划的功能,需要在任务列表中发起任务补录。 告警规则:告警规则页面提供了告警任务配置功能,配置告警条件后通过告警通知将告警信息推送到指定对象。 告警信息:告警信息页面提供了所有已经配置告警任务的详情列表,支持以时间、任务名称和接收人进行筛选。 |
3 | 全局搜索( ):支持开发空间、编排空间全局代码的搜索。刷新( ):刷新当前项目中开发空间/编排空间等目录树。定位( ):一键定位当前打开的脚本在左侧树中的位置。收起( ):一键收起展开的所有目录。批量操作( ):编排空间:支持批量导入导出数据工作流以及计算任务的配置信息;支持批量操作计算任务,包括删除、修改执行资源组、修改责任人、修改任务参数;支持隐藏或显示计算任务的归类文件夹。 开发空间:支持 Excel 批量导入开发脚本;支持批量删除脚本文件。 新建( ):可以新建文件夹和文件,在开发空间和编排空间创建不同类型的脚本和任务。目录操作( ):可以新建文件夹和文件;支持批量导出、批量导入脚本文件,导出导入均为按照目录结构组织的 zip 文件。文件操作( ):可以重命名、移动、下载与删除开发文件,并且支持查看开发文件在编排空间中的引用情况。 |
4 | 新建文件夹/文件:首次进入数据开发时,没有已创建文件,用户可以在此处新建第一个文件夹或文件。 |