2022年10月
如下表格介绍了数据开发治理平台 WeData 2.1版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据规划 | 新增: 数仓规划:数仓架构设计、数据分层、业务分类、主题域、业务过程全局定义和管理 模型设计:逻辑模型规范定义管理,包括明细表、汇总表、维度表,支持模型物化发布、逆向导入、版本管理等 数据标准:支持标准规则、码表、度量单位、术语词典定义和生命周期管理,并提供字段落标、标准转换任务定义 指标字典:基础指标、衍生指标定义和生命周期管理,并支持语义 SQL 拼接 维度字典:普通维度、时间周期、业务限定、退化维度定义和生命周期管理 | 2022-10-18 | - |
2022年06月
如下表格介绍了数据开发治理平台 WeData 2.1版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据集成 | 新增: 实时新增4类读取节点,8类写入节点,读取包括 pg、sqlserver、oracle、Mongo;写入包括新 Greenplum、Tbase、CK、Iceberg 、DLC、hbase、hdfs、es 离线新增3类转换节点,包括时间格式转换、值转换、字符串替换;实时新增5类转换节点,包括字符串替换、字段分割、数据过滤、去重、数据连接 任务编辑锁定与解锁 支持任务告警规则管理,提供告警指标、阈值、优先级属性设定 告警事件列表 支持数据集成任务指标告警,支持微信、企业微信、电话、短信、邮件、HTTP 告警渠道 | 2022-06-30 | - |
| 优化: 离线及实时 Kafka 读取节点支持指定消费组 离线 MySQL 数据表名称支持时间参数匹配 相关体验优化 | 2022-06-30 | - |
数据开发 | 新增: 支持开发空间、编排空间和回收站任务和文件全局代码搜索 支持开发空间文件、编排空间任务高级运行功能 编排空间工作流画布和左侧任务显示“任务修改未提交”状态 支持开发空间协同开发模式配置 告警事件列表 | 2022-06-30 | - |
| 优化: 任务暂停支持选择下游暂停范围 任务状态精细化,等待运行细分等待上游、等待事件和等待运行状态 任务调度依赖优化,支持全周期类型依赖 任务调度小时周期支持范围间隔配置,例如每天1点~4点间隔2小时调度 任务调度小时周期指定为多小时支持配置自依赖 相关体验优化 | 2022-06-30 | - |
数据运营 | 新增: 元数据采集类型扩展(PostgreSQL、Oracle、SQL Server) 扩展数据产出与变更信息 支持元数据变更监控配置与消息提醒 扩展支持数据表资产评分体系,辅助治理评估 支持基于例行化任务和临时查询的热度值统计、辅助治理评估 支持元数据的数据质量监控信息 | 2022-06-30 | - |
| 优化:数据管理完善生命周期处理 | 2022-06-30 | - |
数据质量 | 新增: 质量告警订阅方式扩展电话、微信等方式 增加质量报告模块 实现基础版本系统质量打分体系 质量任务运维扩展执行记录 质量任务运维扩展数据血缘查看 系统规则模板扩展及时性、一致性的模板,以及模板配置流程 扩展自定义规则模板能力 | 2022-06-30 | - |
| 优化:数据质量监控配置信息展示优化,监控开关 | 2022-06-30 | - |
2022年04月
如下表格介绍了数据开发治理平台 WeData 2.0版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据集成 | 新增: 新增数据集成模块,支持离线同步、实时同步、整库迁 支持单独集成资源组 | 2022-04-06 | - |
| 优化: 离线数据集成扩展支持25种来源、26种写入节点 支持实时数据同步 支持 MySQL 整库实时同步至 Kafka | 2022-04-06 | - |
数据开发 | 新增: 支持事件触发调度 支持我的申请及审批管理(通过、驳回) 支持任务及资源回收 支持任务发布管理 | 2022-04-06 | - |
| 优化: 支持新建库,新增 hbase 和 Kafka 类型 对应老版本即席分析,新增脚本和可视化离线同步开发功能 支持先开发后编排模式 数据开发新增6种任务类型,支持元数据库和函数库快捷查看 支持任务批量导入和导出 丰富统计指标 任务 DAG 图形展示,新增运行历史,日志显示优化等 周期实例支持 DAG 展示,新增事件触发实例结果查看 | 2022-04-06 | - |
数据地图 | 优化: 统计指标优化 更丰富的层级模式 增加一站式权限操作 | 2022-04-06 | - |
数据质量 | 新增: 事中数据质量 支持质量概览针对不同数据粒度、规则执行状态以及规则维度等关键数据的统计展示,支持告警与阻塞趋势 支持系统、自定义规则模板的展示管理 支持质量任务及运维管理 | 2022-04-06 | - |
数据安全 | 新增:支持针对不同数据类型进行策略的 Ranger 访问策略的配置 | 2022-04-06 | - |
基础平台 | 新增: 计算引擎新增支持 DLC 告警渠道扩展支持企业微信、电话、HTTP 渠道 | 2022-04-06 | - |
| 优化: 交互体验优化,易用和便捷性提升 数据源类型扩展至30种 EMR 引擎优化支持账号映射配置 执行资源按调度资源和集成资源分类,提高资源隔离性和利用率 | 2022-04-06 | - |