2024年8月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 数据开发的 HiveSQL、SparkSQL 等任务增加 EMR on TKE 引擎数据源的选择。 数据开发 DLC 类型的任务支持 DLC 标准引擎。 工作流提交增加任务上游依赖是否提交的功能检测。 跨项目克隆功能支持模拟克隆，预先判断克隆存在的问题。 新增项目的标准模式，增加发布中心，完善开发、提交、发布的 Dataops 流程。 新增分支和归并逻辑判断节点。 优化： 工作流目录和画布优化任务的分类的展示方式，聚合展示同类型任务节点。 代码搜索支持了离线同步任务更多配置项的搜索。 画布中增加了隐藏跨工作流节点的选项。 SQL IDE 优化部分代码显示、和字段补全能力优化。 运维大屏新增运行中实例数、等待运行实例数、CPU 使用率、内存使用率、并发使用率、磁盘使用率数值及变化趋势。 数据补录支持定义离线同步速率限制、支持补录实例预览。 优化部分任务的日志打印格式。 | 2024-08-17 | - |
数据集成 | 新增： 离线同步支持 CTSDB influxDB 源端、目标端。 离线同步支持 TDMQ-Pulsar（虚拟集群版本）目标端。 离线同步支持 EMR on TKE 引擎的 Hive 数据源读写。 运维中心任务诊断支持数据集成运行态的错误诊断。 实时同步新增 TDSQL-C MySQL > Elasticsearch、MySQL > Hive、TDSQL-C MySQL > Hive 实时整库链路。 实时同步 PostgreSQL 读取能力全面提升，新增 PostgreSQL > Iceberg、PostgreSQL-> DLC 两条整库链路。 实时同步 SQL Server 读取能力全面提升，新增 SQL Server > Iceberg 整库链路，支持一致性语义、DDL 变更策略及系统元数据写入。 实时同步任务支持 Schema 变更关键事件且支持告警订阅。 数据集成离线同步、实时同步支持 DLC 标准引擎。 优化： 离线同步 Sybase 源端支持筛选条件过滤。 离线同步 HDFS 源端新增高级参数，支持文件路径或文件为空、文件路径或文件不存在时任务不报错。 离线同步 ES 目标端支持 wildcard 字段类型。 离线同步 HDFS、S3、COS 目标端支持将未知或不适用的值转为指定字符串。 离线同步 Doris、StarRocks 目标端新增高级参数，支持将数据中与分割符一致的字符替换为自定义符号后再按照分割符分隔数据。 离线同步 OceanBase 读写性能优化（OceanBase 数据源需要开白使用）。 实时同步 SQL Server、Kafka 读取优化。 实时同步任务列表搜索优化。 实时同步达梦数据源新增适配多种数据类型。 实时单表同步 Kakfa 数据到 DLC/TCHouse-D 支持嵌套 json 格式。 提升数据集成元数据加载及查询性能。 | 2024-08-17 | - |
基础平台 | 新增 支持绑定 EMR on TKE 集群作为项目存算引擎，并自动生成相关数据源。 支持绑定 DLC 标准引擎作为项目存算引擎，并自动生成 DLC 数据源。 国际站上线产品功能版本计费功能。 国际站新增香港地域执行资源组售卖。 数据源新增支持 CTSDB influxDB、TDMQ-Pulsar（虚拟集群版本）。 优化 MongoDB 数据源支持填入多 IP，保证高可用。 | 2024-08-17 | - |
数据资产 | 全新升级： 全域数据检索：支持全域数据的检索，以及资产的360视图，含业务属性、管理属性、技术属性，以及数据血缘、数据预览、产出关系、变更历史访问日志等，清晰掌握数据资产全方位信息；并提供权限申请、业务信息维护等常用功能快捷入口。 资产盘点：提供自定义资产目录，将有业务价值的、可在团队内流动的且经过盘点治理的数据资产挂载至各个资产目录中，并根据业务管理逻辑清晰分类数据资产、设置标签和重要等级等管理信息，并支持发布、下线全流程规范管理。 资产目录：基于资产盘点的结果，支持查看资产的分布情况，按照目录分类快捷检索各个目录中的资产，以及各类资产的360视图，并提供权限申请、业务信息维护等常用功能快捷入口。帮助数据消费方快速搜索数据，理解数据，使用数据。 | 2024-08-17 | - |
数据服务 | 新增： 支持查询调用日志，可根据日志记录进行分析、排错。 支持腾讯云原生 API 网关，支持原 API 网关（退市中）切换。 优化： 数据源用户名密码修改后，数据服务自动更新。 | 2024-08-17 | - |
数据质量 | 新增： TCHouse-P 数据源支持 Schema 属性。 优化： 优化质量监控和运维管理页面中，监控对象的展示和筛选。 创建质量规则时，切换为元数据直连接口，提升系统稳定性。 | 2024-08-17 | - |
2024年6月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增： 新增全新的 SQL 探索模块，为 SQL 探查和结果查看提供全新体验。 调度参数支持获取调度计划时间。 离线集成类型任务支持使用调度参数。 DLC 任务新增网络配置选项。 新增编排空间全新的快捷键、字段补全能力。 函数管理增加 DLC 中创建函数的默认展示。 优化： 优化上游依赖任务配置的选择方式。 优化任务、脚本文件的版本展示。 PySpark/DLC PySpark/TDSQL-PostgreSQL/TCHouse-X SQL/Trino/离线集成任务支持参数传递能力。 重跑操作支持指定部分下游。 任务告警渠道支持钉钉群渠道。 | 2024-06-28 | - |
数据集成 | 新增： 数据集成离线同步支持源端 PostgreSQL 到目标端 Hive、DLC、Doris 的一键建表。 数据集成离线同步批量创建单表任务功能优化，并新增支持 COS、HDFS、SFTP、FTP 数据源。 数据集成离线同步任务源端和目标端支持 MongoDB 6.0 版本。 数据集成实时同步支持 Oracle > StarRocks、MySQL > StarRocks、TDSQL-C MySQL > StarRocks 实时整库链路。 数据集成实时同步-单表任务 Elasticsearch 目标端支持 wildcard 字段类型。 数据集成实时同步-实时整库支持 Kafka 目标端 binlog 将 update-before 和 update-after 的记录合并。 Inlong 控制台地域与 WeData 对齐，新开放上海金融、北京金融、中国香港、新加坡地域 简化 TCHouse-D 数据接入流程，支持从 TCHouse-D 控制台管理 Inlong 实时同步任务 优化： 数据集成任务数据库配置获取策略优化。 数据集成提升元数据加载及查询性能。 数据集成实时同步 DLC 小文件合并优化、DLC 整库同步支持配置阶段批量建表。 数据集成任务提交优化数据源连通性检查。 离线集成支持通过 zookeeper 连接 Hive 数据源保证高可用。 | 2024-06-28 | - |
基础平台 | 新增： 新增腾讯云 MySQL、TCHouse-C、腾讯云 ElasticSearch、腾讯云 MongoDB 数据源类型，支持通过云实例模式进行连接。 新增支持 CAM 腾讯云账号角色登录使用 WeData。 支持平台告警和通知推送到钉钉群。 优化： Hive 数据源高可用提升，支持通过 zookeeper 进行连接。 | 2024-06-28 | - |
数据安全 | 新增： 全新升级数据安全功能，支持敏感数据分类分级，数据脱敏功能。 | 2024-06-28 | - |
2024年5月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 EMR Spark 相关任务支持配置项目级默认应用参数。 开发空间/编排空间/运维中心日志添加跳转 yarn 的链接。 新增任务详情页：运行历史/运行曲线/任务血缘/任务操作历史。 实例运维支持紧急去除实例依赖关系的功能。 优化 任务调度配置，上游任务依赖支持选择主账号下面的所有项目的任务。 任务调度配置，调度依赖支持选择下游任务，支持依赖下游任务上一周期的实例。 任务版本对比优化，调整调度资源组、数据源名称的展示方式。 任务状态优化，增加任务下线功能，下线后需在编排空间重新提交才能继续调度。 | 2024-05-30 | - |
数据质量 | 新增 支持 Doris 数据源。 支持在离线开发任务重跑和补录时，触发质量检测任务。 优化 支持数据目录中查看质量检测任务配置情况。 | 2024-05-30 | - |
数据集成 | 新增： 实时整库同步目标端支持写入日志时间、操作类型等系统元数据。 实时整库同步、单表同步支持 OceanBase 数据来源（开白）。 实时整库同步新增 Oracle > kafka/ckafka 链路。 离线单表&实时单表同步支持源端为 MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、SqlServer、PostgreSQL 和达梦 DM 类型时到 TChouse-P、Iceberg 目标端一键建表。 离线同步 ES 数据源支持5.x版本。 离线同步任务文件类数据源（FTP/SFTP/HDFS/COS 等）支持自定义字段分隔符和行分隔符。 离线同步脚本模式支持 Kingbase、Phoenix、Selectdb、Txtfle、TDengine 等多种数据
源 离线同步任务 COS 目标端支持 PARQUET 类型。 优化： 实时同步微信小程序任务运维优化。 实时整库任务 oracle 数据源支持加减表。 实时整库新增表不影响增量同步阶段的表。 离线同步优化 DLC 停止任务逻辑。 离线同步 Hbase 目标端支持配置高级参数。 页面新增正则表达式参考示例、优化库表选择体验等。 | 2024-05-30 | - |
数据资产 | 新增： 离线集成任务，视图，数据服务类型血缘展示。 优化： 变更数据运营为数据资产。 | 2024-05-30 | - |
基础平台 | 新增： 新增 TCHouse-D 数据源类型，支持通过云实例模式进行连接。 新增支持 CAM 服务提供商角色登录使用 WeData。 优化： 调度资源组旧规格全面下线，新购用户按照新规格进行购买。 | 2024-05-30 | - |
数据探索 | 新增 推出全新 Notebook 探索功能，支持创建 Jupyter Notebook 空间，读取腾讯云大数据引擎数据进行数据分析探索和机器学习。 | 2024-05-30 | - |
2024年4月
如下表格介绍了数据开发治理平台 WeData 4月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 编排空间增加任务依赖关系和事件依赖的查看能力。 新增实例执行历史记录，支持查看实例等待事件/等待上游、等待运行、运行中的开始时间和结束时间。 新增实例操作记录，可查看实例置成功、终止等操作的操作时间、操作人等信息。 实例列表/任务列表支持下载功能。 实例列表增加展示错误码信息。 优化 实例血缘新增列表模式，并支持针对上下游的批量操作能力。 跨项目克隆增加是否自动勾选上游任务的开关。 任务版本中增加审批人信息。 优化任务版本对比查看能力，增加按照任务属性表格方式对比。 优化 IDE 目录、工作流、任务的打开速度。 | 2024-04-03 | - |
数据质量 | 新增 新增批量导入质量规则：支持通过导入 Excel 文件批量创建质量规则。 新增批量导出质量执行实例：支持在运维管理页面批量导出执行实例运行情况。 新增质量任务列表：支持在运维管理页面查看离线周期检测规则的质量任务，方便用户了解具体的任务执行情况。 新增质量任务告警：支持在运维管理页面对质量任务设置告警信息。当质量任务执行失败时，会对用户进行通知。 优化 优化质量规则触发逻辑：支持将质量规则的触发条件设置为区间值。 优化质量任务执行逻辑：对于使用中低等级规则的质量任务，其执行顺序与其所关联生产调度的下游任务由串行改为并行。 | 2024-04-03 | - |
数据集成 | 新增 集成资源组支持单独购买实时包。 集成资源组支持跨项目共享。 集成告警可以指定时间段。 支持分布式 TDSQL MySQL 离线和实时读写。 离线任务新增多项能力： 离线任务达梦支持 upsert 写入模式； 离线任务 HBase 支持竖表读取； 离线任务 starrocks 作为源端支持设置 query_timeout 等高级参数； 离线任务支持 DLC“Spark 作业”类型计算引擎。 实时同步任务全量阶段新增 at-least-once 同步模式，适用于数据量大且使用非数值型主键、对同步性能要求高的场景。当前支持源端为 MySQL、TDSQL-C MySQL、TDSQL-MySQL 类型的数据源。 优化： 离线任务 FTP/SFTP 到 HDFS 的文件传输任务优化，SFTP 新增文件传输模式，支持多文件路径读取 离线任务 PostgreSQL 表名支持特殊字符 实时任务优化 DLC 写入，包括原小文件合并调整为写入优化、支持大小写表名、支持自动创建分区表、支持列表更自动同步、支持 SortOrder 设置、解决数据重复问题、全面提升 DLC 写入性能等 实时同步任务Doris相关优化，如自动建表修复 comment 乱码问题、表名支持中划线 -、整库任务支持自动分区分桶、新增删除列、重命名列、变更列类型三种 DDL 响应自动变更、全面提升 Doris 写入性能等 实时同步任务全增量同步进度展示优化。全量阶段新增同步进度展示，增量阶段新增业务延迟指标展示。当前支持源端为 MySQL、Oracle、Postgresql 类型的数据源。 | 2024-04-03 | - |
基础平台 | 新增 WeData 新增国际站法兰克福区部署，支持客户进行购买使用。 新增支持 TDSQL MySQL 类型，数据源 TDSQL-C MySQL、TDSQL PostgreSQL 新增支持通过云实例模式接入。 优化 企业微信群的告警方式支持推送至责任人。 支持绑定 DLC“Spark 作业”类型计算引擎，并在集成、开发等模块进行使用。 | 2024-04-03 | - |
2024年3月
如下表格介绍了数据开发治理平台 WeData 3月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 在开发空间中可以对脚本快捷创建编排空间的任务。 数据开发新增 TDSQL-PostgreSQL 任务节点和调度。 工作流调试支持自定义并发度。 新增数据探索模块适配 DLC 引擎。 优化 任务超时时间可以自定义到5分钟级别。 新建工作流中不再单独提供默认的 SparkSQL 任务参数。 数据管理建表适配 PG。 跨项目克隆功能提供只克隆依赖关系，不克隆上游任务的功能。 优化告警信息，增加展示：任务类型、任务责任人、规则名称、告警类型及详细配置等信息。 运维模块日志：新增日志换行功能；统一各任务类型日志执行步骤。 | 2024-03-07 | - |
数据质量 | 新增 同一数据表的不同规则支持配置不同的执行策略和订阅信息。 支持查看质量规则告警信息。 优化 告警消息内容新增：项目、规则名称、规则内容、实际值、告警触发时间、告警接收人。 | 2024-03-07 | - |
数据集成 | 新增 支持跨主账号的 MySQL 数据源离线与实时同步。 支持表单、画布、脚本模式转换。 离线任务新增多项能力： 离线任务 TCHouse-P 、PostgreSQL、SqlServer、Oracle 数据源支持 upsert 写入； 离线任务 Oracle、DM 数据源支持分库分表读取； 离线任务 HDFS、Kudu 自定义源支持 kerberos 安全认证； 离线任务支持 TDSQL PostgreSQL 离线读写。 实时单表任务支持 Kafka ogg-json 序列化格式。 实时整库同步、单表同步，支持无主键 MySQL 表和 MySQL 空表。 实时单表任务支持达梦 DM V8 数据源作为来源端。 实时运维支持反压监控指标展示，体现源端和目标端的写入性能。 实时运维支持启停等历史操作记录。 实时任务支持微信小程序告警及运维。 优化 支持 schema 的数据源统一增加 schema 配置项。 离线集成运行日志增强查看的易用性。 实时实例运维批量运行操作优化。 实时单表任务支持 TDSQL-C 数据来源，与原来的 MySQL 数据源拆开。 实时整库同步 Doris 批量建表界面失败后支持关闭。 | 2024-03-07 | - |
平台基础 | 新增 上线新版功能菜单，增加菜单收藏等功能。 新增支持 TDSQL PostgreSQL 数据源类型。 优化 绑定 DLC 引擎支持指定默认数据库。 整体优化审批流程，支持对任务提交、库表申请、API 申请等场景进行审批。 | 2024-03-07 | - |
2024年1月
如下表格介绍了数据开发治理平台 WeData 1月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 支持在编排空间中导入数据集成模块中已经配置好的集成任务。 变量管理支持同一个变量配置调试运行值和周期调度值，方便实现在调试和周期调度的时候使用不同的值。 调度依赖关系支持自定义偏移量的配置。 任务告警支持配置告警次数、告警间隔时间、免打扰时间。 支持针对补录、重跑实例配置告警。 运维大屏增加工作流视角。 优化 支持在编排空间跳转到任务实例运维页面。 编排空间任务支持查看调度状态和快速提交。 支持查看近3个月的补录计划。 | 2024-01-31 | - |
数据质量 | 新增 支持多表/多字段批量创建单规则，支持单表/单字段批量创建多规则。 支持查看全部规则、按模板查看规则。 | 2024-01-31 | - |
数据服务 | 新增 支持动态 SQL 模式来生成 API，涵盖了 Mybatis 语法的常见标签类型：if、choose、when、otherwise、trim、foreach、where，实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 优化 支持 post 模式下 body 传参方式，方便客户定制参数体。 告警扩展了飞书渠道。 | 2024-01-31 | |
元数据 | 新增 新增了元数据查询增量和全量接口，方便用户定制数据治理能力。 优化 优化了部分功能的元数据获取性能，提升用户体验。 | 2024-01-31 | - |
数据集成 | 新增 支持 TCHouse-P 自定义数据源离线读写和实时写入。 Iceberg 目标端支持底层存储为 CHDFS 且开启 Kerberos 场景。 告警规则支持按照值班表告警。 离线同步支持 TDSQL-C > DLC 一键建表操作。 离线任务新增多项能力： 离线任务支持导入到数据开发编排空间； 离线任务支持批量创建离线单表任务； 离线任务支持达梦 DM V8 读写； 离线任务 COS/HDFS/Rest API 来源端支持跳过表头，目标端支持包含表头； 离线任务支持展示运行中的任务监控指标，增加读、写等待时间。 实时整库新增 Oracle > DLC 同步链路。 实时整库同步全量阶段支持自动新增列。 实时整库同步到 Doris 支持列类型变更。 实时运维支持强制暂停操作，并支持带状态重启。 优化 ES 索引输入交互优化、ES 检索条件支持格式校验、字段配置页面交互优化。 单表任务元数据获取优化为分页滚动加载。 离线任务支持 Iceberg 源端并发读取。 实时任务 DLC 写入端接口和性能优化。 实时同步任务告警规则未按照预定规则告警的问题修复。 | 2024-01-31 | - |
平台基础 | 新增 新增执行资源组监控功能，支持查看资源使用率、资源使用趋势、运行中的实例、排队中的实例等指标。 数据源管理新增资源组连通性测试功能，支持测试当前数据源与执行资源组间的连通性，并提供失败原因诊断能力。 数据源新增支持 TCHouse-P 类型。 正式发布国内站香港区。 | 2024-01-31 | - |
