动态发布记录(2026年)

最近更新时间:2026-06-04 14:30:48

我的收藏

2026年5月

动态名称
动态描述
发布时间
数据集成
新增:
TRUNCATE TABLE 同步:实时同步支持源端 TRUNCATE TABLE 操作的同步。
DDL 加密字段同步:电话号码等使用 projection 加密的字段,DDL 变更时支持同步。
多源端告警指标统一:拉齐业务延迟、传输延迟指标。
建表逻辑统一:运行前建表与运行中建表逻辑做了统一,避免双路径下的不一致问题。
运行中扩库表无阻塞:运行中的实时同步作业新增库表时,不再阻塞已有库表的同步性能。
Iceberg 主键去重:离线集成 upsert 写入 Iceberg 表时支持主键去重。
Redis JSON 写入:离线集成写入 Redis 时支持 JSON 格式输出。
MySQL session 参数自定义:离线集成任务 session 级参数 net_write_timeout=600 等支持用户自定义。
TCHouse-P 数据对账禁用:离线数据对账场景,在界面上隐藏/禁用 TCHouse-P 选项,避免误用。
EMR Kerberos 信息回传:EMR 数据源支持返回 Kerberos 鉴权信息。
JDBC 类源透传参数:JDBC 类数据源支持参数透传。
引擎类源参数补全:引擎类数据源支持额外参数配置。
高级参数自助化:高级参数支持自助配置实例类参数。
优化:
TCHouse-D 写入核心痛点解决:针对 TCHouse-D 写入侧高并发、超时、连接复用等核心痛点进行全链路优化。
MySQL 稳定性优化:实时同步 MySQL 来源端整体稳定性增强,覆盖断连重试、binlog 解析容错等。
分库分表可用性提升:实时分库分表场景下的整体可用性优化。
Kafka 空串处理:实时同步 Kafka debezium 序列化格式下空串处理逻辑优化。
Hive 数据源参数优化:JDBC 模式下 Hive 数据源参数配置规则优化与提示;HDFS 模式两种方式均支持。
资源组缩容校验:实时资源组缩容时增加前置校验,避免缩容引发任务异常。
仅增量读取资源配置:仅增量读取模式下集成资源配置不再按同步阶段分配,简化资源画像。
表名交换 DDL:实时同步在表名交换后 DDL 立即生效。
2026-05
数据开发
新增:
数据集成自动血缘解析:数据集成任务支持自动解析产出表登记和上下游依赖,不再需要人工维护血缘关系。
代码搜索覆盖数据集成:代码搜索能力扩展支持数据集成任务。
超过时限未成功告警:支持为周期任务配置时限,当超过时限未成功告警,该告警适配全调度周期类型的任务。
跳过上游任务时发送告警:当跳过上游任务执行时,支持配置向相关负责人发送告警通知。
运维中心失败状态任务增加 AI 诊断功能:运维中心支持对最后一次执行失败的任务进行 AI 诊断,高效定位和解决问题。
数据集成任务支持产出登记和上下游依赖:数据集成任务支持自动解析产出登记和上下游依赖
For-each 节点循环参数增强:工作流调度模式下,For-each 节点循环参数支持定义数组常量。
Spark、Kyuubi 全局参数配置:支持全局 Spark、Kyuubi 参数配置。
实例缺失风险检测:任务提交时支持检测并提示因调度变更产生实例缺失的潜在风险,并支持处理操作(置成功、补录)。
数据集成时间参数配置:数据集成任务表单字段支持配置系统内容时间参数。
OpenAPI 增强:新增"任务名称/ID + 计划调度时间"查询任务运行状态接口。
CI/CD 强制 deploy:CI/CD 流水线支持强制 deploy。
CI/CD 适配 Studio:CI/CD 适配 Studio 提交功能,执行 deploy 后自动执行 Studio 文件提交。
DLC 任务导入导出支持引擎及资源组映射:DLC 类型任务在导入导出时支持引擎及资源组映射关系选择。
DLC 任务跨项目克隆支持引擎及资源组的映射:DLC 类型任务在跨项目克隆时支持引擎及资源组的映射关系选择。
工作流调度支持并发设置:工作流调度模式支持配置工作流运行并发数和排队策略,同一时间只允许指定数量的工作流运行,超出并发数的运行可选择排队或等待。
Notebook 任务支持自定义 Spark 参数:在工作流调度模式下,Notebook 任务使用 DLC 引擎时支持用户自定义配置 Spark 参数(如 executor 数量、内存等),满足不同数据处理场景的资源配置需求。
编排空间任务参数预览:工作流调度模式下,编排空间中的任务支持参数预览功能,用户可在提交执行前查看任务的实际参数值,便于确认和排查问题。
工作流调度支持任务粒度置成功:支持在工作流调度模式下对单个任务执行"置成功"操作,方便运维人员在任务异常时手动标记任务为成功,使下游任务可继续执行。
工作流调度支持数据质量节点及 CI/CD:工作流调度模式下新增支持数据质量节点,并支持数据质量任务的 CI/CD 发布流程。
工作流调度补充剩余任务类型:补齐工作流调度模式下的任务类型覆盖,确保所有任务类型均可通过工作流调度模式进行编排与执行。
优化:
批量上传:编排空间资源管理支持批量上传。
工作流批量筛选:支持批量操作工作流中文件夹筛选。
跨周期补录排序:跨周期依赖(如天依赖小时)的补录数据,选择部分小时段时不再乱序。
工作流调度模式 For-Each 循环参数为空时置成功:修复 For-Each 节点循环参数为空时任务未能正确置成功的问题。
系统内置时间参数修复:修复工作流调度模式下,任务或工作流中设置的系统内置时间参数(含时区参数)未正确生效的问题。
工作流调度模式并发排队按先进先出顺序执行:优化工作流调度并发执行机制,当并发数达到上限时,排队中的任务严格按照提交的先后顺序(先进先出)依次执行,避免乱序问题。
2026-05
数据分析(Studio/SQL 探索)
新增:
多 GitLab 仓库绑定:项目支持绑定多个 GitLab 仓库,同一项目下不同业务模块的代码可独立托管。
Notebook 内核与环境管理:Notebook 任务支持内核与运行环境管理。
Notebook 自动带入高级参数:上传 Notebook 文件时支持自动识别并带入高级参数及取值。
文件权限精细化:项目文件权限管控新增 edit / run / view 三类权限项,替代原先的粗粒度权限模型。
优化:
SQL 探索支持自动添加 Limit1000:脚本运行支持选择获取全量数据,或者获取前1000条数据。
数据查询结果表格
支持 JSON 数据格式化展示
支持数据结果列宽自适应
单元格字段内容过长时,支持折叠与展开展示
支持显示结果列的数据类型,并按结果数据类型进行排序和筛选
支持数据结果的搜索功能
数据查询完成后,支持浏览器推送消息通知
ESC 关闭联想:支持使用 ESC 键关闭元数据联想。
SQL 探索日志优化:SQL 探索日志信息优化。
SQL 探索字段:SQL 探索字段带“ . ”时的查询显示异常修复。
SQL 探索调度资源组与共享资源组功能拉齐:修复 SQL 探索中调度资源组与共享资源组的功能差异问题,确保两种资源组在任务执行时的行为表现一致。
2026-05
数据治理
新增:
审批配置元数据:中高敏感等级数据支持多级审批流;数据库表的权限支持按照角色批量授权
指标支持授权:支持 Owner 将指标授权给指定用户,有权限用户即可查询指标计算结果。
数据血缘:支持 Kafka 血缘上报、Spark SQL、Hive SQL 血缘解析优化。
治理中心:治理因子增加“资产目录”,待治理问题支持导出。
数据访问日志:新增支持 TCHouse-D、EMR 引擎数据访问日志采集与审计。
元数据:支持实时采集 DLC 元数据。
Catalog:Catalog 权限校验提示信息优化。
数据服务:支持 TCHouse-D 数据源;国际站法兰克福支持数据服务。
2026-05


2026年3月

动态名称
动态描述
发布时间
数据开发
新增:
任务调度配置中增加不允许下游依赖项:支持在任务配置中设置"不允许下游依赖",开启后将阻断下游任务对该任务的依赖配置,适用于临时任务、测试任务等不希望被下游引用的场景。
审批流程增加审批记录和任务支持指定审批人:审批人可在提交时查看历史审批记录;同时支持开启"任务指定审批人"模式,在任务提交时由开发者指定具体审批人,提升审批流转效率。
标准模式下集成/调度资源组环境隔离:支持标准模式下将集成资源组和调度资源组按开发环境与生产环境进行隔离配置。
调度配置中增加上游最近一次周期任务完成时间:上游依赖任务列表中新增"最近一次周期运行结束时间"字段,帮助用户根据上游完成时间合理定义当前任务的计划调度时间。
克隆功能新增目标调度资源组默认值设置:支持预先定义好源端与目标端调度资源组的映射关系,在克隆时默认选中映射,减少用户选错资源组的情况。
克隆任务脚本重名处理优化:当目标端存在同名脚本时自动重命名,避免一个脚本被多个任务引用导致的冲突问题。
克隆发布增加审批流程:克隆发布新增审批流程,支持模拟克隆后发起审批,审批通过后才正式发布到生产环境,提升克隆发布的安全管控能力。
DLC 任务补录支持重新指定引擎资源组:DLC 任务在执行数据补录时支持重新指定资源组,区分正常调度和补录任务的资源分配,避免补录操作影响正常调度任务。
智能基线功能全面优化:支持基线详情页和实例详情页查看保障任务 DAG 链路;支持小时级任务配置基线;无历史执行记录时也可配置基线并启用告警;新增基线事件监控及事件详情页。
优化:
项目粒度 Spark 参数在调试运行中生效:修复项目粒度配置的 Spark 参数在编排空间测试运行中不生效的问题,确保 Spark SQL、PySpark、Spark 任务在调试运行和周期运行中都能正确识别项目级别参数。
2026-03
数据集成
新增:
支持本地文件同步到 EMR Hive 和 DLC:支持本地 txt/excel/csv 等文件上传、解析后同步到 EMR Hive 表(系统源)和 DLC 表(支持系统源和自定义源)。
离线新增系统元数据字段引用:离线同步支持将源端表名作为系统字段同步到下游表,方便在多源汇聚场景中追溯数据来源。
新增数据源 TDSQL Boundless:支持 TDSQL Boundless 数据源接入,同时支持该数据源的实时同步和离线同步任务管理。
优化:
优化 DLC 离线任务资源组选择策略:DLC 离线任务资源组选项仅保留"SQL 分析"类型资源组,减少用户误操作导致重复修改。
集成并发读取支持分片集群:数据集成多并发读取功能支持分片集群,解决在 MongoDB 分片集合场景下读取不到数据源的问题。
数据源兼容 Hive 2.1 版本:兼容 Hive 2.1 版本的数据源创建,满足使用低版本 Hive 引擎的客户接入需求。
2026-03
数据治理
新增:
质量任务支持批量调整引擎与资源组:支持对多个质量任务进行批量操作,统一调整其执行引擎与资源组配置。
质量任务批量终止:支持对运行中或等待中的质量任务进行批量终止操作,便于异常场景下快速止损。
元数据支持 Kafka:元数据采集新增对 Kafka 数据源的支持,可创建流数据类元数据采集任务。
优化:
运行中的质量任务实例支持查看日志:运行中的质量任务实例支持实时查看执行日志,方便在任务执行过程中及时排查问题。
DLC 分区信息优化:新增分区记录数上限展示,优化分区创建时间提示信息,提升数据资产详情页的信息完整性。
其他:
资产评分功能下线:在表详情页面中下线资产评分功能。
2026-03

2026年1月

动态名称
动态描述
发布时间
数据开发
新增:
Studio 数据开发IDE:全新上线的 Studio 数据开发 IDE,打造 SQL 与 Notebook 统一开发体验。支持 Notebook开发、多语法切换,单元格 SQL 运行,并支持在编排空间调度运行 Notebook 任务;支持调试SQL、代码复用;支持 Git 集成、文件版本等能力。
编排空间新增 DLC Spark 实时计算能力:新增 DLC Spark Streaming 任务类型,提供实时任务开发、编排、监控一站式管理能力。
相关文档:DLC Spark Streaming
编排空间新增数据质量节点:支持数据质量任务编排和运维。
相关文档:数据质量
编排空间工作流新增整体调度能力:调度模式双重升级,支持任务级与工作流级调度,满足不同粒度的调度管理诉求。
新增 WeData Bundle 工程化交付能力:CLI 支持命令行操作及自动化集成,Bundle 将工作流、任务的开发资源描述为源文件以融入企业软件工程体系,可结合 GitLab Pipeline 等 CI/CD 实现跨环境自动化发布迁移,同时支持工作流和任务 YAML 在线预览、快捷生成,提升配置效率与可维护性。
相关文档:CI/CD-持续集成与交付
优化:
运维中心手动任务支持监控告警:规则中支持配置手动任务的告警规则,对手动任务进行监控告警。
运维中心实例详情支持展示质量任务详情:实例详情页支持展示质量任务的整体运行检测情况、运行检测列表。
2026-01
基础平台
新增:
基础模块的时区适配:系统统一以 UTC 为基础时间,时间戳、事件记录存储 UTC 时间并附带时区偏移量,自动根据用户时区转换为本地时间展示。
展示数据源关联任务:数据源管理支持展示使用数据源的关联任务。
数据权限新增能力:新增查询数据源授权结果、收回数据源授权能力。
2026-01
数据集成
新增:
实时集成链路新增数据对账功能:新增数据对账功能,监控来源表与目标表的数据差异,及时发现数据一致性问题。
实时集成整库迁移能力扩展
整库扩展单表配置能力,整库任务支持查看源表和目标表的映射关系,按单表粒度配置字段映射、数据过滤等;
整库任务由固定链路改为星型链路,新增30+条同步链路。
实时集成整库/分库分表任务支持转换函数:数据同步过程中支持轻量 ETL 转换处理,可对已有数据进行转换处理后同步到目标表。
优化:
实时集成告警能力优化:新增“数据写入条数”监控告警指标,核心关键事件支持告警订阅,优化累计重启次数告警指标逻辑,增加默认告警规则。
相关文档:规则管理
实时集成整库任务支持消费多个 Kafka 主题:整库任务支持同时消费多个 Kafka Topic,并指定每个 Topic 下需要同步的数据库和数据表。
相关文档:Kafka 数据源
2026-01
数据科学
新增:
支持跳转查看数据、特征及模型血缘。相关文档:通用实验
特征、模型、实验支持按照实体进行用户级别权限的授权。
支持模型服务质量监控,以及触发重新训练。相关文档:模型服务
特征管理整体升级,支持 DLC、EMR 为离线特征,Redis 为在线特征,并支持离在线特征同步。相关文档:特征管理
在线推理支持自定义镜像,支持负载均衡。相关文档:模型服务
新增支持基于 GPU 的深度学习训练、实验管理记录、深度学习模型管理、深度学习模型服务部署等。相关文档:数据科学实践教程
新增支持分类、回归、时序预测等场景的无代码 AutoML 实验。相关文档:AutoML 实验
2026-01
数据治理
新增:
指标建模功能扩展
支持指标加速,支持创建指标视图,并为指标视图创建加速任务,并在指标查询时可自动路由到加速结果集;
维度与模型解耦合,支持基于表字段创建维度后,可在多个模型中复用,无需重复定义,提升维度管理效率;指标建模开放 MCP/JDBC 和 Restful API 多种指标服务,指标建模开放 MCP 服务,方便 Agent 准确获取指标元数据和指标计算结果;
开放 JDBC 服务,方便指标平台与 BI 直接对接获取指标结果来配置可视化报表,同时支持 Restful API 接口,方便其他业务系统通过指定指标、维度等信息直接获取指标计算结果。
相关文档:模型管理MCPJDBCAPI
Catalog 功能新增
对于已经对接 DLC 并开启了 TCLake 的场景,新增 Catalog 模块,用于展示来自 TCLake 的统一元数据。统一 Catalog 按照 Catalog-Schema-Table/View/Model/Volume/Function 三层结构进行展示,将结构化数据、模型、非结构化数据统一纳入 Catalog 管理,展示元数据基本信息、表血缘、模型血缘、变更历史、数据质量、访问日志、使用说明等内容,并且支持统一的权限管控;
新增推理表质量监控,支持在默认 Catalog 下表配置 Dashboard,并查看推理任务的关键指标;
丰富 Catalog 的表详情页的展示信息,用于查看元数据信息;
支持展示表的最后变更信息,用于查看和分析表的元数据变更操作。
相关文档:Catalog
表详情功能新增
资产详情页新增使用说明;字段级别新增使用说明;
新增快照/时序表质量监控,支持在 EMR Hive 表详情配置 Dashboard,并查看推理/快照/时序任务的关键指标。
相关文档:数据发现
丰富 Catalog 的表详情页的展示信息,用于查看元数据信息;
支持展示表的最后变更信息,用于查看和分析表的元数据变更操作。
优化:
表详情的功能优化
配置变更监控通知,对常用变更支持配置通知信息;
DLC 的表详情页放开,用于查看 DLC 的元数据。
相关文档:数据发现
2026-01
平台整体
优化:
重构 WeData 核心链路的 OpenAPI:重构了 WeData 平台基础、数据开发、任务运维、数据资产的主要 API。
相关文档:API 概览
2026-01