产品动态

最近更新时间:2024-07-26 11:35:53

我的收藏

2024年7月

动态名称
动态描述
发布时间
相关文档
新增 supersql spark 引擎3.2 native 运行时 beta 版本
使用腾讯云 Meson Engine 提供的 Native 运行时环境,通过向量化等技术加速 SQL 类应用执行性能,在部分场景性能较 SuperSQL 1.0 版本可带来 2 倍以上性能提升。
2024-07-19
支持腾讯云数据仓库 TCHouse-D 联邦查询 DLC 数据
支持通过腾讯云数据仓库 TCHouse-D 控制台一键开启湖仓一体功能,开启后腾讯云数据仓库 TCHouse-D 可直接查询 DLC 内部托管数据,无需复制数据或构建外部表。
2024-07-19

2024年6月

动态名称
动态描述
发布时间
相关文档
新增洞察管理功能
对 spark 集群并行、调度情况、任务进行详细洞察分析,提升调优效率。
增强 spark 引擎整体运行状况可观测性,提供如:引擎资源使用情况,引擎执行时长,数据扫描大小,数据 shuffle 大小等洞察指标
新增 spark 任务洞察功能,提供如:资源抢占、shuffle 异常、磁盘不足、慢 task 等洞察指标
2024-06-07

2024年5月

动态名称
动态描述
发布时间
相关文档
优化标准引擎模块(灰度版本)
支持基于 kyuubi 统一网关的标准 Presto 及 Spark 引擎(灰度版本),功能层新增标准引擎配置。配置规格如下:
支持 Presto 原生语法的包年包月及按量计费标准引擎
支持 Spark 原生语法的包年包月及按量计费标准引擎
2024-05-8
新增 supersql spark 引擎3.5版本
supersql 中的 spark 作业引擎及 sparksql 引擎支持3.5版本(灰度版本)
2024-05-13
-
支持 Python 注册 UDF
支持 SuperSQL Spark 3.2 集群 Python UDF 注册
2024-05-21

2024年4月

动态名称
动态描述
发布时间
相关文档
支持 iceberg 原生表洞察
丰富 iceberg 原生表数据治理配置项及支持可视化洞察优化结果
2024-04-02

2023年12月

动态名称
动态描述
发布时间
相关文档
扩充函数支持范围
新增多个函数支持
2023-12-08

2023年11月

动态名称
动态描述
发布时间
相关文档
升级数据优化功能
新增支持批集群做数据治理
2023-11-29
-
新增标准引擎模块(灰度版本)
支持基于 kyuubi 统一网关的标准 Presto 及 Spark 引擎(灰度版本),功能层新增标准引擎配置。配置规格如下:
支持 Presto 原生语法的包年包月标准引擎
支持 Spark 原生语法的 Spark SQL 包年包月标准引擎
2023-11-16
-

2023年10月

动态名称
动态描述
发布时间
相关文档
产品体验优化
优化返回错误码功能,更新了更多的错误码类型及操作建议
工作台概览页优化,帮助新用户更好的进行产品的权限开通
数据探索:SQL 编辑器产品体验优化
权限管理功能体验优化:整合引擎权限与库表权限配置链路,强化添加成员后的功能权限配置链路感知
2023-10-17
-
新增默认开放引擎操作类权限
针对引擎,允许选择默认开放:引擎的操作类权限。
包含:操作、监控、使用。
2023-10-17
-

2023年9月

动态名称
动态描述
发布时间
相关文档
性能优化
针对慢查询、慢接口治理优化
2023-09-15
-
元数据加速桶
元数据加速桶权限支持绑定 Oceanus
2023-09-15
数据作业支持打包自定义镜像
创建作业时,允许用户在基础镜像的基础上打包自定义镜像
2023-09-15
-

2023年8月

动态名称
动态描述
发布时间
相关文档
弹性资源默认支持跨多可用区
弹性资源默认支持跨多可用区,资源拉起更稳定,容灾能力更强
2023-08-10
-
优化引擎默认参数
优化参数生效优先级,数据探索支持使用引擎默认参数
2023-08-10
支持销毁托管存储
支持用户通过控制台自行销毁托管存储
2023-08-10
优化 spark 作业业务日志
spark 作业业务日志展示更丰富的信息
2023-08-10
-
支持 TDLC 命令行工具
可以通过命令行工具提交任务,支持 spark submit
2023-08-10

2023年07月

动态名称
动态描述
发布时间
相关文档
查询脚本支持更细粒度的权限控制
支持控制不同用户的查询脚本可见性
2023-07-05
Spark作业支持配置引擎维度参数
支持配置引擎维度参数,提交的任务可以支持引用引擎维度参数
2023-07-05
优化服务网关
提高整体稳定性
2023-07-05
-
优化引擎弹性扩缩容规则
减少频繁缩容的场景。引擎弹性扩缩容的过程将会更加流畅平滑
2023-07-05
优化元数据加速桶绑定流程
优化元数据加速桶绑定流程,减少使用门槛
2023-07-05

2023年06月

动态名称
动态描述
发布时间
相关文档
支持查看 SQL 运行结果的统计数据
支持查看缓存命中效果、物化视图改写状况、阶段耗时等数据
2023-06-20
支持结果缓存
支持 result cache,在反复同一查询场景下有明显加速效果
2023-06-20
支持物化视图
支持物化视图,提高查询性能
2023-06-20
Presto 引擎支持运行模式
Presto 引擎支持快速和全量两种运行模式
2023-06-20

2023年05月

动态名称
动态描述
发布时间
相关文档
数据治理能力增强
全面增强小文件合并、过期快照删除的稳定性和能力。优化治理规则,支持更易用的数据治理配置
2023-05-16
产品化 Iceberg Upsert 布隆过滤和分桶最佳实践
Iceberg V2 Upsert 场景下,支持配置 Upsert 主键,自动优化布隆过滤和分桶规则
2023-05-16
-
元数据加速桶权限绑定流程优化
支持创建/销毁引擎自动绑定/解绑元数据加速桶
2023-05-16
-
新用户上手权限指引优化
新用户上手数据探索时提供权限检查,优化新用户的使用体验
2023-05-16
-

2023年04月

动态名称
动态描述
发布时间
相关文档
Spark 作业引擎支持 SQL 能力优化
补全 Spark 作业引擎运行 SQL 的下载能力、日志能力等,优化了体验和稳定性
2023-04-20
-
Spark 作业引擎包年包月支持弹性配置
Spark 作业引擎包年包月支持弹性配置,满足业务多样的资源弹性需求
2023-04-20
-

2023年03月

动态名称
动态描述
发布时间
相关文档
原生表托管存储商业化
原生表托管存储正式商业化收费,具体计费方式详情请参见 计费概述
2023-03-15
支持配置容灾集群
Spark、SparkSQL、Presto 集群均支持配置容灾备集群,此配置项默认关闭,若有需要可手动打开
2023-03-15
-
数据权限优化
数据探索任务支持配置独享、共享,独享任务只有开发者及管理员可见
2023-03-15
-
支持行级权限
支持对单表设置行级权限,满足客户精细化数据权限管理的场景需求,如上海地区的用户只能看到“Region=上海”的数据
2023-03-15
-
库表联想优化
数据探查支持库、表、列名联想
2023-03-15
-
引擎能力增强
Iceberg 版本升级至1.1.0
2023-03-15
-
监控告警能力增强
支持查看集群资源池使用情况,数据刷新粒度支持分钟级;支持监控结果导出
2023-03-15
-
性能优化
包年包月集群冷启动耗时优化
2023-03-15
-

2023年02月

动态名称
动态描述
发布时间
相关文档
支持通过 Spark 集群运行 spark sql
数据探索中可以选择 Spark 集群作为数据引擎运行查询任务,选择Spark 集群时,需按任务分配执行资源
2023-02-24
-
Spark 引擎能力增强
Spark 集群支持动态资源分配;Spark 引擎参数开放配置
2023-02-24
-
数据引擎性能优化
引擎自动挂起优化;包年包月集群启动耗时优化
2023-02-24
-
支持联邦PostgreSQL
支持注册 PostgreSQL 数据目录,并联邦查询 PostgreSQL 的数据
2023-02-24
-
支持数据计算过程加密
SparkSQL 引擎支持配置 sse-cos、sse-kms 加密,打开加密开关后,使用该引擎进行数据分析、写入时都会对数据进行加密(注:加密对性能有损耗,推荐敏感数据场景开启)
2023-02-24
-

2023年01月

动态名称
动态描述
发布时间
相关文档
查询性能优化
优化 Presto 引擎的 SQL 执行链路,支持同步查询模式(建议小数据量&低延迟场景使用)。同步查询模式下结果不写到 COS,直接从引擎返回,查询耗时可降低50%以上
2023-01-13
-
用户体验优化
数据探索支持目录树库、表搜索
2023-01-13
-
集群启动耗时优化
集群启动时间优化,启动耗时平均提升50%
2023-01-13
-

2022年12月

动态名称
动态描述
发布时间
相关文档
原生表支持数据异步删除
删除原生表时,除了删除元数据外,还会删除底层数据,增加数据异步删除机制,避免等待时间过长
2022-12-30
-
包年包月集群支持友好重启
支持在数据引擎页面对包年包月集群进行重启,重启会中断当前引擎上运行的作业
2022-12-30
-
支持更多样的集群规则
Spark 引擎支持 1:8 CU 的集群规格(当前此功能内侧,若需体验请提交工单 申请)
2022-12-30
-
运维能力增强
Spark 作业支持日志过滤与下载
2022-12-30
-
Spark 作业能力增强
除 Python3以外,Spark 作业额外支持 Python 2.7
2022-12-30
-
Wedata 联通体验优化
打通双方用户权限,优化才做体验(用户在 Wedata 中注册数据源时无需额外输入用户密钥信息)
Wedata 集成 DLC 数据探索能力
2022-12-30
-

2022年11月

动态名称
动态描述
发布时间
相关文档
原生表支持数据治理
开启原生表后,可以针对数据库、数据表配置数据治理策略,支持小文件合并、过期快照删除、孤立文件删除、元数据合并四种,完成策略配置后,触发条件可自动进行数据治理
2022-11-25
数据预览可选择 SparkSQL引擎
数据管理中,进行表预览时,除presto引擎外,还可选择 SparkSQL 引擎
2022-11-25
-
SparkSQL 支持自定义最大超时时长
SparkSQL 可以在 SQL 编译框中通过参数 dlc.query.execution.timeout 设置作业最大执行超时
2022-11-25
-
支持数据引擎多版本管理
增加 Spark、SparkSQL、Presto 引擎的多版本管理,支持用户手动进行版本升级、回滚
2022-11-25
-
函数能力增强
新增支持 MAP_UNION_SUM 、MAP_UNION 等函数
2022-11-25
-
COS 读写请求费用优化
优化 COS 读写和分片策略,降低小文件过多导致的 COS 读写请求过多问题,减少相关费用
2022-11-25
-

2022年10月

动态名称
动态描述
发布时间
相关文档
查询结果导出优化
导出 csv 增加编码选项,兼容 excel 等常见软件
2022-10-26
支持 Notebook
Notebook 支持,Zeppelin 、Jupyter 等工具支持直连 DLC
2022-10-26
-
支持 Hudi 表
支持通过SparkSQL创建、查询 Hudi 表,提供更多数据表格式支持
2022-10-26
查询性能优化
presto 独享引擎性能优化,支持 segement result cache、动态过滤、缓存优化,为数据任务提供多达10倍以上加速效果。
2022-10-26
-
原生表全量上线
DLC 原生表全量上线,支持将数据存储到 DLC 原生表,提供更便捷的数据存储服务
2022-10-26
原生表计费以 COS 服务计费为准。过去通过白名单开通的客户暂不计费,后续商业化计费方案将通过客户群及站内信通知
支持购买更大规模集群
支持购买超过1024 CU 的集群,为实际生产需求提供更多引擎规格选择
2022-10-26
如需购买大规格集群,为避免资源不足,请您通过 提交工单 联系我们提前预留资源
支持 PrestoUI
支持查看 PrestoUI,分析集群资源使用情况,以及具体 sql 任务使用资源情况
2022-10-26
-

2022年09月

动态名称
动态描述
发布时间
相关文档
监控告警能力加强
对接 腾讯云可观测平台,支持通过 腾讯云可观测平台 配置 DLC 数据引擎及数据作业配置监控告警
2022-09-30
支持日志审计
对接操作审计,支持对操作日志进行审计查看
2022-09-30
新增支持数据引擎网络配置
支持对数据引擎的网络VPC进行统一管理
2022-09-06
SparkSQL 内核支持联邦查询分析
支持使用 SparkSQL 内核引擎进行跨源联邦查询分析
2022-09-06
-
联邦查询分析新增数据源支持
联邦查询分析新增 Postgresql, SQLServer, ClickHouse 三种数据源支持
2022-09-06
-
数据引擎自动挂起支持配置生效规则
支持对按量付费数据引擎配置分钟级挂起响应规则
2022-09-06

2022年08月

动态名称
动态描述
发布时间
相关文档
支持国际站
支持国际站美国东部-硅谷、新加坡地域
2022-08-30
如需国际站业务支持,可 提交工单 与我们联系
支持上海金融专区
支持购买上海金融专区资源
2022-08-30
如需金融专区业务支持,可 提交工单 与我们联系
Presto 查询性能增强
Presto 支持 rapterX 预计算,显著加速分析性能
2022-08-30
-
WeData元数据信息打通
支持通过 WeData 查看 DLC 元数据信息及数据血缘信息
2022-08-30
-
支持 inlong 实时入湖
支持通过 inlong 对数据进行实时入湖及文件治理
2022-08-30
-

2022年07月

动态名称
动态描述
发布时间
相关文档
支持灵光 BI
使用灵光 BI 时,支持将 DLC 作为数据源,对查询结果进行 BI 分析
2022-07-21
-
联邦查询分析新增数据源支持
新增 CHDFS 数据源支持
2022-07-21
-
数据作业支持多任务实例
数据作业支持同时运行多个任务实例
2022-07-21
-
数据探索新增内核参数配置
支持对 SparkSQL 及 Presto 内核进行 session 级参数配置
2022-07-13
Presto 内置函数支持
支持使用 Presto 内置函数
2022-07-13
扩充函数支持范围
新增多个函数支持
2022-07-13

2022年06月

动态名称
动态描述
发布时间
相关文档
数据作业支持 PySpark
数据作业支持 PySpark 进行数据建模分析及数据科学应用
2022-06-29
Presto 引擎升级
通过 Raptorx 利用 Fragment Cache 在查询过程中复用查询中间结果,加速聚合查询,提高聚合查询性能
说明:如需升级使用该特性可 提交工单 与我们联系
2022-06-29
-
Spark 引擎升级
升级 Spark3.2
支持 iceberg 表的动态分区下推
说明:如需升级使用该特性可 提交工单 与我们联系
2022-06-29
-
Iceberg 特性升级
Iceberg 表支持 Snapshot、History、Manifest、Partitions 等元数据查询
Call 语法支持快照管理、元数据管理
2022-06-29
-

2022年05月

动态名称
动态描述
发布时间
相关文档
联邦查询功能增强
联邦分析数据源支持 emr-cos、emr-hdfs、chdfs;支持 hive2.X,hive3.X 版本
2022-05-31
-
支持融合桶加速
支持 COS 融合桶加速查询分析性能
2022-05-31
融合 WeData 支持离线集成、任务调度
融合 WeData 实现数据集成能力,快速连接和融合云上或云下自建的各种数据,实现多源数据离线集成,实现复杂场景下的数据开发运维,进行复杂任务的调度
2022-05-23
-
数据作业
支持创建 Spark作业 集群,可以提交Spark jar、 Spark streaming
支持 Spark 作业创建调度任务
2022-05-19
支持 Spark UI
2022-05-19
-
支持轻量级任务调度
支持创建调度任务并管理调度计划
2022-05-10

2022年03月

动态名称
动态描述
发布时间
相关文档
数据引擎支持包年包月购买
支持包年包月方式购买独享集群
2022-03-31
权限升级
支持集中管理的数据与引擎的细粒度权限控制,支持视图、函数、引擎权限管理、与管理员用户类型
2022-03-16
API 接口升级
支持 COS 数据的离线导入导出
2022-03-16
体验升级
新增使用概览及使用引导
2022-03-16
-
查询性能升级
独享集群支持 Presto + Alluxio 自适应,提升 Ad-hoc 查询速度
2022-03-16
-