腾讯云大数据公有云基础产品性价比升级概览

数据来源： 2024腾讯全球数字生态大会（Tencent Global Digital Ecosystem Summit）

主讲人： 胡嘉琪

一、 产品定位与核心亮点

本次发布聚焦于腾讯云大数据公有云基础产品的性价比全面升级，核心策略为“数智技术驱动”。针对经济新常态下的降本增效诉求，腾讯云通过Meson高性能计算引擎、ES日志场景架构重构及EMR托管节点模式三大方向，在保持技术领先性的同时，大幅优化成本结构。

核心量化成果：

• 基准计算性能提升： 2倍
• ES日志场景性价比提升： 10倍
• EMR托管节点成本节省： 最高 30%

二、 产品应用场景

1. 检索分析服务（ES）用户

• 痛点： 传统ES集群模式运维复杂，涉及Beats/Kafka/Logstash采集配置、索引Mapping/Setting调优、分片管理、集群弹性伸缩及升级重启。这导致极高的学习成本、人力投入和时间投入。
• 场景： 日志分析、安全分析、全文/向量检索。

2. 数据湖与大数据处理用户

• 痛点： 在大数据基准测试及数据湖（Iceberg等）场景下，传统架构的分析速度及资源利用率遭遇瓶颈，亟需更高性能的计算引擎支持。
• 场景： 弹性MapReduce（EMR）、数据湖计算（DLC）、云数仓大宽表查询。

3. 企业级EMR用户

• 痛点： 宏观经济环境下降本需求增强；机型库存动态变化导致扩容需频繁配置多机型且运维繁琐；硬件故障需人工迁移恢复，维护复杂。
• 场景： 企业大数据平台TASK节点扩容、临时计算任务处理。

三、 应用框架和功能介绍

1. 功能框架与核心技术

Meson 高性能计算引擎

• 定义： 腾讯云通用大数据高性能计算加速套件，作为适配腾讯云大数据全体系产品的通用计算加速底座。
• 设计理念： 极致软件工程 + 软硬一体加速 + AI加持（AI4Data）。
• 适用场景：
  • 搜索分析（ES）： GPU/硬件加速，自研内核，支持全文/向量检索。
  • 数据湖（Data Lake）： Native向量化计算，支持Hadoop开源体系及全托管数据湖，首发全场景支持原生Iceberg表及运行时向量化读取。
  • 云数仓： GPU/硬件加速，优化大宽表查询。

ES Serverless 架构

• 技术架构： 自动弹性 + 完全免运维。
• 核心能力： 底层完全屏蔽，用户无需关心集群运维和索引运维，平台提供端到端SLA保障。
• 数据接入： 支持CVM、TKE、TCHouse-C、TCHouse-D、Logstash、Oceanus、EMR、Kafka、ES API等多种数据源。

EMR 托管节点 (MNode)

• 定义： 由EMR后台统一维护硬件设备的TASK节点扩容模式。
• 核心机制： 故障自动替换，无需关注单个机型库存。

2. 硬核指标与性能数据

• Meson引擎性能：
  • 弹性MapReduce + 数据湖计算DLC：大数据基准性能提升 2.27倍。
  • 检索分析服务ES：全球首个支持GPU加速的ES产品（基于腾讯自研紫霄GPU）。
• ES日志场景架构（读写分离+存算分离）：
  • 写入性能提升：3~5倍（读写分离），最高 10倍。
  • 存储成本下降：90%+（相比原2副本CBS方案）。
  • 降本幅度：写入性能降本 50%~80%。
• EMR托管节点：
  • 资源使用成本节省：最高 30%。

3. 产品优势汇总

• Meson引擎：
  • 首发全场景支持原生Iceberg表。
  • 首发运行时Iceberg表向量化读取。
  • 首发大规模湖存储向量化引擎优化。
  • 软硬一体（GPU/硬件加速）。
• ES Serverless：
  • 100%兼容原有ES生态。
  • 集群免运维、索引免运维。
  • 按量付费，随用随弃。
  • 存算分离，去除冗余。
  • 提供一站式场景支持。
• ES自研架构（读写分离）：
  • 资源隔离提升可用性。
  • 内存Segment构建与拷贝优化。
  • 支持Mapping动态更新。
  • 不依赖第三方组件，支持弹性扩缩容。
• EMR托管节点：
  • 相对传统HOST节点成本更低。
  • 无需配置，轻松管理环境。
  • 节点故障无需人工介入，自动恢复。

4. 荣誉背书

• 全球首个支持GPU加速的ES产品：在检索分析领域，基于Meson实现了基于腾讯自研紫霄GPU的向量检索加速。

四、 典型案例

案例：某ES日志场景客户性能与成本优化

• 背景： 客户原使用社区ES架构，面临计算资源冗余及存储成本过高的问题。原架构下计算节点多达50台（SA5机型，1,747.2元/月/台），运维成本高昂。
• 解决方案： 采用腾讯云ES全新自研技术栈，实施读写分离+存算分离架构。
• 成效：
  • 资源缩减： 计算节点从 50台缩减至5台。
  • 写入性能： 采用全新架构后，写入性能最高可提升 10倍。
  • 存储成本： 相比原ES架构下2副本CBS方案，实现 90%+的存储成本下降。
  • 综合效益： 整体相较原ES架构，实现十倍以上性价比提升。