腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云大数据专区

基于腾讯云丰富的大数据产品、服务及实践，助力客户平滑高效构建云端大数据基础设施及应用

开发者社区 >专区首页 >优选文章

自建迁移EMR实践案例

弹性 MapReduce 大数据 emr

自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。

2024-06-13

3.7K0

微信 ClickHouse 实时数仓的最佳实践

微信腾讯云数据仓库 TCHouse hadoop

作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。一、微信遇到的挑战一般来说，微信主要的数据分析场景包含

2021-11-26

2.6K0

大数据云原生能力成熟度模型，重磅发布！

大数据编程算法运维文件存储存储

为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于2023年1月9日举办了2022年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已

2023-01-29

1.8K0

PB 级数据的云端迁移战事

游戏迁移大数据数据迁移腾讯云数据仓库 TCHouse

如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。”腾讯云大数据产品架构师李少波说。少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。把时针拨到一个月之前，搜狐畅游技术有限公司(简称搜狐畅游)计划在8月初正式上线小浣熊百将传的新游戏，这款有着经典水浒卡授权的国风放置卡牌手游，预计在上线后将迅速风靡全球，这给搜狐畅游当时的大数据集群带来了严峻的挑战。搜狐畅

2021-09-18

1.5K0

最佳实践 | 基于腾讯云ES如何跨地域容灾？跨集群复制为您解忧！

对等连接 es 大数据 NAT 网关 Elasticsearch Service

作者：吴容，腾讯云大数据Elasticsearch高级开发工程师腾讯云大数据ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。注：由于腾讯云ES集群之间的证书是不一致的，因此在搭建CCR环境之前，请先提工单让后端先将两个集群证书设置为一致。一、对等连接首先将北京和上海的两个vpc建立对等

2022-11-11

1.3K0

腾讯云发布多款大数据应用产品，助力企业全面释放数据价值

数据库大数据数据分析 sql https

大数据产业作为战略性的新兴产业，已成为加快社会发展变革的重要引擎。在11月30日的2022腾讯全球数字生态大会大数据专场上，腾讯云大数据新发布了多款数据应用产品，并就其在金融、泛娱等行业的最佳实践进行了详细分享，为广大企业进一步实现健康发展和变革创新提供了有价值的借鉴。腾讯云副总裁刘煜宏在开场致辞中表示：“多年来，腾讯云在大数据领域进行了不遗余力的投入，在团队、平台、技术等方面均实现了业内领先。目前腾讯云大数据平台已支撑起整个腾讯庞大的业务线，并为超过2万家外部企业提供大数据能力支持。未来，腾讯云大数据将

2022-12-09

9010

业内首个基于Iceberg的“云端仓转湖”生产实践探索

hive 数据湖实时数仓 emr 大数据

业务背景作业帮成立于2015年，一直致力于用科技手段助力教育普惠，运用人工智能、大数据等前沿技术，为学生、老师、家长提供更高效的学习、教育解决方案，智能硬件产品等。作为大数据中台架构团队，我们一直探索利用有限的资源，较低的开发维护成本、高时效的数据更新和查询，为业务团队提供基础支持。问题&痛点 ODS层数据就绪时间晚，DWS/ADS等上层数据和业务报表构建时间少。作业帮ODS层表大概有几千张，TP90就绪时间大概在4点30左右，不同业务团队因工作时间不同，看数时间会有些差异，总体上来说基本都要求数

2022-09-27

8590

E往无前 | 人人在用的微信支付，腾讯云大数据ES如何让它低成本高可用？

大数据数据结构 es 缓存

《E往无前》系列将着重展现腾讯云ES在持续深入优化客户所关心的「省！快！稳！」诉求，能够在低成本的同时兼顾高可用、高性能、高稳定等特性，可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。 E往无前 | 人人在用的微信支付，腾讯云大数据ES如何让它低成本高可用？导语：微信支付是国家重要的关键信息基础设施，服务于几千万商户和上亿国民，可用性要求高于5个9。本案例重点介绍了ES在微信支付服务中满足金融账单数据需求的同时，如何进一步降低成本，提高可用性。 Elasticsearch（下文简称为ES）经

2023-02-27

5270

腾讯云大数据获“年度金融科技创新之星”，新一代数据架构首次公布

数据湖大数据 html https http

在2022第三届银行业数字化创新（中国）峰会上，“华信奖”获奖名单正式公布，腾讯云大数据团队凭借领先的技术优势、丰富的金融科技服务经验，斩获“年度金融科技创新之星”，这也意味着腾讯云大数据在金融科技行业的应用创新与建设能力得到了权威认可。据了解，“华信奖”组委会成员主要来自上海浦东国际金融学会、亚洲财金联合会、以及麦肯锡、普华永道、罗兰贝格等全球知名咨询机构。伴随着数据要素上升为国家数字化战略的重点，如何加强数据能力建设、解决技术和架构异构、数据合规等难题，打造具备高度自主可控的核心技术与产品体系，从

2022-12-26

4810

从“家庭码”到“线上会议”，融入疫情生活的大数据

云计算大数据

说到云计算，大家可能会觉得离自己的生活非常遥远。但其实，如果你打开手机微信或者是听音乐的软件，或者是网上购物，或者在网上银行办事，其实在背后支撑整个数据正常流转的基石就是云计算。因此云计算离生活并不遥远，而是紧密相关。腾讯云大数据基础产品中心的张昆，受邀参加深圳卫视《图鉴中国-昂首阔步这十年》，作为本期图鉴青年团成员，向大家介绍他与“云计算”的故事。 2015年，在美国从事云计算工作的张昆，在与国内客户洽谈生意的过程中了解到，当时国内云计算技术还处于起步阶段。从那个时候起，张昆就下定决心要回国，

2022-09-19

3180

腾讯云大数据连续三年蝉联中国大数据市场领导者象限

企业大数据腾讯云开发数据

报告显示， 2023 年，人工智能、边缘计算、云和混合计算、湖仓一体等技术取得较大发展，持续推动组织处理数据的方式发生变化，带动了数据治理、数据智能分析、湖仓一体等市场快速发展。中国大数据市场整体规模达到 6482.2 亿元，同比增长 15.1% 。其中，数据分析软件市场呈现较快增长趋势，占比为 36.2% ，相比全球市场的 43.1% 仍有较大增长空间。未来三年，中国大数据市场仍将保持稳定增长，预计到 2026 年，中国大数据市场规模将超过 9000 亿元。

2024-07-08

2620

腾讯云大数据WeData在金融行业数据分类分级实践

行业实践数据金融大数据

随着大数据及AI时代的到来，数据安全和数据资产管理已经成为了企业和组织面临的重要挑战，国家金融监督管理局对数据分类分级的相关要求进行明确和强化，如何在数据价值释放的同时保障数据安全已成为企业的当务之急。本文结合腾讯云大数据WeData（一站式大数据开发治理平台）探索数据分类分级在某金融客户的应用实践和落地过程。

2024-05-27

2310

入选IDC《数据要素全景研究 2024》，腾讯云大数据引领产业升级

企业大数据腾讯云服务数据

近期，IDC发布了《数据要素全景研究，2024》报告，预测数据要素市场将在2024年迎来快速发展期。作为入选了该报告的代表企业之一，腾讯云一直致力于提供全面的数据要素解决方案。腾讯云大数据 TBDS+WeData 解决方案，能够为企业提供从数据采集、存储、治理、分析到应用的全链路数据要素服务，帮助企业高效挖掘数据价值，助力产业数字化升级。

2024-05-21

2160

Gartner报告：腾讯云大数据助力企业实现 AI 原生应用落地

企业大数据数据分析腾讯云数据

其中腾讯云 ES RAG 方案的数据向量化能力和腾讯云 ChatBI 对话式数据分析技术是 AI 原生云建设从模型到应用过程中关键的数据提效工程工具，帮助企业实现数据的高效利用。

2024-07-15

1950

助力降本增效，腾讯云大数据DLC推出智能洞察功能

数据优化大数据腾讯云集群

腾讯云数据湖计算 DLC 提供敏捷高效的 Serverless 数据湖分析与计算服务，作为分布式计算平台，其查询性能受到多项内外部因素影响，例如：引擎 CU 规模、同时提交排队的任务数量、SQL 编写形式、Spark引擎参数设置等。因此，在任务实际使用过程中，用户往往会面临大量的Spark性能调优问题，及因为作业或SQL编写不正确而产生的排障问题。原生Spark UI中虽然能够一定程度获取任务的相关问题，但仍需要用户具备一定的Spark使用经验与运维能力才定位分析问题，无法做到简易的多维感知，快速定位发现任务的潜在问题。

2024-08-19

1700

腾讯云大数据与头部寿险“湖仓一体”实践荣获“金鼎奖”

行业实践数据大数据腾讯云

7 月 21 日，2024 中国国际金融展闭幕式暨“金鼎奖”颁奖仪式在北京国家会议中心举办。腾讯云凭借其保险行业基于腾讯云大数据构建湖仓一体方案的实践，荣获年度“优秀金融科技赋能业务创新案例奖”。

2024-07-29

1550

参营有奖｜30分钟快速上手腾讯云大数据ES Serverless！鹅厂大牛带你玩转日志分析

日志分析 serverless 大数据 es 腾讯云

Elasticsearch技术是日志分析场景的首选解决方案，随着数据规模的海量增长，数据的写入、存储、分析等面临挑战，降本增效的诉求也越来越高。

2024-05-13

1530

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》，引领数据湖仓创新

大数据数据湖腾讯云数据数据库

会上，中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告（2024年）》，深入分析和展望了我国数据库产业及技术发展与行业应用情况。

2024-07-22

1520

没有更多了

10

粉丝

41

内容

10

讨论

腾讯云大数据

腾讯云大数据

关注【腾讯云大数据】公众号，了解大数据产品最新动态