开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

构建数据湖的思考

构建数据湖是一个关键的数据管理策略，它可以帮助企业实现数据的统一存储、分析和管理。数据湖是一个集中存储原始数据的地方，可以包括结构化数据、半结构化数据和非结构化数据。数据湖可以帮助企业更好地理解其数据，并从中获取有价值的见解。

在构建数据湖时，需要考虑以下几个方面：

数据来源：需要识别和整合所有的数据来源，包括内部数据、外部数据和第三方数据。
数据存储：需要选择一个可扩展、高可用性和安全性的数据存储解决方案。
数据处理：需要对数据进行清洗、转换和整合，以便于进行分析和挖掘。
数据安全：需要确保数据的安全性和隐私性，遵守相关的法律和法规。
数据治理：需要制定数据治理策略，确保数据的质量和一致性。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云数据库：https://cloud.tencent.com/product/dcdb
腾讯云对象存储：https://cloud.tencent.com/product/cos
腾讯云数据分析：https://cloud.tencent.com/product/dataanalysis
腾讯云数据仓库：https://cloud.tencent.com/product/dw
腾讯云数据集成：https://cloud.tencent.com/product/dts
腾讯云数据安全：https://cloud.tencent.com/product/dss
腾讯云数据治理：https://cloud.tencent.com/product/dlc

这些产品可以帮助企业构建一个高效、安全、可靠的数据湖，从而实现数据的价值。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

引入一项新技术前，我们该想清楚什么？

很多小伙伴在工作遇到一定瓶颈的时候，都希望引入一些新技术来解决问题，比如最近经常在群里看到大家聊：

01

Flink Forward Asia 2021 实时数据湖合集

Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）

03

构建企业现代化数据平台，从“智能湖仓”开始｜Q推荐

2021 年初，在 InfoQ 全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控；行业内的主要共识点则是二者结合必能降低大数据分析的成本，提高易用性。

03

数据湖选型指南｜Hudi vs Iceberg 数据更新能力深度对比

数据湖作为新一代大数据基础设施，近年来持续火热，许多前线的同学都在讨论数据湖应该怎么建，许多企业也都在构建或者计划构建自己的数据湖。基于此，自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现，网上现存的很多内容都是基于较早之前的开源信息做出的结论，在企业调研初期容易造成不准确的印象和理解。

00

致广大数据湖用户的一封信

随着数据湖概念的流行，涌现了很多关于Apache Hudi的文章，但很多文章在阐述时仅仅将Hudi当做一种表格式，这引发了社区的思考，思考Hudi的愿景到底是什么，并且在Hudi社区发起了讨论重新审视Hudi。

05

OPPO数仓与数据湖融合架构升级的实践与思考

作者｜蔡芳芳过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文，InfoQ 采访了 OPPO 云数架构部部长鲍永成，请他与我们分享 OPPO 引入数据湖和数

02

LakeHouse 还是 Warehouse？(1/2)

Onehouse 创始人/首席执行官 Vinoth Chandar 于 2022 年 3 月在奥斯汀数据委员会[1]发表了这一重要演讲。奥斯汀数据委员会是“世界上最大的独立全栈数据会议”，这是一个由社区驱动的活动，包括数据科学、数据工程、分析、机器学习（ML）、人工智能（AI）等。

01

重磅！基于Apache Hudi的商业公司Onehouse成立

Apache Hudi[1]（简称“Hudi”）于 2016 年在 Uber 创建，旨在将数据仓库功能引入数据湖以获取准实时的数据，开创了事务数据湖架构，现已在所有垂直行业中进入主流。在过去的 5 年里，围绕该项目已发展出一个丰富多彩的社区[2]，并迅速创新。Hudi 为数据湖带来了类似数据仓库及数据库的功能，并使诸如分钟级数据新鲜度、优化存储、自我管理表等新事物直接在数据湖中成为可能。来自世界各地的许多公司都为 Hudi 做出了贡献，该项目在不到两年的时间内增长了 7 倍，每月下载量接近 100 万次。我很荣幸目睹了亚马逊[3]、字节跳动、Disney+ Hotstar[4]、GE Aviation[5]、Robinhood[6]、沃尔玛[7]等更多企业采用并构建基于 Apache Hudi 的 EB (Exabyte) 级数据湖，来支持其关键商业应用。紧跟潮流，我很高兴能在这里分享过去几个月我们利用 Hudi 正在构建的公司和产品 - Onehouse。为了启动我们的征程，我们获得了 Greylock Ventures 和 Addition 的 8 百万美元的种子轮投资——这些投资公司在培育企业数据初创公司方面拥有出色的业绩记录和丰富的经验。以下是我们的旅程故事和对未来的愿景。

02

大数据技术演进实录：云原生大数据、湖仓一体、AI for Data，未来“谁主沉浮”？| Q推荐

从大数据发展的历史长河来看，谷歌的“三驾马车”—— 《GFS》、《MapReduce》和《BigTable》，加上亚马逊的一篇关于 Dynamo 系统的论文奠定了大数据时代发展的基础。从“大数据之父”道格·卡丁创造了 Hadoop 到现在许多厂商开始单独造轮子、做开源，大数据的发展首先是获得了大规模数据的处理能力，然后再解决了数据的分析与挖掘问题，到如今又开始解决“如何实时查询数据”的问题，从近 20 年的发展中基本可以看出，这些演进的背后都是由企业需求和业务发展驱动的。英特尔院士、大数据技术全球 CTO

02

大数据架构前沿实践分享

12月19日，9：00-12：40，由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛，将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾，就大数据架构相关主题进行分享。本次会议全程直播，详细信息如下： 01 专题论坛及日程论坛名称大数据架构论坛论坛时间 12月19日，09:00-12:40论坛出品邵赛赛腾讯数据湖研发负责人分享时间分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统腾讯高级工程师毛宝龙09

03

架构师的AI/ML数据湖参考架构指南

在企业人工智能中，有两种主要类型的模型：判别式和生成式。判别式模型用于对数据进行分类或预测，而生成式模型用于创建新数据。尽管生成式 AI 近来占据新闻头条，但企业仍在追求这两种类型的 AI。

01

【金猿人物展】数元灵科技CEO朱亚东：何以数智化

本文由数元灵科技CEO朱亚东撰写并投递参与“数据猿年度金猿策划活动——2023大数据产业年度趋势人物榜单及奖项”评选。

01

对话Apache Hudi VP，洞悉数据湖的过去现在和未来

Apache Hudi是一个开源数据湖管理平台，用于简化增量数据处理和数据管道开发，该平台可以有效地管理业务需求，例如数据生命周期，并提高数据质量。Hudi的一些常见用例是记录级的插入、更新和删除、简化文件管理和近乎实时的数据访问以及简化的CDC数据管道开发。

02

高性能存储与大模型融合创新相关研究

在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。

01

GenAI技术栈架构指南—10 个工具

我之前写过关于现代数据湖参考架构，解决了每个企业面临的挑战 — 更多数据、老化的 Hadoop 工具（特别是 HDFS）以及对 RESTful API（S3）和性能的更大需求 — 但我想填补一些空白。

01

云端数智新引擎，腾讯云原生数据湖计算重磅发布

2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的，原汁原味的。数据湖中的水从源头流入湖中，各种用户都可以来湖里获取、蒸馏提纯这些水（数据）。此时，大家对于数据湖的理解主要是当作一个集中式的存储系统，允许存储任意规模的结构化和非结构化数据。

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

引言是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？是否遇到过，业务峰值周期明显，要么资源大量闲置，要么线上疯狂告警？是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（Jame

03

云端数智新引擎，腾讯云原生数据湖计算重磅发布

引言是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？是否遇到过，业务峰值周期明显，要么资源大量闲置，要么线上疯狂告警？是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。

05

数据湖十年风雨路，AWS缘何脱颖而出

从2010年Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)首次提出数据湖的概念开始，数据湖十年发展之路可谓是兜兜转转、起起伏伏。在这期间，既有开源厂商们提出的各种营销理念，也有传统存储厂商打造的各类解决方案，更有业界对于数据湖带来的数据沼泽、数据价值探索等问题的深入思考。

01

腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘

腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam，作为腾讯大数据领域的代名词，旨在拉通大数据各个技术组件，打造一个具有统一技术栈的公司级大数据平台体系。从底层数据接入、数据存储、资源管理、计算引擎、作业调度，到上层数据治理及数据应用等多个环节，支持腾讯内部近 EB 级数据的存储和计算，为业务提供海量、高效、稳定的大数据平台支撑和决策支持。

01

走向现代化数据分析架构：趋势与挑战

编辑 | 薛梁 Lucien 我是汪源，来自网易杭州研究院，网易有不同的事业单元，包括说媒体、教育、音乐、严选、游戏等，我们团队给所有的事业单元提供技术支撑。同时这几年我们也通过网易数帆品牌为 300 家以上中大型的客户提供技术服务。今天来 ArchSummit 全球架构师峰会上，主要分享我们长期以来对数据分析技术相关的趋势的观察和思考。首先介绍一下自己。我可以说是干了一辈子数据相关的技术研发，我在网易杭州研究院也会管理基础设施、云原生、IT 等相关的团队，从我个人来说最关注的还是数据相关的领域，因为我

02

现在的湖仓一体像是个伪命题

从一体机、超融合到云计算、HTAP，我们不断尝试将多种应用场景融合在一起并试图通过一种技术来解决一类问题，借以达到使用简单高效的目标。现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以同时发挥二者的价值。数据湖和数据仓库一直以来都有十分密切的联系但同时存在显著的差异。数据湖更注重原始信息的保留，将原始数据“原汁原味”地保存下来是数据湖的首要目标。但原始数据中有很多垃圾数据，原样保留就意味着垃圾数据都要存进数据湖？没错，数据湖就是这样一个数据垃圾场，不管什么样的数据一股

03

关于数据湖架构、战略和分析的8大错误认知

导读：本文打破有关数据湖的8个错误认知，错误认知包括3方面，还提出了5个小技巧，以构建一个灵活的、可交付业务价值的数据湖。

02

Dinky 构建 Flink CDC 整库入仓入湖

摘要：本文介绍了如何使用 Dinky 实时计算平台构建 Flink CDC 整库入仓入湖。内容包括：

02

干货|流批一体Hudi近实时数仓实践

传统意义上的数据集市主要处理T+1的数据。随着互联网的发展，当前越来越多的业务场景对于数据时效性提出了更高的要求，以便及时快速地进行数据分析和业务决策，比如依托实时数据情况开展实时推荐、实时风控、实时营销等。特别是各种新技术的出现、发展和日趋成熟，实时数据分析和处理也成为可能。实时的大规模数据处理成为企业数字化转型过程中需要破解的难题，也是企业当前面临的一个普遍需求。

02

关于数据湖架构、战略和分析的8大错误认知（附链接）

本文的目的是构建数据湖，并提供适应企业数据策略的背景信息。咨询公司和提供商提出的意见相互矛盾，因此，这些信息历来一直不透明，令人困惑。

02

数据湖 | 一文读懂Data Lake的概念、特征、架构与案例

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。受限于个人水平，谬误在所难免，欢迎同学们一起探讨，批评指正，不吝赐教。

09

Delta Lake - 数据湖的数据可靠性

今天笔者将分享一位大神关于 Delta Lake 的演讲内容。这位是 Apache Spark 的 committer 和 PMC 成员，也是 Spark SQL 的最初创建者，目前领导 Databricks 团队，设计和构建 Structured Streaming 和 Databricks Delta，技术涉及分布式系统、大规模结构化存储和查询优化等方面。

04

李卓豪：网易数帆数据中台逻辑数据湖的实践

导读：本文将介绍过去15年中，网易大数据团队在应对不断涌现的新需求、新痛点的过程中，逐渐形成的一套逻辑数据湖落地方法。内容分为五部分：

01

下一个风口-基于数据湖架构下的数据治理

随着大数据、人工智能、云计算、物联网等数字化技术的普及和广泛应用，传统的数据仓库模式，在快速发展的企业面前已然显的力不从心。数据湖，是可以容纳大量的原始数据的存储库和处理系统，已经成为企业应用大数据的重要工具。数据湖可以更好地支撑数据预测分析、跨领域分析、主动分析、实时分析以及多元化结构化数据分析，可以加速从数据到价值的过程，打造相应业务能力。而有效的数据治理才是数据资产形成的必要条件，同时数据治理是一个持续性过程，也是数据湖逐步实现数据价值的过程。未来在多方技术趋于融合，落地场景将不断创新，数据湖、数据治理或将成为新的技术热点。

05

一份数据满足所有数据场景？腾讯云数据湖解决方案及DLC内核技术介绍

摘要 OLAP数据库/引擎日新月异，不断推陈出新，在各种场景下有不同引擎的价值：flink擅长于实时数据集成/实时计算；spark批处理、tb级以上、hive生态、复杂join的数据分析、以及机器学习；presto联邦分析、较简单join、tb级以下hive生态udf数据分析；clickhouse 大宽表聚合操作、无数据更新、尽量无join、没有复杂udf的亚秒级分析，tensorflow深度学习等等即使相同的引擎，考虑资源隔离、成本分摊、数仓研发/使用周期（test，adhoc，prod，backfil

03

基于 Iceberg 拓展 Doris 数据湖能力的实践

6月 26 号，由示说网主办，上海白玉兰开源开放研究院、云启资本、开源社联合主办的上海开源大数据技术 Meetup 如期举行。Apache Doris 社区受邀参与本次 Meetup ，来自百度的资深研发工程师张文歆为大家带来了题为“ 基于 Iceberg 拓展 Doris 数据湖能力的实践 ”的主题分享，以下是分享内容。

03

腾讯游戏广告流批一体实时湖仓建设实践

腾讯游戏广告业务对数据准确性和实时性均有诉求，因此数据开发团队分别搭建了离线及实时数仓。技术视角下，这是典型的Lambda架构，存在数据口径不一致、开发维护成本高等弊端。在降本增效的大背景下，我们针对结合计算引擎Flink与数据湖技术Iceberg建设流批一体实时湖仓做了较多的探索和实践，已经具备可落地可复制的经验。借助Flink框架支持批处理作业的能力，我们实现了将流处理层和批处理层的计算层面统一于Flink SQL，存储层面统一于Iceberg。

04

Apache Paimon要赢了？湖仓一体实时化时代全面开启！

摘要：本文整理自阿里云开源大数据平台负责人王峰（莫问）老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享，主要介绍在新一代湖仓架构上如何进行实时化大数据分析。内容主要分为以下五个部分：

01

大数据平台的现实思考

00

上午在改BUG，下午就通知被裁了

受疫情的影响，今年就业形势整体不太乐观，不仅应聘人数远远大于招聘岗位，而且面试难度加大，想拿到大厂 offer 更是难上加难！眼看着 2022年即将过去一半，如何进入梦寐以求的大厂呢…… 其实，互联网大厂对社招面试，除了注重基础技能的掌握外，更看重是否具备一定的项目实战能力和经验累积，对架构设计、高并发业务场景是否有较深刻的认知？以及针对不同的复杂业务，知道该如何下手。而对大部分中高级程序员来说，实际工作中经常会囿于公司业务要求：将过多的时间精力浪费在单一项目救火上，疲于奔命而视野有限；或习惯于使

03

架构自治服务：构建数据驱动的架构洞察

架构自治服务是一种面向架构分析领域的数据自助服务。它提供了一种集成一体的数据分析方案，让开发人员、架构师、管理者等可以根据不同任务，自由搭配、组合出适用于自身洞察需求的任务/函数。最近，刚好看到两本书名非常有意思的书：《持续 API 管理》、《数据自助服务实践指南》，前者书的内容对不起大纲，后者书的标题对不起内容 —— 内容是好内容，但是标题不对。原书的标题是《The Self-Service Data Roadmap》，重点在于介绍各种数据自助服务的模式和路线图。回到正题上来，这两本书的书名让我开始思

02

数据中台与湖仓一体能碰出怎样的火花？网易数帆实时数据湖Arctic的新探索

数据从离线到实时是当前一个很大的趋势，但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一，导致系统和研发重复投入，在这之上的数据模型、代码也不能统一；其次是缺少数据治理，实时数据通常没有纳入数据中台管理，没有建模规范、数据质量差。针对这两个问题，网易数帆近日推出了实时数据湖引擎 Arctic。据介绍，Arctic 具备实时数据更新和导入的能力，能够无缝对接数据中台，将数据治理带入实时领域，同时支持批量查询和增量消费，可以做到流表和批表的一体。

02

数字化转型迷思（六）

之前花了好几篇来跟大家讲思维层面的困惑，希望大家平时多讨论，多反思，好形成自己企业可以在内部达成一致的数字化认识，这样才能凝聚大家的行动，“上下同欲者胜”，这是自古以来的道理了，而一线员工对数字化的认知确实会决定企业最后数字化转型的成果，这也是从信息化过程中就已经得出的结论了，如果说“让听得见炮火的人做决定”这件事不是哪个行业现阶段都能充分做到的，那“让听得见炮火的人提需求”则是我们从信息化、移动互联网走向数字化时，很多传统企业需要弥补的。我们很多系统的功能上线时、数据平台应用推广时，总有很多不理想之处，而这些不理想之处，往往来自于对一线的需求缺乏足够的理解和采集。

04

数据又多又散，“孤岛困境”怎样破局？

导读：企业数据指的是企业内部员工及其合作伙伴跨越不同部门、不同地点而共享，跨越不同大洲而传播的数据。这些数据对企业具有很高的价值，包括财务数据、业务数据、员工个人数据等，企业花费了大量时间和金钱来保证数据在各方面的安全和质量。

02

一哥闲聊：畅想数据湖

大家好，我是一哥，周末有读者私聊我咨询了一些问题，遂想起了之前看过的一些关于数据湖的知识，下面是基于之前的所见和自己的思考而成文。

03

大数据技术的发展趋势

英国牛津大学教授维克托·迈尔-舍恩伯格在其所撰写的《大数据时代》中表述，大数据时代是“已经发生的未来”，而在这个已经发生的未来里，没有旁观者。

03

网易数据湖探索与实践-范欣欣

导读：今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。

02

Flink 十周年专访莫问：存算分离 2.0 架构的探索与展望

Flink 从 2014 年诞生之后，已经发展了将近 10 年，尤其是最近这些年得到了飞速发展。在全球范围内，Flink 已经成为了实时流计算的事实标准，成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际，InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰（莫问），了解他对大数据技术栈的看法，以及 Flink 的进展和未来规划。

01

挑战 Spark 和 Flink？大数据技术栈的突围和战争｜盘点

十年的轮回，正如大数据的发展一般，它既是一个轮回的结束，也是崭新的起点。大数据在过去的二十年中蓬勃发展，从无到有，崛起为最具爆炸性的技术领域之一，逐渐演变成为每个企业不可或缺的基础设施。然而，在这个时刻，我们不禁要问：当前的大数据架构是否已经趋于完美？2023 年，伴随着人工智能的跃变式爆发，数据平台将如何演进，以适应未来的数据使用场景？

01

数据湖与湖仓一体架构实践

数据湖是保存大量原始格式数据的中心位置。与以文件或文件夹形式存储数据的分层数据仓库相比，数据湖采用扁平化架构和对象存储方式来存储数据。‍对象存储具有元数据标签和唯一标识符，便于跨区域定位和检索数据，提高性能。通过利用廉价的对象存储和开放格式，数据湖使许多应用程序能够利用数据。

03

抛弃Hadoop，数据湖才能重获新生

十年前，Hadoop 是解决大规模数据分析的“白热化”方法，如今却被企业加速抛弃。曾经顶级的 Hadoop 供应商都在为生存而战，Cloudera 于本月完成了私有化过程，黯然退市。MapR 被 HPE 收购，成为 HPE Ezmeral 平台的一部分，该平台尚未在调查中显示所占据的市场份额。

01

一文带你了解Lakehouse的并发控制：我们是否过于乐观？

如今数据湖上的事务被认为是 Lakehouse 的一个关键特征。但到目前为止，实际完成了什么？目前有哪些方法？它们在现实世界中的表现如何？这些问题是本博客的重点。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭