开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

湖仓一体实时分析

湖仓一体实时分析是指将仓储系统与数据分析系统集成在一起，实现实时数据分析和决策。这种系统可以帮助企业更好地管理库存和仓储，提高效率和准确性。

湖仓一体实时分析的优势在于能够实时监控库存和仓储状况，及时发现问题并进行调整，从而提高企业的竞争力。它可以帮助企业更好地管理库存和仓储，提高效率和准确性。

应用场景包括零售、物流、制造业、电商等。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云仓储管理系统：https://cloud.tencent.com/product/tms
腾讯云数据分析系统：https://cloud.tencent.com/product/dws

这些产品可以帮助企业实现湖仓一体实时分析，提高库存和仓储管理效率和准确性。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

树标准、搭架构，偶数科技的“湖仓一体”特别在哪？

一时间，似乎所有与数据库有关的厂商都在提“湖仓一体”，仅从百度新闻搜索查询到权重较高的媒体文章就至少有150多篇。随着企业数字化转型进入深水区，越来越多的企业视“湖仓一体”为数字变革的重要契机，如今湖仓一体受到前所未有的关注。

03

企业到底需要怎样的湖仓一体架构？| Q推荐

作者 | 郑思宇在愈发复杂的大数据场景下，数据仓库与数据湖各自的弊端开始显现，湖仓一体架构走向舞台中央。此前，InfoQ 也曾在《湖仓一体会成为企业的必选项吗？》一文中提到，对于高速增长的企业来说，选择湖仓一体架构来替代传统的独立仓和独立湖，将成为不可逆转的趋势。虽然业界对于湖仓一体的价值是高度认同的，但作为一种新兴的架构，大多数公司对于湖仓一体仍处在初期的探索阶段，有些企业甚至对于要选择怎样的湖仓一体架构仍旧是云里雾里。本文，我们希望从技术选型的角度出发，让你重新理解湖仓一体的本质与要求，扫除技

01

农业银行湖仓一体实时数仓建设探索实践

在数字化转型驱动下，实时化需求日益成为金融业数据应用新常态。传统离线数仓“T+N”数据供给模式，难于满足“T+0”等高时效场景需求；依托Storm、Spark Streaming、Flink等实时计算框架提供“端到端”的实时加工模式，无法沉淀实时数据资产，存在实时数据复用性低、烟囱式垂直建设等不足。

04

2022年中国湖仓一体平台市场研究报告｜爱分析报告

为适应数据应用需求，大数据平台架构持续演进，历经数据仓库、数据湖两个阶段。2020年，湖仓一体概念提出，湖仓一体架构因能实现数据资产统一管理、降低数据冗余、降低大数据平台架构运维复杂性，将成为大数据平台的主流架构。

03

4000字读懂实时数仓的过去现在和未来(建议收藏)

1991年，比尔·恩门（Bill Inmon）出版了他的第一本关于数据仓库的书《Building the Data Warehouse》，标志着数据仓库概念的确立。

01

实时数仓架构的演进与对比

1991年，比尔·恩门（Bill Inmon）出版了他的第一本关于数据仓库的书《Building the Data Warehouse》，标志着数据仓库概念的确立。

02

数据湖（一）：数据湖概念

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。

09

Apache Paimon流式湖仓学习交流群成立

Apache Paimon是一个流式数据湖平台。致力于构建一个实时、高效的流式数据湖平台。这个项目采用了先进的流式计算技术，使企业能够实时处理和分析大量数据。Apache Paimon 的核心优势在于它对于大数据生态系统中流式处理的支持，尤其是在高并发和低延迟方面表现出色。

01

湖仓才是数据智能的未来？那你必须了解下国产唯一开源湖仓了

机器之心发布机器之心编辑部国产唯一的开源数据湖存储框架 LakeSoul 近期发布了 2.0 升级版本，让数据智能触手可及。湖仓一体作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的演进方向。当前已有 DeltaLake、Iceberg、Hudi 等国外开源的数据湖存储框架。LakeSoul 是数元灵科技研发的，国产唯一的开源数据湖存储框架，并于近期发布了 2.0 升级版本。本文将结合大数据架构的演变历史及业务需求，深度剖析国产唯一开源湖仓一体框架 LakeSoul 带来的现

03

大数据架构系列：如何理解湖仓一体

这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。

数据湖（七）：Iceberg概念及回顾什么是数据湖

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。

06

大数据架构系列：如何理解湖仓一体？

导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂

02

oushudb丨案例分析丨湖仓一体助力保险企业数据战略转型升级

当下，海量数据结合前沿技术架构正在为保险业带来根本性的变革。本文以某知名保险机构为例，结合偶数行业实践经验，介绍保险企业如何利用湖仓一体技术推动数据战略转型升级。背景介绍在对该客户需求进行深度挖掘并横向比较行业现状后，我们发现：(1) 包括该客户在内的多数保险企业的数据分析场景较为单一，直接产生业务价值的数据挖掘不够丰富；(2) 该客户现有数据分析场景的效率、性能、用户体验都亟待提升。下文我们详细展开分析。业务场景分析客户现有的数据分析应用集中在经营分析、监管报送和风险管控等几个传统场景，其实不止该客户，目前大多数保险企业的大数据业务应用价值挖掘都还不够丰富。1.风险管控仅以目前多数保险企业都非常关注的风控环节为例，该客户仍以风险部门固定报表分析为主，而通过风险数据建模，应用在投保前风险排查、承保中风险管控及理赔时风险识别和反欺诈等全业务链条还非常有限。在投保环节，可以利用数据搭建风险评估模型，筛查高风险客户，对大概率产生负价值的客户采用拒保或者提高保费的方式以减少损失。以互联网场景下的意外险和健康险为例，由于投保手续较为简单，很多产品免体检，只需要填写投保人基本信息即可，这些业务中，很容易出现投保人隐瞒病情、造假家庭收入的情况，逆向选择甚至欺诈的可能性非常大。因此在投保场景下可以利用数据进行多维分析，及时发现高风险投保客户，避免欺诈行为的发生。在承保运营环节，相比较传统风控，大数据风控让保险机构对保险用户的动态跟踪反馈，定期对承保中用户信息进行维护，更新用户风险指数。此外，在加强用户信息安全管理和隐私方面，保险公司借助大数据和人工智能（如设备指纹、IP 画像、机器行为识别等工具）加以防范，在回访环节，根据用户情况及其手机在网状态选择拨打方式及话术，更有利于提高回访效率，提升客户体验。在理赔环节，大数据风控先通过构建模型的方式筛查出疑似欺诈的高风险案件，然后再人工重点审核和调查，减少现场查勘误差，提高查勘效率。除了风险管控，通过数据赋能业务还可以落地在其他几个重点保险场景中，包括产品创新、风险定价、精准获客。接下来我们展开说明下数据赋能这些场景的形式和实现逻辑。

01

Apache Hudi 背后商业公司 Onehouse 宣布3500万美元 B 轮融资

加利福尼亚州桑尼维尔，2024 年 6 月 26 日 - 通用数据湖仓一体公司 Onehouse 今天宣布已获得由 Craft Ventures 领投的 3500 万美元 B 轮融资。现有投资者 Addition 和 Greylock Partners 参与了新一轮融资，迄今为止的总融资额达到 6800 万美元。

01

Tapdata Cloud 场景通关系列：数据入湖仓之 MySQL → Doris，极简架构，更实时、更简便

【前言】作为中国的 “Fivetran/Airbyte”, Tapdata Cloud 自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，Tapdata Cloud 3.0 将正式推出商业版服务，提供对生产系统的 SLA 支撑。Tapdata 目前专注在实时数据同步和集成领域，核心场景包括以下几大类： √ 实时数据库同步，如 Oracle → Oracle, Oracle → MySQL, MySQL → MySQL 等 √ 数据入湖入仓，或者为现代数据平台供数，如： △ 常规 ETL 任务（建宽表、数据清洗、脱敏等） △ 为 Kafka/MQ/Bitsflow 供数或下推

01

数据湖真的能取代数据仓库吗？【SNP SAP数据转型】

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

04

【金猿信创展】数新网络——国内云数智操作系统信创领导者

本内容由数新网络投递并参与“数据猿年度金猿策划活动——2022大数据产业国产化优秀代表厂商”评选。

02

数据如水海纳百川，数据湖如何成为数据治理的新范式？

10年前，Pentaho公司创始人兼CTO詹姆斯·迪克逊(James Dixon)在他的博客中第一次提出“数据湖”(Data Lake)的概念；10年后的今天，在业界“数据中台”大火的时代背景下，再来讨论“数据湖”，别有一番风味。

03

干货|流批一体Hudi近实时数仓实践

传统意义上的数据集市主要处理T+1的数据。随着互联网的发展，当前越来越多的业务场景对于数据时效性提出了更高的要求，以便及时快速地进行数据分析和业务决策，比如依托实时数据情况开展实时推荐、实时风控、实时营销等。特别是各种新技术的出现、发展和日趋成熟，实时数据分析和处理也成为可能。实时的大规模数据处理成为企业数字化转型过程中需要破解的难题，也是企业当前面临的一个普遍需求。

02

B站基于Hudi+Flink打造流式数据湖的落地实践

上图展示了当前B站实时数仓的一个简略架构，大致可以分为采集传输层、数据处理层，以及最终的AI和BI应用层。为保证稳定性，数据处理层是由以实时为主，以离线兜底的两条链路组成，即我们熟知的批流双链路。

05

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》，引领数据湖仓创新

会上，中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告（2024年）》，深入分析和展望了我国数据库产业及技术发展与行业应用情况。

01

镜舟科技客户成功团队负责人孟庆欢：湖仓一体将成为数据架构的新范式

随着数字化的概念逐步深入不同领域企业的运营中，业务形态和数字化路径也越来越丰富。这也为企业数据处理、储存的方式提出了更多要求。对于企业，尤其是数据驱动型企业来说，需要强大的解决方案来管理和分析整个组织中的大量数据，这些系统必须具有可伸缩性、可靠性和安全性，并且必须具有足够的灵活性以支持各种数据类型和使用场景。这些要求远远超出了任何传统数据库的能力，因此，数据仓库、数据湖等多种不同的架构逐渐成为了数据库行业的热门技术。

01

比流计算资源效率最高提升 1000 倍，“增量计算”新模式能否颠覆数据分析？

数据平台领域发展 20 年，逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域，当下的架构已经完美了吗，主要问题和挑战是什么？在 2023 年 AI 跃变式爆发的大背景下，数据平台又该如何演进，以适应未来的数据使用场景？

01

数据湖与湖仓一体架构实践

数据湖是保存大量原始格式数据的中心位置。与以文件或文件夹形式存储数据的分层数据仓库相比，数据湖采用扁平化架构和对象存储方式来存储数据。‍对象存储具有元数据标签和唯一标识符，便于跨区域定位和检索数据，提高性能。通过利用廉价的对象存储和开放格式，数据湖使许多应用程序能够利用数据。

03

从存算分离到湖仓一体，StarRocks的创新永不止步！

近期，由 StarRocks 社区发起、镜舟科技主办的 StarRocks 年度大型技术交流峰会 StarRocks Summit 2023 在上海成功举行，向我们展示了业界最新的发展动向。面对海量、异构的数据处理需求，以及日益增长的实时数据分析挑战，StarRocks不仅提供了解决方案，更开创了新的技术路径。从最初瞄准OLAP领域，到今天引领湖仓一体化的浪潮，StarRocks的每一步发展都引领着大数据技术的演进方向。

01

湖仓一体会成为企业的必选项吗？| Q推荐

作为一种新兴架构，湖仓一体在扩展性、事务性以及灵活度上都体现出了独有的优势，也正因如此，无论在技术圈还是资本圈，湖仓一体都受到了前所未有的关注度。

03

数据湖框架之技术选型-Hudi、Delta Lake、Iceberg和Paimon

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。

00

从存算分离到湖仓一体，StarRocks的创新永不止步！

近期，由 StarRocks 社区发起、镜舟科技主办的 StarRocks 年度大型技术交流峰会 StarRocks Summit 2023 在上海成功举行，向我们展示了业界最新的发展动向。面对海量、异构的数据处理需求，以及日益增长的实时数据分析挑战，StarRocks不仅提供了解决方案，更开创了新的技术路径。从最初瞄准OLAP领域，到今天引领湖仓一体化的浪潮，StarRocks的每一步发展都引领着大数据技术的演进方向。

01

轻松入门大数据：玩转Flink，打造湖仓一体架构（完结分享）

在当今大数据时代，数据成为了企业的重要资产。如何高效地处理、存储和分析这些数据，成为了企业面临的重要挑战。Flink作为一款高性能的流处理框架，与湖仓一体架构的结合，为企业提供了一种全新的解决方案。本文将深入探讨如何轻松入门大数据，玩转Flink，打造湖仓一体架构。

01

基于Flink+Hive构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。

03

数据湖技术在抖音近实时场景的实践

首先，数据湖可存储海量、低加工的原始数据。在数据湖中开发成本较低，可以支持灵活的构建，构建出来的数据的复用性也比较强。

02

别说你懂湖仓一体

数据库行业正走向分水岭。过去几年，全球数据库行业发展迅猛。2020年，Gartner首次把数据库领域的魔力象限重新定义为Cloud DBMS，把云数据库作为唯一的评价方向；2021年，Gartner魔力象限又发生了两个关键的变化： 1、Snowflake和Databricks两个云端数据仓库进入领导者象限； 2、放开了魔力象限的收入门槛限制，SingleStore、Exasol、MariaDB、Couchbase等数据库新势力首次进入榜单。某种程度上，这种变化的背后，暗示着全球数据库已经进入发展的黄金时

03

腾讯云大数据连续三年蝉联中国大数据市场领导者象限

报告显示， 2023 年，人工智能、边缘计算、云和混合计算、湖仓一体等技术取得较大发展，持续推动组织处理数据的方式发生变化，带动了数据治理、数据智能分析、湖仓一体等市场快速发展。中国大数据市场整体规模达到 6482.2 亿元，同比增长 15.1% 。其中，数据分析软件市场呈现较快增长趋势，占比为 36.2% ，相比全球市场的 43.1% 仍有较大增长空间。未来三年，中国大数据市场仍将保持稳定增长，预计到 2026 年，中国大数据市场规模将超过 9000 亿元。

02

湖仓一体电商项目（一）：项目背景和架构介绍

湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台，本项目在技术方面涉及大数据技术组件搭建，湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化，项目所用到的技术组件都从基础搭建开始，目的在于湖仓一体架构中数据仓库与数据湖融合打通，实现企业级项目离线与实时数据指标分析。在业务方面目前暂时涉及到会员主题与商品主题，分析指标有用户实时登录信息分析、实时浏览pv/uv分析、实时商品浏览信息分析、用户积分指标分析，后续还会继续增加业务指标和完善架构设计。

04

【活动回顾】腾讯大数据 x StarRocks｜构建新一代实时湖仓

2023 年 9 月 26 日，腾讯大数据团队与 StarRocks 社区携手举办了一场名为“构建新一代实时湖仓”的盛大活动。活动聚集了来自腾讯大数据、腾讯视频、腾讯游戏、同程旅行以及StarRocks 社区的技术专家，共同深入探讨了湖仓一体技术以及其应用实践等多个备受瞩目的话题，观看人数过万。

02

实时湖仓一体在腾讯的实践落地丨DAMS峰会

2023 DAMS中国数据智能管理峰会-上海站将于3月31日盛大举办，峰会设置了大数据、数据治理&数据资产管理、信创数据库、信创运维、金融&运营商等五大主题专场，与大家一起探索大数据与云原生强强联合的方式，挖掘由此激发的软件发展和技术进步。其中，腾讯实时湖仓团队负责人邵赛赛老师将分享《实时湖仓一体在腾讯的实践落地》，内容概要提前剧透：实时湖仓一体在腾讯的实践落地议题要点及收获：湖仓一体技术可以为业务带来原先Hadoop数仓所无法提供的能力，包括流批一体架构、行级更新、schema evolutio

04

大数据不得不说的事儿：存算分离凭什么能一统天下

一个是成本问题，随着累积的数据量的增大，大数据业务量的增多，数据存储和处理的成本越来越高，企业数据基础设施的投资越来越大，这部分投资挤占了企业大数据业务创新的空间。

03

Flink在中原银行的实践

在构建实时场景的过程中，如何快速、正确的实时同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Apache Flink和数据湖两种技术，来解决业务数据实时入湖的相关问题。两者的结合能良好的支持实时数据落地存储，借助Apache Flink出色的流批一体能力，可以为用户构建一个准实时数仓，满足用户准实时业务探索。

04

现在是采用湖仓一体的好时机吗？

近日，大数据独角兽 Databricks 官宣 H 轮融资，经过这一轮 16 亿美元融资，其估值已经飙升至 380 亿美元。Databricks 联合创始人兼首席执行官 Ali Ghodsi 在媒体采访中表示，这笔资金将主要用于加速构建在 lakehouse（湖仓一体）赛道的布局。

02

袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座

数据湖的起源，应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求，同时为了推广自家的 Pentaho 产品以及 Hadoop，2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。

02

直播预约中！9.26腾讯大数据XStarRocks技术专题探讨

随着数据爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse）架构崭露头角，成为大数据领域势不可挡的趋势。

02

Flink Forward Asia 2021 实时数据湖合集

Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）

03

Iceberg 在袋鼠云的探索及实践

“数据湖”、“湖仓一体”及“流批一体”等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案，其中作为全链路数字化技术与服务提供商的袋鼠云，在探索数据湖架构的早期，就调研并选用了Iceberg作为基础框架，在落地过程中深度使用了Iceberg并进行了部分改造，在这个过程中，我们积累出了一些经验和探索实践，希望通过本篇文章与大家分享，也欢迎大家一起共同讨论。

02

直播预约中！9.26腾讯大数据XStarRocks技术专题探讨

随着数据爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse）架构崭露头角，成为大数据领域势不可挡的趋势。

02

数据仓库与数据湖与湖仓一体：概述及比较

随着越来越多的公司依靠数据来推动关键业务决策、改进产品供应并更好地服务客户，公司捕获的数据量比以往任何时候都多。Domo 的这项研究估计，2017 年每天会生成 2.5 百亿字节的数据，到 2025 年，这一数字将增加到 463 艾字节。但如果公司不能快速利用这些数据，那么这些数据又有什么用呢？针对数据分析需求的最佳数据存储这一话题长期以来一直存在争议。

01

【金猿产品展】镜舟数据库——新一代极速全场景MPP数据库，解决企业数字化转型最后一公里难题

本产品由镜舟科技投递并参与“数据猿年度金猿策划活动——2022大数据产业创新服务产品榜单及奖项”评选。

02

湖仓一体，技术“缝合怪”？

在当今数据驱动的商业世界中，高效、灵活的数据管理成为企业成功的关键。数据仓库和数据湖，作为数据存储和处理的两种主流技术，分别扮演着独特而重要的角色。

01

数栈在湖仓一体上的探索与实践

大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。比如数据仓库如何存储不同结构的数据？数据湖又如何避免因为缺乏治理导致的数据杂乱现象？今天的文章想跟大家具体聊聊我们的数栈如何解决这些问题。

02

7000字，详解仓湖一体架构！

沃尔玛拥有世界上最大的数据仓库系统，它利用数据挖掘方法对交易数据进行分析后发现"跟尿布一起购买最多的商品竟是啤酒！后来经过大量实际调查和分析，发现在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒，这是因为美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

03

数据中台与湖仓一体能碰出怎样的火花？网易数帆实时数据湖Arctic的新探索

数据从离线到实时是当前一个很大的趋势，但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一，导致系统和研发重复投入，在这之上的数据模型、代码也不能统一；其次是缺少数据治理，实时数据通常没有纳入数据中台管理，没有建模规范、数据质量差。针对这两个问题，网易数帆近日推出了实时数据湖引擎 Arctic。据介绍，Arctic 具备实时数据更新和导入的能力，能够无缝对接数据中台，将数据治理带入实时领域，同时支持批量查询和增量消费，可以做到流表和批表的一体。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭