开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

湖仓一体应用场景

湖仓一体是指将仓储和物流的功能整合在一起，以实现更高效的仓储和物流管理。在云计算领域，湖仓一体应用场景可以通过以下方式实现：

仓储管理：通过云计算技术，可以实现对仓库的智能管理，包括库存管理、订单管理、仓库布局规划等。例如，可以使用物联网技术来监测库存状况，并自动调整库存水平，以确保仓库的高效运作。
物流管理：云计算技术可以帮助企业实现对物流的智能管理，包括订单管理、运输管理、仓储管理等。例如，可以使用云计算技术来实现对订单的实时追踪和管理，以确保物流的高效运作。
数据分析：云计算技术可以帮助企业实现对数据的智能分析，以便更好地了解仓储和物流的状况。例如，可以使用云计算技术来实现对数据的实时分析和挖掘，以便更好地了解仓储和物流的状况。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云仓储管理：https://cloud.tencent.com/product/cos
腾讯云物流管理：https://cloud.tencent.com/product/tms
腾讯云数据分析：https://cloud.tencent.com/product/analysis

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

2022年中国湖仓一体平台市场研究报告｜爱分析报告

为适应数据应用需求，大数据平台架构持续演进，历经数据仓库、数据湖两个阶段。2020年，湖仓一体概念提出，湖仓一体架构因能实现数据资产统一管理、降低数据冗余、降低大数据平台架构运维复杂性，将成为大数据平台的主流架构。

03

直播预告| Lakehouse 湖仓一体化架构论坛

在大模型时代，企业将如何进行湖仓一体化架构选型？下一代Lakehouse架构方向又在哪里？未来面临着怎么样的挑战？让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit：OLAP 线上峰会中，「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做！

01

别说你懂湖仓一体

数据库行业正走向分水岭。过去几年，全球数据库行业发展迅猛。2020年，Gartner首次把数据库领域的魔力象限重新定义为Cloud DBMS，把云数据库作为唯一的评价方向；2021年，Gartner魔力象限又发生了两个关键的变化： 1、Snowflake和Databricks两个云端数据仓库进入领导者象限； 2、放开了魔力象限的收入门槛限制，SingleStore、Exasol、MariaDB、Couchbase等数据库新势力首次进入榜单。某种程度上，这种变化的背后，暗示着全球数据库已经进入发展的黄金时

03

湖仓才是数据智能的未来？那你必须了解下国产唯一开源湖仓了

机器之心发布机器之心编辑部国产唯一的开源数据湖存储框架 LakeSoul 近期发布了 2.0 升级版本，让数据智能触手可及。湖仓一体作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的演进方向。当前已有 DeltaLake、Iceberg、Hudi 等国外开源的数据湖存储框架。LakeSoul 是数元灵科技研发的，国产唯一的开源数据湖存储框架，并于近期发布了 2.0 升级版本。本文将结合大数据架构的演变历史及业务需求，深度剖析国产唯一开源湖仓一体框架 LakeSoul 带来的现

03

农业银行湖仓一体实时数仓建设探索实践

在数字化转型驱动下，实时化需求日益成为金融业数据应用新常态。传统离线数仓“T+N”数据供给模式，难于满足“T+0”等高时效场景需求；依托Storm、Spark Streaming、Flink等实时计算框架提供“端到端”的实时加工模式，无法沉淀实时数据资产，存在实时数据复用性低、烟囱式垂直建设等不足。

04

数据中台与湖仓一体能碰出怎样的火花？网易数帆实时数据湖Arctic的新探索

数据从离线到实时是当前一个很大的趋势，但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一，导致系统和研发重复投入，在这之上的数据模型、代码也不能统一；其次是缺少数据治理，实时数据通常没有纳入数据中台管理，没有建模规范、数据质量差。针对这两个问题，网易数帆近日推出了实时数据湖引擎 Arctic。据介绍，Arctic 具备实时数据更新和导入的能力，能够无缝对接数据中台，将数据治理带入实时领域，同时支持批量查询和增量消费，可以做到流表和批表的一体。

02

Flink Forward Asia 2021 实时数据湖合集

Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）

03

2022爱分析· 中国分析型数据库市场研究报告 | 爱分析报告

数字化时代，数据使用场景呈现多元化趋势，数据规模也随之爆发式增长。海量异构数据的爆发式增长，对数据库的存储和计算能力提出了更高的要求。分析型数据库因其在处理海量实时数据时具有优秀的存算和管理能力，近年来赢得了市场的青睐。

01

Apache Paimon流式湖仓学习交流群成立

Apache Paimon是一个流式数据湖平台。致力于构建一个实时、高效的流式数据湖平台。这个项目采用了先进的流式计算技术，使企业能够实时处理和分析大量数据。Apache Paimon 的核心优势在于它对于大数据生态系统中流式处理的支持，尤其是在高并发和低延迟方面表现出色。

01

企业到底需要怎样的湖仓一体架构？| Q推荐

作者 | 郑思宇在愈发复杂的大数据场景下，数据仓库与数据湖各自的弊端开始显现，湖仓一体架构走向舞台中央。此前，InfoQ 也曾在《湖仓一体会成为企业的必选项吗？》一文中提到，对于高速增长的企业来说，选择湖仓一体架构来替代传统的独立仓和独立湖，将成为不可逆转的趋势。虽然业界对于湖仓一体的价值是高度认同的，但作为一种新兴的架构，大多数公司对于湖仓一体仍处在初期的探索阶段，有些企业甚至对于要选择怎样的湖仓一体架构仍旧是云里雾里。本文，我们希望从技术选型的角度出发，让你重新理解湖仓一体的本质与要求，扫除技

01

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》，引领数据湖仓创新

会上，中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告（2024年）》，深入分析和展望了我国数据库产业及技术发展与行业应用情况。

01

实时数仓：实时数仓3.0的演进之路

传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸如监控报警类、大屏展示类场景要求秒级甚至毫秒级；另一类诸如大部分实时报表的需求通常没有非常高的时效性要求，一般分钟级别，比如10分钟甚至30分钟以内都可以接受。

01

大数据技术演进实录：云原生大数据、湖仓一体、AI for Data，未来“谁主沉浮”？| Q推荐

从大数据发展的历史长河来看，谷歌的“三驾马车”—— 《GFS》、《MapReduce》和《BigTable》，加上亚马逊的一篇关于 Dynamo 系统的论文奠定了大数据时代发展的基础。从“大数据之父”道格·卡丁创造了 Hadoop 到现在许多厂商开始单独造轮子、做开源，大数据的发展首先是获得了大规模数据的处理能力，然后再解决了数据的分析与挖掘问题，到如今又开始解决“如何实时查询数据”的问题，从近 20 年的发展中基本可以看出，这些演进的背后都是由企业需求和业务发展驱动的。英特尔院士、大数据技术全球 CTO

02

【金猿人物展】数元灵科技CEO朱亚东：何以数智化

本文由数元灵科技CEO朱亚东撰写并投递参与“数据猿年度金猿策划活动——2023大数据产业年度趋势人物榜单及奖项”评选。

01

实时湖仓一体在腾讯的实践落地丨DAMS峰会

2023 DAMS中国数据智能管理峰会-上海站将于3月31日盛大举办，峰会设置了大数据、数据治理&数据资产管理、信创数据库、信创运维、金融&运营商等五大主题专场，与大家一起探索大数据与云原生强强联合的方式，挖掘由此激发的软件发展和技术进步。其中，腾讯实时湖仓团队负责人邵赛赛老师将分享《实时湖仓一体在腾讯的实践落地》，内容概要提前剧透：实时湖仓一体在腾讯的实践落地议题要点及收获：湖仓一体技术可以为业务带来原先Hadoop数仓所无法提供的能力，包括流批一体架构、行级更新、schema evolutio

04

重磅更新丨偶数科技发布 OushuDB 5.0，多活主节点、多虚拟集群等特性完美支持实时湖仓一体

近日，偶数科技举办了线上产品发布会，发布了偶数当家数据库产品OushuDB的5.0版本。OushuDB 5.0通过多种创新的技术，可以支持超高并发、超大规模集群以及存算分离，解决了传统数据库由于复杂查询并发的限制、集群规模的限制或者支持的表数目的限制等等而导致的分库分表，从而可以真正的完美的实现湖仓一体，避免数据孤岛，满足湖仓一体的ANCHOR标准。

01

现在的湖仓一体像是个伪命题

从一体机、超融合到云计算、HTAP，我们不断尝试将多种应用场景融合在一起并试图通过一种技术来解决一类问题，借以达到使用简单高效的目标。现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以同时发挥二者的价值。数据湖和数据仓库一直以来都有十分密切的联系但同时存在显著的差异。数据湖更注重原始信息的保留，将原始数据“原汁原味”地保存下来是数据湖的首要目标。但原始数据中有很多垃圾数据，原样保留就意味着垃圾数据都要存进数据湖？没错，数据湖就是这样一个数据垃圾场，不管什么样的数据一股

03

数字化进入深水区，湖仓一体让企业具备立体化数据能力丨爱分析访谈

自“信创”概念提出以来，国家政策大力支持数据基础软件发展，推动国产基础软件市场快速增长。与此同时，业务侧对数据分析、数据挖掘、数据探索的广泛应用也反推企业升级底层数据架构，通过优化数据引擎支撑数据开发、数据资产管理、数据应用等数据能力建设。国产基础软件发展正当时。

03

BDCC- 数据湖体系

数据湖是一种存储系统，底层包括不同的文件格式及湖表格式，可存储大量非结构化和半结构化的原始数据。

03

湖仓一体，技术“缝合怪”？

在当今数据驱动的商业世界中，高效、灵活的数据管理成为企业成功的关键。数据仓库和数据湖，作为数据存储和处理的两种主流技术，分别扮演着独特而重要的角色。

01

重新定义OLAP！新型多维分析架构全揭秘！

2022年6月11日，DataFun将举办第二届线上DataFunSummit2022：多维分析架构峰会。本次峰会共设置9大主题论坛，并邀请目前工作在大数据多维分析领域的负责人、架构师、数据工程师和开源多维分析项目的核心成员分享，内容既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。非常期待这次峰会的到来，同时也希望各位能从中收获更多的知识，结识更多的朋友，让大数据的多维分析能力达到新的高度！ ▌

01

李呈祥：bilibili在湖仓一体查询加速上的实践与探索

导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。主要内容包括：

02

深度：解密数据库的诗与远方！

为了更系统、深入的梳理数据库的发展脉络和最新进展，数据猿采访了多位业界专家，包括星环科技联合创始人刘汪根、PingCAP 创始人兼 CEO 刘奇、达梦数据技术服务中心副总经理胡俊、南大通用GBase 8s产品线总经理崔志伟、酷克数据首席科学家杨胜文等，来共同探寻数据库的价值和未来。

03

一次性搞定数据分析的必要知识！| Q推荐

近几年，数据应用场景不断丰富，从工业、交通、金融到制造，几乎无处不在。数据价值的飞速提升给开发者和相关企业带来了新的问题，对于企业而言，数据指数级增长的情况下，使存储成本和数据预处理需求增加，数据使用场景的增加和大量的结构化数据和非结构化数据让实时处理难度变高，这对平台和用户都提出新的挑战。因此，企业更加关注如何能同时兼顾数据分析与实时效两点需求。作为一种新型的开放式架构，湖仓一体打通了数据仓库和数据湖，可同时支持实时查询和分析，为企业进行数据治理带来了更多的便利性，也正在帮助数据产业解决燃眉之急。作为

02

vivo 实时计算平台建设实践

vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。

03

Flink 从实时计算到流式数仓，下一步去往哪里？

小米从 2019 年开始引入 Flink 并处理实时计算相关的需求，从第一个接入的版本 1.7 到最新的 1.14，累计已升级更新了 6 个大的版本，目前已接入包括数据采集、信息流广告、搜索推荐、用户画像、金融等在内的全集团所有业务线的 3000+ 任务，日均处理 10 万亿 + 的消息，并在国内外搭建了 10+ 集群。

02

Forrester发布云数据仓库报告：腾讯云大数据强势迈入竞争者行列

刚刚获悉，在全球研究机构Forrester最新发布了2023年第二季度《The Forrester Wave™: Cloud Data Warehouses》报告，吸引众多国际顶尖云数据仓库厂商参与其中，腾讯云以全栈云原生数据仓库解决方案成功入选 “竞争者”阵营，成为国内唯二入选的云厂商。

03

【金猿信创展】数新网络——国内云数智操作系统信创领导者

本内容由数新网络投递并参与“数据猿年度金猿策划活动——2022大数据产业国产化优秀代表厂商”评选。

02

oushudb丨案例分析丨湖仓一体助力保险企业数据战略转型升级

当下，海量数据结合前沿技术架构正在为保险业带来根本性的变革。本文以某知名保险机构为例，结合偶数行业实践经验，介绍保险企业如何利用湖仓一体技术推动数据战略转型升级。背景介绍在对该客户需求进行深度挖掘并横向比较行业现状后，我们发现：(1) 包括该客户在内的多数保险企业的数据分析场景较为单一，直接产生业务价值的数据挖掘不够丰富；(2) 该客户现有数据分析场景的效率、性能、用户体验都亟待提升。下文我们详细展开分析。业务场景分析客户现有的数据分析应用集中在经营分析、监管报送和风险管控等几个传统场景，其实不止该客户，目前大多数保险企业的大数据业务应用价值挖掘都还不够丰富。1.风险管控仅以目前多数保险企业都非常关注的风控环节为例，该客户仍以风险部门固定报表分析为主，而通过风险数据建模，应用在投保前风险排查、承保中风险管控及理赔时风险识别和反欺诈等全业务链条还非常有限。在投保环节，可以利用数据搭建风险评估模型，筛查高风险客户，对大概率产生负价值的客户采用拒保或者提高保费的方式以减少损失。以互联网场景下的意外险和健康险为例，由于投保手续较为简单，很多产品免体检，只需要填写投保人基本信息即可，这些业务中，很容易出现投保人隐瞒病情、造假家庭收入的情况，逆向选择甚至欺诈的可能性非常大。因此在投保场景下可以利用数据进行多维分析，及时发现高风险投保客户，避免欺诈行为的发生。在承保运营环节，相比较传统风控，大数据风控让保险机构对保险用户的动态跟踪反馈，定期对承保中用户信息进行维护，更新用户风险指数。此外，在加强用户信息安全管理和隐私方面，保险公司借助大数据和人工智能（如设备指纹、IP 画像、机器行为识别等工具）加以防范，在回访环节，根据用户情况及其手机在网状态选择拨打方式及话术，更有利于提高回访效率，提升客户体验。在理赔环节，大数据风控先通过构建模型的方式筛查出疑似欺诈的高风险案件，然后再人工重点审核和调查，减少现场查勘误差，提高查勘效率。除了风险管控，通过数据赋能业务还可以落地在其他几个重点保险场景中，包括产品创新、风险定价、精准获客。接下来我们展开说明下数据赋能这些场景的形式和实现逻辑。

01

万字详解数据仓库、数据湖、数据中台和湖仓一体

数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数据湖、数据仓库，数据中台已成气候”……

02

实时化浪潮下，Apache Flink还将在大数据领域掀起怎样的变革？

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！今年是 Flink Forward Asia（下文简称 FFA）落地中国的第五个年头，也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年，Flink 一方面持续优化其流计算核心能力，不断提高整个行业的流计算处理标准，另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化，Flink 已逐步演进为流处理的领军角色和事实标准。作为开源大数据领域

04

实时化浪潮下，Apache Flink还将在大数据领域掀起怎样的变革？| Q推荐

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！今年是 Flink Forward Asia（下文简称 FFA）落地中国的第五个年头，也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年，Flink 一方面持续优化其流计算核心能力，不断提高整个行业的流计算处理标准，另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化，Flink 已逐步演进为流处理的领军角色和事实标准。作为开源大数据领

03

投入上百人、经历多次双11，Flink已经足够强大了吗？

采访嘉宾｜王峰（莫问）作者 | Tina 作为最活跃的大数据项目之一，Flink 进入 Apache 软件基金会顶级项目已经有八年了。 Apache Flink 是一款实时大数据分析引擎，同时支持流批执行模式，并与 Hadoop 生态可以无缝对接。2014 年，它被接纳为 Apache 孵化器项目，仅仅几个月后，它就成为了 Apache 的顶级项目。对于 Flink 来说，阿里有非常适合的流式场景。作为 Flink 的主导力量，阿里从 2015 年开始调研 Flink，并于 2016 年第一次在搜

04

湖仓一体会成为企业的必选项吗？| Q推荐

作为一种新兴架构，湖仓一体在扩展性、事务性以及灵活度上都体现出了独有的优势，也正因如此，无论在技术圈还是资本圈，湖仓一体都受到了前所未有的关注度。

03

“实时数仓”若干问？

确实，如果从一个初学者来说这些技术可能大家听起来会很容易觉得混淆，他们到底是什么样的一些关系？我为大家去简单的梳理一下。

02

袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台

7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。发布会上，袋鼠云宣布将集团进行全新升级：从“数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”和极速湖仓引擎“数驹DTengine”。

03

大数据架构系列：如何理解湖仓一体？

导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂

02

Tapdata Cloud 场景通关系列：数据入湖仓之 MySQL → Doris，极简架构，更实时、更简便

【前言】作为中国的 “Fivetran/Airbyte”, Tapdata Cloud 自去年发布云版公测以来，吸引了近万名用户的注册使用。应社区用户上生产系统的要求，Tapdata Cloud 3.0 将正式推出商业版服务，提供对生产系统的 SLA 支撑。Tapdata 目前专注在实时数据同步和集成领域，核心场景包括以下几大类： √ 实时数据库同步，如 Oracle → Oracle, Oracle → MySQL, MySQL → MySQL 等 √ 数据入湖入仓，或者为现代数据平台供数，如： △ 常规 ETL 任务（建宽表、数据清洗、脱敏等） △ 为 Kafka/MQ/Bitsflow 供数或下推

01

大数据架构系列：如何理解湖仓一体

这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。

袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台

7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。发布会上，袋鼠云宣布将集团进行全新升级：从“数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”和极速湖仓引擎“数驹DTengine”。

02

中国业务型CDP白皮书 | 爱分析报告

近年来，C端消费在线化渗透持续提升，全渠道消费成为常态，品牌商流量争夺愈发激烈。通过建设CDP（客户数据管理平台）实现对全渠道用户数据管理，从而实现精准获客、精细化用户运营，几乎成为业内的共识。

02

金融信创湖仓一体数据平台架构实践

大数据基础设施的发展经历了四个主要阶段，每个阶段都有着标志性的技术进步来应对新的应用需求。

01

【活动回顾】腾讯大数据 x StarRocks｜构建新一代实时湖仓

2023 年 9 月 26 日，腾讯大数据团队与 StarRocks 社区携手举办了一场名为“构建新一代实时湖仓”的盛大活动。活动聚集了来自腾讯大数据、腾讯视频、腾讯游戏、同程旅行以及StarRocks 社区的技术专家，共同深入探讨了湖仓一体技术以及其应用实践等多个备受瞩目的话题，观看人数过万。

02

图灵奖得主回顾与展望：数据库发展 60 年，AI 颠覆在即？

文章概要：数据库领域的两位重量级人物 Michael Stonebraker 和 Andrew Pavlo 联合发表论文，以 20 年为周期洞悉数据库产业发展，盘点数据库领域的发展，本文是第二篇（https://db.cs.cmu.edu/papers/2024/whatgoesaround-sigmodrec2024.pdf），第一篇发表于 2004 年（https://books.google.com/books?hl）。文章结合近 2 年来 AI 蓬勃发展，给出了非常具体的辛辣“评论”。两位大神作者，帮助读者拨开迷雾，了解数据库领域发展的脉络，帮助读者看清数据技术的发展路线。Michael Stonebraker 和 Andrew Pavlo 的总结很有洞见，但笔者不完全同意文中对未来的预测观点，同时认为支撑 RDBMS 和 SQL 的核心支柱正在发生动摇：AI 的出现正在撼动数据库领域的“传统”模式。未来的数据架构和模式的演进，有更多可能性等待业界学者和产研专家们发掘。

01

火山引擎数智平台VeDI发布《数据智能知识图谱》

大数据文摘作品近日，火山引擎数智平台（VeDI）正式发布《数据智能知识图谱》（以下简称「图谱」），内容覆盖了包括数据存储计算、数据分析加速、数据研发治理、数据洞察分析，数据辅助决策、数据赋能营销等企业数据全生命周期的管理与应用。点击文末「阅读原文」，下载高清图谱。更强劲的数据基座能力随着企业数字化转型的需求愈加强烈，数据存储计算作为转型最底层的基座也更加受到关注。过去，传统湖仓一体时常发生数据源数据入湖时效性差、多源数据管理难等问题；而在批流一体方面，由于批流存储引擎不统一导致批流任务分开处理

05

浅谈大数据的过去、现在和未来

相信身处于大数据领域的读者多少都能感受到，大数据技术的应用场景正在发生影响深远的变化: 随着实时计算、Kubernetes 的崛起和 HTAP、流批一体的大趋势，之前相对独立的大数据技术正逐渐和传统的在线业务融合。关于该话题，笔者早已如鲠在喉，但因拖延症又犯迟迟没有动笔，最终借最近参加多项会议收获不少感悟的契机才能克服懒惰写下这片文章。

03

字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践

目前主流的数仓架构—— Lambda 架构，能够通过实时和离线两套链路、两套代码同时兼容实时数据与离线数据，做到通过批处理提供全面及准确的数据、通过流处理提供低延迟的数据，达到平衡延迟、吞吐量和容错性的目的。在实际应用中，为满足下游的即席查询，批处理和流处理的结果会进行合并。

05

Flink Forward Asia 2020干货总结！

剩喜漫天飞玉蝶，不嫌幽谷阻黄莺。2020 年是不寻常的一年，Flink 也在这一年迎来了新纪元。

03

新鲜出炉！由腾讯安全深度参编的“首份网络安全态势感知国家标准”发布

近日，公安部第三研究所牵头、腾讯安全深度参编的信息安全国家标准《信息安全技术-网络安全态势感知通用技术要求》，由国家标准化管理委员会正式发布，将于2023年10月1日起实施。

02

Flink Table Store 典型应用场景

‍‍摘要：本文整理自 Apache Flink PMC 李劲松（之信）在 9 月 24 日 Apache Flink Meetup 的分享。主要内容包括：

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭