1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10提问于2022-07-21得票数 0
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
设想一个高度可伸缩的体系结构，其中每个租户都是按区域和可用性区域划分和分布的，每个服务器都持有总数据的一个子集。还存在冗余，还有承载相同逻辑碎片的物理碎片。这很好，如果客户端知道分配给用户的所有逻辑碎片，那么在处理返回极端数量数据的请求时，客户端可以使用map/reduce样式检索所有数据。这解决了当用户的数据量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是，如果一个名词微服务的数据是跨多个服务器隔离和共享的，并且每个服务器都承载着不同的用户或租户子集，我如
浏览 4提问于2022-07-23得票数 0
随着Synapse、Power BI的发展和湖房体系结构的兴起，是否有可行的解决方案来构建部门多维数据集以避免Analysis？我想滑到冰球要去的地方，而不是现在。Power数据集中的新特性能否取代Analysis的某些功能，然后将多维数据集作为Power数据集托管在Power服务中？
浏览 0提问于2021-06-17得票数 0
回答已采纳
1回答
我正在寻找一些关于为一个简单的ETL工作构建一个架构的指导。我已经构建了一个解决方案，但我正在寻找方法来改进或尝试另一个体系结构。这里是我的用例：
为此，我构建了一个解决方案，用户可以将csv格式的源数据上传到云存储。我使用云函数来监视云存储桶中的更改，并触发Dataflow管
浏览 2提问于2018-08-03得票数 0
为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？您甚至可以在数据砖中挂载多个ADLS2实例吗？
浏览 6提问于2022-06-03得票数 1
1回答
即使经过很多资源，我也不明白什么是湖房，所以我想问一问。如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？
请澄清。
浏览 0提问于2021-06-18得票数 1
回答已采纳
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
Azure数据湖分析和天蓝色数据库都可以用于批量处理。谁能帮我理解一下什么时候该选一种而不是另一种？
浏览 0提问于2018-05-22得票数 22
回答已采纳
1回答
在现代数据体系结构中，将数据湖划分为多个层次，数据以原始形式存储在着陆区，然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过数据湖中的可信数据来进行报告。如果是这样的话，我想不出一种逻辑来证明数据仓库的存在是合理的。还是可信数据本身就是Datawarehouse？或者信任的数据更像是只是聚合数据，而不是做适当的建模，因此我们仍然需要数据仓库。
浏览 9提问于2022-07-25得票数 0
1回答
从DynamoDB表创建数据池
、、、、
我们希望从这个表中创建一个数据湖，用于历史数据、模型培训和分析洞察力。我们想保证30分钟的数据湖数据“新鲜”w.r.t。原来的桌子。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例如，使用Glue)之前，将其用于任何应用程序。
，但我有疑问：，这是否意味着我们必须每30分钟将Dy
浏览 7提问于2021-08-13得票数 1
回答已采纳
如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。当前架构- Azure Stack多源通过Azure数据库存储到Azure数据湖Gen2 Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的使用Analysis都需要始终打开，表示不需要的费用替代体
浏览 5提问于2021-12-10得票数 0
2回答
阿帕奇星火+三角洲湖概念
、、、、
1)数据库提出了三层(青铜、银、金)，但哪一层是推荐用于机器学习的，为什么？我想他们建议在黄金层中清理和准备数据。2)如果抽象这三层的概念，我们可以把青铜层看作数据湖，银层作为数据库，黄金层作为数据仓库吗？我是说就功能而言。( 3)达美建筑是一个商业术语，还是Kappa体系结构的一种演变，还是一种新的趋势建筑，如Lambda和Kappa体系结构？(Delta + Lambda架构)和Kappa体系结构有什么不同？4)在许多情况下，De
浏览 2提问于2019-05-19得票数 22
回答已采纳
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我想使用Azure Databricks和Databricks构建一个类似于数据仓库的层概念，例如摄取层、传播层和数据集市层。然而，现在的挑战是如何为每一步编排从/到Databricks的数据负载，特别是处理databricks内存中的数据模型，以及切换到每个层的持久存储(例如，Azure SQLDB)。但是，如果我将数据库中的所有内容保存到处理的最后一层，就很难从ADF中跟踪管道错误，并且很难重新处理特定的层。
我正在寻找最佳实践如何处理一个层概念与ADF和数据</e
浏览 4提问于2021-11-13得票数 0
回答已采纳
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
1回答
我想问一下，我们可以在Hadoop数据仓库中存储各种类型的数据吗？像RDBMS，JSON Doc，Cassandra Keyspace，txt，CSV等数据？它们是否都存储在HDFS中？
浏览 29提问于2021-07-16得票数 1
回答已采纳
1回答
我想用必要的文献资料来定义数据仓库。在中，数据仓库这一术语也适用于复杂的数据，即视频、图像等，但在本文中，数据仓库这一术语仍未定义。
浏览 0提问于2018-12-05得票数 1
回答已采纳
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
/tests/.my_test_env
如何构建Docker镜像来模拟Azure数据湖(第2代)？我使用Python3SDK与数据湖进行交互，文档在这里-- 。
浏览 3提问于2020-08-27得票数 2
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号