腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kappa
体系
结构是否使用
数据
湖
?
、
、
、
、
Kukreja在“Apache、Delta
湖
和Lakehouse的
数据
工程”中说,Kappa
体系
结构没有
数据
湖
。微软在 (见图)中提到了一家“长期商店”,但没有透露它的实际情况。它使用这些
数据
来“重新计算”。对我来说,这是一个
数据
湖
。
浏览 10
提问于2022-07-21
得票数 0
回答已采纳
7
回答
Hadoop Vs
数据
湖
、
、
我听说了
数据
湖
这个新名词。我在谷歌上查到了
数据
湖
是一个大规模的存储库和处理引擎.
数据
池提供“任何类型的
数据
的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语
数据
湖
通常与面向Hadoop的对象存储相关联。在这种情况下,组织的
数据
首先加载到Hadoop平台,然后将业务分析和
数据
挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的
数据
。我对Hadoop和
数据
<
浏览 8
提问于2016-03-14
得票数 16
1
回答
如果我通过enduser/承租者分割我的微服务
数据
,并且每个服务器都拥有全部
数据
的一个子集,那么如何在所有服务器上查询
数据
呢?
、
、
设想一个高度可伸缩的
体系
结构,其中每个租户都是按区域和可用性区域划分和分布的,每个服务器都持有总
数据
的一个子集。还存在冗余,还有承载相同逻辑碎片的物理碎片。这很好,如果客户端知道分配给用户的所有逻辑碎片,那么在处理返回极端数量
数据
的请求时,客户端可以使用map/reduce样式检索所有
数据
。这解决了当用户的
数据
量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是,如果一个名词微服务的
数据
是跨多个服务器隔离和共享的,并且每个服务器都承载着不同的用户或租户子集,我如
浏览 4
提问于2022-07-23
得票数 0
1
回答
您能在Databricks中挂载多个ADLS2实例吗?
、
、
、
为
数据
湖
/三角洲
湖
体系
结构设置DEV/TEST/PROD环境的最佳实践是什么?对于每个DEV/TEST/PROD,您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例?您甚至可以在
数据
砖中挂载多个ADLS2实例吗?
浏览 6
提问于2022-06-03
得票数 1
1
回答
和Delta层会让它成为
湖
屋吗?
、
即使经过很多资源,我也不明白什么是
湖
房,所以我想问一问。如果我们有Azure Gen 2存储、ADF和Azure
数据
库,可以将传入的CSV文件转换为Delta表,可以称为"Lakehouse“
体系
结构,还是称为"Delta Lake"?或者是"SQL分析“引擎在Delta
湖
层之上使它成为了"Lakehouse"? 请澄清。
浏览 0
提问于2021-06-18
得票数 1
回答已采纳
1
回答
如何在Azure
数据
湖
分析和Azure
数据
库之间进行选择
、
Azure
数据
湖
分析和天蓝色
数据
库都可以用于批量处理。谁能帮我理解一下什么时候该选一种而不是另一种?
浏览 0
提问于2018-05-22
得票数 22
回答已采纳
1
回答
数据
湖
中的可信
数据
层能代替
数据
仓库吗?
、
、
、
、
在现代
数据
体系
结构中,将
数据
湖
划分为多个层次,
数据
以原始形式存储在着陆区,然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过
数据
湖
中的可信
数据
来进行报告。如果是这样的话,我想不出一种逻辑来证明
数据
仓库的存在是合理的。还是可信
数据
本身就是Datawarehouse?或者信任的
数据
更像是只是聚合
数据
,而不是做适当的建模,因此我们仍然需要
数据
仓库。
浏览 9
提问于2022-07-25
得票数 0
1
回答
从DynamoDB表创建
数据
池
、
、
、
、
我们希望从这个表中创建一个
数据
湖
,用于历史
数据
、模型培训和分析洞察力。我们想保证30分钟的
数据
湖
数据
“新鲜”w.r.t。原来的桌子。但是,我对什么是一个很好的
体系
结构感到困惑:我对
数据
湖
的理解是,您应该使用一个存储服务(即S3)来存储没有处理的原始
数据
。然后,执行ETL工作,在转换、处理和过滤
数据
(例如,使用Glue)之前,将其用于任何应用程序。 ,但我有疑问:,这是否意味着我们必须每30分钟将Dy
浏览 7
提问于2021-08-13
得票数 1
回答已采纳
1
回答
数据
体系
结构-全天蓝色堆栈与集成的三角洲
湖
、
、
如果可能的话,我想征求您对旧的和建议的
体系
结构(或备选方案)的意见,讨论它们的优点和缺点,并可能发现不可预见的问题/限制。当前架构- Azure Stack多源通过Azure
数据
库存储到Azure
数据
湖
Gen2 Azure
数据
库清理
数据
并将其存储回Azure
数据
湖
Gen2中:原始的、干净的使用Analysis都需要始终打开,表示不需要的费用替代
体
浏览 5
提问于2021-12-10
得票数 0
2
回答
阿帕奇星火+三角洲
湖
概念
、
、
、
、
1)
数据
库提出了三层(青铜、银、金),但哪一层是推荐用于机器学习的,为什么?我想他们建议在黄金层中清理和准备
数据
。2)如果抽象这三层的概念,我们可以把青铜层看作
数据
湖
,银层作为
数据
库,黄金层作为
数据
仓库吗?我是说就功能而言。( 3)达美建筑是一个商业术语,还是Kappa
体系
结构的一种演变,还是一种新的趋势建筑,如Lambda和Kappa
体系
结构?(Delta + Lambda架构)和Kappa
体系
结构有什么不同?4)在许多情况下,De
浏览 2
提问于2019-05-19
得票数 22
回答已采纳
1
回答
新的Synapse & Power世界中分析服务的替代方案?
、
、
随着Synapse、Power BI的发展和
湖
房
体系
结构的兴起,是否有可行的解决方案来构建部门多维
数据
集以避免Analysis?我想滑到冰球要去的地方,而不是现在。Power
数据
集中的新特性能否取代Analysis的某些功能,然后将多维
数据
集作为Power
数据
集托管在Power服务中?
浏览 0
提问于2021-06-17
得票数 0
回答已采纳
1
回答
什么是
数据
仓库,它能应用于复杂的
数据
吗?
、
、
、
我想用必要的文献资料来定义
数据
仓库。在中,
数据
仓库这一术语也适用于复杂的
数据
,即视频、图像等,但在本文中,
数据
仓库这一术语仍未定义。
浏览 0
提问于2018-12-05
得票数 1
回答已采纳
1
回答
对Azure
数据
湖
和Azure SQL Server的Asp.Net读/写
、
、
、
、
我喜欢创建web应用程序来上传文件,保存到azure
数据
湖
,读/写到azure SQL Server。我使用我的Azure AD客户端I/密钥访问
数据
湖
, 我的Azure SQL Server连接字符串,如: Server=tcp:{MyAzureSQLServer}.database.windows.netMultipleActiveResultSets=False;Encrypt=True;TrustServerCertificate=False;Authentication="Activ
浏览 4
提问于2019-01-18
得票数 0
1
回答
体系
结构帮助-替代ETL
数据
流和处理
、
、
、
我已经构建了一个解决方案,但我正在寻找方法来改进或尝试另一个
体系
结构。这里是我的用例: 为此,我构建了一个解决方案,用户可以将csv格式的源
数据
上传到云存储。我使用云函数来监视云存储桶中的更改,并触发Dataflow管道对其进行批处理,并以bigquery格式存储
数据
(json格式)进行分析。最后,我使用Data
浏览 2
提问于2018-08-03
得票数 0
1
回答
.NET
框架
会支持Azure Data Lake Gen 2吗?
我们使用.NET
框架
实现了Web Job,它指向Azure Data Lake Gen 1。这里有一个问题,我们是否仍然可以使用.NET
框架
来指向第二代天青
数据
湖
,即.NET
框架
是否将支持第二代?
浏览 15
提问于2020-09-04
得票数 0
2
回答
Perf事件的含义是什么:dTLB-加载和dTLB-存储?
、
、
、
我试图理解perf事件的含义:dTLB-加载和dTLB-存储?
浏览 1
提问于2019-05-16
得票数 3
回答已采纳
2
回答
从一个DataLake到另一个DataLake的Azure
数据
工厂复制
、
我需要建立一个能够从一个DataLake复制到另一个的管道,但是到目前为止,通过谷歌搜索,我找不到任何与之相关的东西,有人能给我指出正确的方向吗?非常感谢。
浏览 16
提问于2018-02-21
得票数 0
2
回答
从头开始建
数据
湖
、
、
我正试图从零开始构建一个“
数据
湖
”。我理解
数据
湖
是如何工作的,以及它的用途;它遍布互联网。但是,当问题出现时,如何从头开始建立一个,就没有来源了。我想知道如果: 我知道如何运行Hadoop并将
数据
导入Hadoop。我想在前提
数据
湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1
提问于2019-02-27
得票数 2
回答已采纳
1
回答
如何使用用户分配的标识从
数据
库访问ADLS容器
、
、
、
我已经成功地在Databricks中挂载了带有服务主体的ADLS,并且能够对
数据
进行必要的转换。 现在,我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6
提问于2022-03-08
得票数 0
2
回答
从笔记本编写DataFrame到Azure DataLake Gen2表
、
、
、
我已经创建了一个DataFrame,我想在表中的Azure DataLake Gen2旁边编写/导出它(需要为此创建新的表)。在中,我创建了一个连接-> Azure DataLake来查看我的文件:感谢帮助如何用火花/电火花写它。
浏览 2
提问于2020-01-16
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据运营之行业标准ITSM:框架体系发展历程
易华录拟与鹏城实验室开展“数据湖+大数据、人工智能”体系生态合作
视频数据湖?
云原生数据湖101
你真的需要数据湖吗?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券