7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
1回答
支持数据湖设置的服务
、、、、
我必须测试和比较可用的解决方案来创建一个数据湖。
除了AWS湖的形成之外，还有其他服务可以轻松地建立一个安全的数据池吗？我知道我可以在Azure和Google平台上创建一个帐户，但是我不知道他们是否有任何我需要的解决方案的“包”，或者帮助我建立数据湖的服务。
浏览 1提问于2019-05-09得票数 0
回答已采纳
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我喜欢创建web应用程序来上传文件，保存到azure数据湖，读/写到azure SQL Server。我使用我的Azure AD客户端I/密钥访问数据湖，
我的Azure SQL Server连接字符串，如: Server=tcp:{MyAzureSQLServer}.database.windows.net,1433;Initial目录{MyAzureDatabase}；持久化安全Info=False;MultipleActiveResultSets=False;Encrypt=Tr
浏览 4提问于2019-01-18得票数 0
如果datamart是数据仓库的逻辑分区，那么它在datalake中对应的是什么？另外，在datalake中是否有类似星形或雪花模式的设计？
浏览 0提问于2018-04-02得票数 0
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
Azure数据湖是我的数据源。我想将数据从azure数据湖推送到Azure分析服务(SSAS)。我怎么能做到这一点？
浏览 1提问于2016-12-02得票数 1
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0提问于2019-08-20得票数 3
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
我们有一个与外部客户端共享数据和一些相关文件的用例。数据存储在数据湖(雪花)中。我们正在考虑将相关文件存储在s3或azure存储中。这些文件是数据的补充信息/附加附件。由于安全问题，预签名或SAS URL将无法工作。
是否有可能生成指向具有b2b类型身份验证的浏览器轻松打开的文件的链接？我们是否需要构建</e
浏览 3提问于2021-06-23得票数 1
在同一台服务器上，我运行了一些qlikview的加载器和hadoop中的一个数据湖。我的qlikview加载器使用impala连接器(您可以在qlikmarkt中找到的连接器)查询数据湖的一些“表”，但我们将在数据湖中使用kerberos安全性。
浏览 0提问于2016-04-07得票数 1
2回答
我的web应用程序存储使用数据，例如：执行的任务等等，我需要显示仪表板和报告的使用和性能趋势，例如：平均任务执行时间是多少？数据来自具有特定数据模型的关系数据库。
有人要求我创建一个数据记录，只是给他我所有的原始数据。我不明白这张照片里有什么数据。没有模型和关系，我的数据是无用的。而且，我没有事件流:我在关系数据库中有表。例如，“任务”表中的一行将有“打开时间”列和
浏览 0提问于2018-11-04得票数 1
我想使用我的天蓝色数据湖Gen2上的蜂巢Metastore中的达美湖表作为我公司湖房的基础。
以前，我使用了“常规”蜂巢目录表。我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行ETL了。但是，如果我不想执行这个saveAsTable操作并写入我的数据湖，该怎么办？使用SQL执行ETL的
浏览 6提问于2022-09-08得票数 0
回答已采纳
我不熟悉蔚蓝的世界。我正在浏览blob存储和adls2。我注意到，除了空间约束和herieracial名称空间之外，adls2所能做的一切都可以通过blob完成。
浏览 10提问于2022-04-22得票数 0
2回答
我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS，但只复制最新的文件。每小时，到达源的一个.csv文件，这个文件必须被复制到宿数据湖。任务:复制file_01.csv以接收数据湖。event: Hour2 - file_02.csv到达源。任务:复制file_02.csv以接收数据湖。诸若此类。在那里我会提取系统的日期和时间(我不知道怎么做)。选择最新的文件，并将该文件复制到接收器数据湖</em
浏览 2提问于2018-04-23得票数 0
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
/tests/.my_test_env
如何构建Docker镜像来模拟Azure数据湖(第2代)？我使用Python3SDK与数据湖进行交互，文档在这里-- 。
浏览 3提问于2020-08-27得票数 2
1回答
以拼花格式添加动态记录
、、、
我正在构建一个数据湖，并在一个非常琐碎的事情上卡住了。我将使用Hadoop/HDFS作为我们的数据湖基础设施，并以parquet格式存储记录。数据将来自一个Kafka队列，它每次发送一个json记录。有人能指点一下该怎么做吗？除了pyarrow之外，任何其他库都可以工作，但可以使用此功能。
浏览 11提问于2022-03-07得票数 0
我编写了控制台应用程序来监控/分析Azure数据湖存储中的文件。我在Azure活动目录中创建了一个应用程序来访问azure资源。我遵循了给出的所有步骤，让能够访问蔚蓝数据湖存储上的应用程序。我提供了对父目录和数据湖存储的所有幼童文件夹/文件的访问权限。我正在为我提供访问的文件获取所有这些信息。但是
浏览 1提问于2018-01-30得票数 0
我想要完全迁移所有的表从azure SQL数据库到azure数据湖。我怎么能做到这一点。请给我一些场景，这样我就可以完全搬到天蓝色的数据湖。提前谢谢。
我也可以通过SSIS做到这一点吗？
浏览 1提问于2016-10-21得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
