数据虚拟入湖
数据虚拟入湖是一种技术概念，指的是将数据虚拟化，并将其存储在一个虚拟的湖中。这种技术可以帮助企业和开发者更好地管理和处理大量的数据，并且可以提高数据的安全性和可靠性。
在数据虚拟入湖中，数据被虚拟化，并通过一个虚拟的湖来存储和管理。这种技术可以帮助企业和开发者更好地管理和处理大量的数据，并且可以提高数据的安全性和可靠性。数据虚拟入湖可以帮助企业和开发者更好地管理和处理大量的数据，并且可以提高数据的安全性和可靠性。
数据虚拟入湖的应用场景包括但不限于：
- 大数据存储和管理：数据虚拟入湖可以帮助企业和开发者更好地管理和处理大量的数据，并且可以提高数据的安全性和可靠性。
- 数据分析和挖掘：数据虚拟入湖可以帮助企业和开发者更好地分析和挖掘数据，并且可以帮助企业和开发者更好地理解数据的价值和意义。
- 数据共享和协作：数据虚拟入湖可以帮助企业和开发者更好地共享和协作数据，并且可以提高数据的可用性和可靠性。
推荐的腾讯云相关产品：
- 腾讯云数据库：提供MySQL、SQL Server、PostgreSQL等多种数据库服务，支持数据迁移、备份、监控等功能。
- 腾讯云对象存储：提供海量、安全、低成本、高可靠的云存储服务，支持多种文件格式、文件类型，支持数据生命周期管理。
- 腾讯云大数据：提供大数据处理、存储、分析、挖掘等一站式服务，支持Hadoop、Spark、Hive等多种大数据处理引擎。
数据虚拟入湖技术的优势包括：
- 数据安全性：数据虚拟入湖可以帮助企业和开发者更好地保护数据的安全性，防止数据泄露和丢失。
- 数据可靠性：数据虚拟入湖可以帮助企业和开发者更好地保护数据的可靠性，避免数据损坏和丢失。
- 数据可用性：数据虚拟入湖可以帮助企业和开发者更好地管理和共享数据，提高数据的可用性和可靠性。
- 数据分析能力：数据虚拟入湖可以帮助企业和开发者更好地分析和挖掘数据，帮助企业和开发者更好地理解数据的价值和意义。
数据虚拟入湖技术的应用场景包括但不限于：
- 大数据存储和管理：数据虚拟入湖可以帮助企业和开发者更好地管理和处理大量的数据，并且可以提高数据的安全性和可靠性。
- 数据分析和挖掘：数据虚拟入湖可以帮助企业和开发者更好地分析和挖掘数据，并且可以帮助企业和开发者更好地理解数据的价值和意义。
- 数据共享和协作：数据虚拟入湖可以帮助企业和开发者更好地共享和协作数据，并且可以提高数据的可用性和可靠性。
推荐的腾讯云相关产品：
- 腾讯云数据库：提供MySQL、SQL Server、PostgreSQL等多种数据库服务，支持数据迁移、备份、监控等功能。
- 腾讯云对象存储：提供海量、安全、低成本、高可靠的云存储服务，支持多种文件格式、文件类型，支持数据生命周期管理。
- 腾讯云大数据：提供大数据处理、存储、分析、挖掘等一站式服务，支持Hadoop、Spark、Hive等多种大数据处理引擎。
相关·内容
1回答
我正在研究一个新的要求，需要将Qliksense和Qlikview连接到Azure数据湖第1代商店。我搜索了很多关于它的信息，但没有找到任何有用的信息来声称Qlik和Microsoft Azure数据湖之间的连接。
浏览 0提问于2019-01-10得票数 2
我正在尝试从AWS湖编队控制台设置一个数据集。
我按照下面的资源进行同样的操作：
但在创建db的第二步中，输入db名称并选择s3位置后，我将得到
对s3的湖形成许可不足：
我检查了我的权限，我的管理角色映射到我的帐户，允许所有(*)
有人能帮上忙吗?实际问题是什么！
浏览 0提问于2020-09-15得票数 10
我在gen1中用python上传了azure data lake中的文件。这些文件存在于azure数据湖中，我需要对这些文件应用弹性搜索(这些文件可以是.pdf、.csv、.xlsx、.doc)。使用python django。
浏览 1提问于2019-10-17得票数 0
场景:我有一个带有Azure防火墙的集线器和辐式架构，它在所有辐条中充当我的DNS服务器到VNets。我也有一个VPN连接，我用它来传输数据到我的Azure数据湖存储Gen2。为此，我使用专用终结点，它配置为与集线器网络关联的专用DNS区域。因此-所有伟大的，我的所有流量是安全的，无论我连接到我的ADLS Gen2从房地或数据库在Azure。现在问题就在这里。这要花很多钱，因为向您收取入站和出站流量的费用。
所以问题是，是否可以告诉我的Databricks节点使用Service (它是免费的)而不是私有端点，因为Azure防火墙DNS总是为我的ADLS返回一个私有IP？我仍然需要保持二等兵终点
浏览 6提问于2022-05-06得票数 1
我想使用azure数据工厂从on提取数据到蔚蓝数据湖gen2。我已经在我的本地系统中安装了一个Integration运行时，并添加了一个system服务器作为Integration的链接服务器，并且能够成功地提取数据。
现在，我想在Azure虚拟机中安装Integration，并将我的on服务器添加为一个链接的服务并拖动数据。
我能做这个吗？
浏览 8提问于2022-02-03得票数 0
回答已采纳
2回答
我正在尝试在一个与业务相关的应用程序中实现数据网格概念。让我先描述一下： 已经使用数据HDFS、hive和cassandra_database来管理数据。 1:据我所知，在数据网格概念中，多个数据库、内部数据、数据湖和数据仓库连接在一个点上，分布这些数据。在这里，每个数据仓库、数据湖或数据库都是一个数据网格节点。对于数据网格，这个整体概念是否正确？ 2:如何在我的项目中实现，我正在尝试使用graphDb数据库，因为它支持作为主节点和工作节点(存储库)的另一个数据库的集群连接。 3:可以使用graphDb以外的其他平台进行检查吗？像neo4j一样，这是可能的吗？ 任何人都可以在我的项目或任何参
浏览 16提问于2020-04-28得票数 2
如何使用Azure data将数据从附加变量活动复制到csv文件
文件名数组存储在附加变量活动中。我想将所有这些文件名存储在数据湖位置的.CSV文件中。
有关更多信息，请参阅此
浏览 8提问于2022-11-17得票数 0
回答已采纳
1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
Kappa体系结构是否使用数据湖？
浏览 10提问于2022-07-21得票数 0
回答已采纳
我正在向学习。它要求创建一个新的hdinsight集群(选项是hadoop、hbase、风暴或火花)以及一个存储帐户。集群和存储帐户之间有什么区别？集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？
同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像
HDInsight微软的基于云的大数据服务。Apache和其他流行的大数据解决方案。
数据湖分析大数据分析容易
浏览 5提问于2016-03-18得票数 3
1回答
最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。
我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。
不管怎样，有什么最佳做法吗？
干杯!
浏览 0提问于2019-07-24得票数 0
回答已采纳
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。
我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
浏览 2提问于2022-08-09得票数 0
回答已采纳
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。 我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。 我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？
浏览 14提问于2019-05-01得票数 1
2回答
我试着阅读了很多关于databricks delta lake的资料。据我所知，它为您的数据存储增加了ACID事务，并通过增量引擎提高了查询性能。如果是这样，为什么我们还需要其他不支持ACID事务的数据湖呢？Delta lakes声称将数据湖和数据仓库这两个世界结合在一起，我们知道，由于它目前对操作的支持，它还不能取代传统的数据仓库。但它应该取代数据湖吗？为什么需要两份数据副本-一份在数据湖中，另一份在德尔塔湖中？
浏览 21提问于2020-07-30得票数 0
回答已采纳
2回答
我是这个Azure数据湖世界的新手。我正在寻找任何必要的先决条件和注意事项，以便使用蔚蓝数据湖.我找到了一个很好的链接，并发现安静有用。
现在，我不确定的一件事是数据保持策略在数据湖中。有些人说数据不应该从数据湖中删除/清除，而很少有人有不同的看法。
因此，在任何数据湖中，对于数据保留策略(归档、清除)，我们是否需要遵循特定和基本的考虑？我知道用例将是这方面的决定因素，但在作出决定之前，是否有任何高层次的考虑因素，是我的问题。
谢谢,
浏览 1提问于2017-02-19得票数 2
回答已采纳
2回答
我有以下问题。我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS，但只复制最新的文件。每小时，到达源的一个.csv文件，这个文件必须被复制到宿数据湖。例如：
event: Hour1 - file_01.csv到达源。任务:复制file_01.csv以接收数据湖。event: Hour2 - file_02.csv到达源。任务:复制file_02.csv以接收数据湖。诸若此类。
有没有办法创建一个基于事件的触发器(新文件到达源代码)？这是我的第一个想法。
另一种方法是创建一个作业，由Azure Data lake analytics运行。在那里我会提取系统的日期和时间(我不知道怎么
浏览 2提问于2018-04-23得票数 0
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
用Azure ML使用Azure的可能方法是什么？
浏览 2提问于2016-03-21得票数 0
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。
术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。
Hadoop也做了同样的事情。我们有存储的HDFS和用于计算的MapReduce。我对Hadoop和数据湖有点困惑。两者之间的区别是什么。如果它们是相同的，为什么会出现这个词。或者如何定义数据湖。
浏览 8提问于2016-03-14得票数 16
我在Azure数据湖存储中有一个.csv文件，每当.csv文件加载到数据湖存储中时，我是否可以使用函数应用来触发Azure数据工厂(ADF)事件。当前的ADF支持blob存储的事件，但不支持数据湖。 谢谢，拉维
浏览 12提问于2019-05-25得票数 0
2回答
列名映射错误。
、、、、
我试图使用azure数据工厂从on数据湖中提取/加载数据到蔚蓝数据湖。
我只是想查询一下所有的列。我的水槽是蔚蓝数据湖Gen2。
但是我的列名在源和库上都是错误的。
我在on-prem数据湖中的列名类似于user_id、lst_nm等，但在Azure中，它就像、等，这里的user_tbl是我的表名。
我不希望将表名添加到列中。
浏览 14提问于2022-02-23得票数 0
我将数据上传到Azure Databricks，可以看到DBFS列表中有数据集，但在Databricks所属的资源组中找不到任何数据集。
数据集存储在哪里？
此外，如果我创建达美湖，如何从Azure数据工厂调用Delta湖？我看不出三角洲湖存放在哪里。
浏览 11提问于2022-04-14得票数 0
回答已采纳
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗？
浏览 2提问于2017-07-11得票数 0
1回答
目前，在我的组织中，我们持有弹性搜索中的半结构化数据，我们使用查询进行快速文本搜索和聚合，但是我们有其他产品在其他数据库中，所以我们希望将所有的数据放在像HDFS这样的数据湖中。
因此，如果我使用HDFS作为一个数据湖来保存原始数据，那么如何使用弹性搜索呢？我指的是在使用之前的弹性搜索索引数据，那么是否可以将数据保存在数据湖中，然后弹性搜索就可以直接从数据湖查询数据，而不需要将数据存储在弹性中？或者我会把数据保存在数据湖中，然后处理它，然后再用弹性存储它，这样它就可以索引它了吗？
总之，我想知道弹性和hadoop干涉的概念。
浏览 3提问于2022-11-21得票数 0
4回答
来自数据库世界，当我们有与数据相关的东西时，我们使用ui工具来查询数据。不管是大还是小。
有没有类似SSMS、SQL WorkBench (用于大数据红移)、雅典娜(查询大数据S3)的Azure数据湖？
我看到只是查询数据并将其存储在文件中。是否有通过UI工具或WebBased工具查询Azure数据湖上的数据？
浏览 6提问于2017-11-17得票数 9
回答已采纳
1回答
我一直困惑着是要创建一个数据湖还是一个数据仓库，希望一些有经验的现实世界的专业人士能给我一些启示。
我想用我从多个来源(IoT设备、API等)摄取的数据来存储、可视化和执行机器学习。我读到，在我们所处的当前环境中，企业将同时需要数据湖和数据仓库。
我的问题是：
我是否应该先创建一个数据湖，然后从湖中转换/处理这些原始数据，并将其摄取到数据仓库中？
还是数据湖本身是一个独立的数据处理管道？
还是这取决于用例？
这就是我一直在想的：
📷
PS:如果这是错误的StackExchange，请告诉我，谢谢:)
浏览 0提问于2022-05-13得票数 2
回答已采纳
2回答
将数据池与已删除的记录同步
、、、、
我正在建设的数据湖，以集成多个数据源的高级分析。
在开始时，我选择HDFS作为数据湖存储。但是我有一个更新和删除数据源的要求，我必须与数据湖同步。
要理解Data的不可变性质，我将考虑数据源中的LastModifiedDate，以检测该记录是否已更新，并将该记录插入数据湖中具有当前日期。这样做的目的是用最大值(日期)选择记录。
但是，我无法理解
我将检测删除的记录从来源和我将做什么与数据湖？
我应该使用诸如Cassandra之类的其他数据存储并执行delete命令吗？恐怕它会失去不可改变的财产。
你能建议我在这种情况下的良好做法吗？
浏览 2提问于2018-04-06得票数 1
2回答
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。
在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。
但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在当前的申请流程中，我遗漏了什么东西吗？
我可以使用Power直接从Azure数据湖获取数据，因此不需要数据仓库。我说的对吗？
我可以在Azure数据湖创建一个数据库，那
浏览 1提问于2018-03-15得票数 3
回答已采纳
我编写了控制台应用程序来监控/分析Azure数据湖存储中的文件。我在Azure活动目录中创建了一个应用程序来访问azure资源。我遵循了给出的所有步骤，让能够访问蔚蓝数据湖存储上的应用程序。我提供了对父目录和数据湖存储的所有幼童文件夹/文件的访问权限。
现在，我可以通过我的代码访问文件。我试图通过在代码中使用DataLakeStoreFileSystemManagement Client获取USQL作业在数据湖存储中生成的文件的修改时间和过期时间。我正在使用微软提供的.NET API进行数据湖分析和数据湖存储。
我正在为我提供访问的文件获取所有这些信息。但是，当usql作业在蔚蓝数据湖存储中添
浏览 1提问于2018-01-30得票数 0
2回答
有没有一种方法可以让我从流分析输出到数据湖，并使用aad应用程序或其他东西，而不是我的帐户，用于写入到数据湖？让用户作为数据湖的写入者是不切实际的。
浏览 3提问于2018-06-19得票数 0
背景
我使用Azure数据工厂v2将数据从on数据库(例如Server)加载到Azure数据湖gen2。由于我将加载数千个表，我创建了一个动态ADF管道，它根据模式参数、表名、修改日期(用于标识增量)等，加载源中的数据。这显然意味着我不能在ADF中手动指定任何类型的模式或映射。这很好，因为我希望数据池在相同的结构中保存源数据的持久副本。数据被加载到ORC文件中。
基于这些ORC文件，我希望在雪花中创建具有虚拟列的外部表。我已经用与源表相同的列名和数据类型在雪花中创建了普通表，我将在稍后阶段使用这些表。我希望使用这些表的信息模式来动态地为外部表创建DDL语句。
The issue
由于列名在雪花
浏览 3提问于2019-12-10得票数 4
回答已采纳
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog)，一个用于Datalake分析和其他数据湖存储。 我的问题是，为什么每个文件夹的目的是什么，为什么我们使用U-SQL进行转换，而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。 enter image description here 谢谢你，艾迪
浏览 18提问于2019-02-15得票数 0
Azure数据湖是我的数据源。我想将数据从azure数据湖推送到Azure分析服务(SSAS)。我怎么能做到这一点？
浏览 1提问于2016-12-02得票数 1
我正在寻找一种方法来获取关于数据湖中存储的所有数据的总体大小的数据(蔚蓝数据湖gen2 2- adls2)。是否有人知道如何获取有关数据湖大小(存储了多少数据)的此类信息？试图找到合适的API，但到目前为止没有找到任何东西。会感谢你的任何建议。
浏览 2提问于2019-10-13得票数 1
回答已采纳
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。
下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。
根据使用的用例/服务，可以使用数据管道、Glue Jobs或AWS Lambda事件触发器来调度作业。
分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行数据查询，或在Sagemaker中为ML应用程序使用数据。
我的问题是，AWS湖的形
浏览 0提问于2019-08-20得票数 3
我喜欢创建web应用程序来上传文件，保存到azure数据湖，读/写到azure SQL Server。
我使用我的Azure AD客户端I/密钥访问数据湖，
我的Azure SQL Server连接字符串，如: Server=tcp:{MyAzureSQLServer}.database.windows.net,1433;Initial目录{MyAzureDatabase}；持久化安全Info=False;MultipleActiveResultSets=False;Encrypt=True;TrustServerCertificate=False;Authentication="Ac
浏览 4提问于2019-01-18得票数 0
1回答
复制活动后继续在数据湖中进行分批
、、、、
我一直在使用Azure数据工厂(polybase)中的复制数据功能将日期复制到Synapse中，并启用了分阶段功能，以便在我们的蔚蓝数据湖中分阶段处理数据。但是，一旦复制到Synapse完成，我们的天蓝色数据湖中的暂存文件就会被删除。
在复制活动完成后，是否有任何方法将暂存的文件保存在数据湖中，而不是删除？
浏览 4提问于2022-04-11得票数 0
1回答
数据湖如何存储数据和格式？
、、、、
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
1回答
我有一个要求分类的PII和非PII数据从Azure数据湖发电1文件。由于我不想复制数据湖中的物理文件创建，我们是否可以在数据湖中创建逻辑视图，最好与物化视图相比较。
更好的技术-天青同步分析/数据库/ VM与火花过程，.
此外，该技术易于与RBAC的Active Directory集成。
告诉我可能性。
浏览 4提问于2020-09-11得票数 0
回答已采纳
2回答
(Azure)数据湖的元数据管理
、、、、
据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？
是否有任何自动读取元数据的机制(例如，从头文件中读取)，如果有，是否有任何方法来查看和编辑此元数据(可能是编程实现的API )？我担心，如果没有适当的管理，“湖”只会变成“数据坟墓”。一种解决方案可能是创建一个自己的数据库，我自己在其中存储每个文件的元数据。还有其他更先进的方法吗？
浏览 4提问于2017-03-27得票数 3
2回答
我在数据湖中有几个文件夹(例如:Test1 1容器)，每个月都以这种格式创建YYYY(示例:2022-11)，而在这个文件夹中，我没有几组数据文件，我希望将这些数据文件复制到数据湖中的不同文件夹中。
在接下来的一个月中，在同一个数据湖(例如:Test1 1容器)中创建新文件夹，其中包含2022-12，列表继续，2023-01.等等，我想每个月将这些文件夹中的文件复制到不同的数据湖文件夹中。
如何做到这一点？
浏览 8提问于2022-11-28得票数 0
目前，我正在尝试从我的web应用程序中的数据湖分析中调用我的U作业。为此，我使用了正式的.net sdk。我授权由另一个网页应用程序，被放置在蔚蓝活跃目录，并有权访问数据湖文件(这在我的应用程序也很完美)，并有读取权利的数据湖分析资源组。我只是在尝试一些来自互联网的选项(在这两个服务上打开防火墙，检查我是否在数据湖分析中有数据湖存储的az数据源)，但这不是工作:/那么，也许还有其他的工作来解决我的问题呢？或者我应该使用另一种方式在中授权我并执行我的use工作？
下面是我在visual studio中的错误消息：
附加信息:用户没有执行此操作的权限.
浏览 3提问于2017-07-10得票数 0
回答已采纳
我正在从事一个数据湖项目，我使用(编写pyspark代码)用于ETL，使用Azure DevOps用于CICD和源代码管理。我注意到了Devops中的测试计划:我的查询是，我可以使用测试计划进行数据湖测试吗？我浏览过与网络浏览相关的测试计划，但没有发现任何与数据湖、数据库或数据仓库相关的计划。
浏览 3提问于2020-01-19得票数 0
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
数据仓库+ Hadoop =数据湖
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
我所处的位置是，我们使用Azure数据仓库中的外部表从Azure数据湖中读取数据。
这使我们能够使用众所周知的SQL从数据湖中读取数据。
然而，另一种选择是使用数据湖分析，或HDInsight的一些变体。
在性能方面，我看不到太大的区别。我假设Data Warehouse正在后台运行某种形式的分布式查询，正在转换到U-SQL(?)，那么为什么我们要将Data Lake Analytics与U-SQL的语法稍有不同呢？
浏览 1提问于2018-01-18得票数 3
1回答
支持数据湖设置的服务
、、、、
我必须测试和比较可用的解决方案来创建一个数据湖。
除了AWS湖的形成之外，还有其他服务可以轻松地建立一个安全的数据池吗？
我知道我可以在Azure和Google平台上创建一个帐户，但是我不知道他们是否有任何我需要的解决方案的“包”，或者帮助我建立数据湖的服务。
浏览 1提问于2019-05-09得票数 0
回答已采纳
1回答
我们找不到连接到互联网或任何可以连接到azure数据湖存储的脚本或代码。这样我们就可以从azure数据湖中检索数据到API。
浏览 20提问于2021-10-05得票数 0
我们的团队有一个Azure Data Lake Gen2。另一个团队希望将数据输入到数据湖中，但他们不应该能够在数据湖中查看我们的内容。我怎样才能做到这一点？ 我认为部分访问是不可能的，需要为外部团队创建另一个Azure数据湖来放置数据。我说的对吗？
浏览 25提问于2020-09-24得票数 0
无法将" in“参数传递给U-SQL以使用文件夹中的所有文件。
在我的ADF管道中，我有以下参数设置：
"parameters": {
"in": "$$Text.Format('stag/input/{0:yyyy}/{0:MM}/{0:dd}/*.csv', SliceStart)",
"out": "$$Text.Format('stag/output/{0:yyyy}/{0:MM}/{0:dd}/summary.csv"
}
和U-SQL脚本尝试从中提取：
@
浏览 0提问于2016-12-02得票数 1
3回答
嗨，我开始学习蔚蓝数据湖和蔚蓝机器学习，我需要使用蔚蓝数据湖存储作为蔚蓝机器学习工作室的输入数据.There有任何选项在那里，我浏览了蔚蓝数据湖和机器学习文档，但我无法达到，最后我有一个解决方案在这个上，但他们提到没有选择，但这是一个老的帖子，所以可能是微软的人添加了未来，如果它是请让我知道，让我知道，谢谢。
浏览 6提问于2017-03-07得票数 5
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
