2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
1回答
如果是，需要安装哪些软件/工具？ 我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。不确定还需要哪些其他工具。是否有任何其他工具建议来实施内部数据湖概念？
浏览 20提问于2021-02-10得票数 2
2回答
我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么?1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法?2.将数据存储到azure数据湖并使用数据湖分析来处
浏览 0提问于2017-07-05得票数 0
我想将本地文件附加到数据湖上的文件中。谁能给我一个例子，什么是最好的方式来连接数据湖存储与.net软件开发工具包。
浏览 1提问于2017-07-12得票数 1
回答已采纳
芯片如何修补幽灵变体1和熔毁熔毁，如威士忌湖和琥珀湖，如何处理谱变体2？我在找一台新笔记本电脑。目前正在评估联想x390。它将与威士忌湖一起上市，该公司声称对熔毁和幽灵变体有硬件修复。当软件修复时，英特尔预计性能将下降3%至10%，这取决于工作负载--在硬件修复时，英特尔表示性能下降要小得多，但预计新平台(比如Cascade Lake)将提供更好的整体性能。威士忌湖和琥珀湖都没有减轻v2的影响，但是威士忌湖对一些更危险的攻击(如v3和L1TF )进行了修复。威士忌<em
浏览 0提问于2019-02-28得票数 6
我想使用pyspark在Hadoop集群上使用delta湖。除了下面，我还没有找到任何使用三角洲湖的安装指南。spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"
提前谢谢。
浏览 5提问于2020-08-12得票数 2
2回答
我创建了一个增量表，它使用spark 3.x和增量0.7.x创建：data.write.format("delta").mode("overwrite").save("tmp/delta-table")data = spark.range(20, 100)
df = sp
浏览 1提问于2020-08-28得票数 0
回答已采纳
我需要建立一个能够从一个DataLake复制到另一个的管道，但是到目前为止，通过谷歌搜索，我找不到任何与之相关的东西，有人能给我指出正确的方向吗？非常感谢。
浏览 16提问于2018-02-21得票数 0
数据我将我的星火集群与apache Hadoop配置它的工作状态进行集成，然后我开始将我的星火集群集成到Azure数据湖存储中，它也很好，作为参考，我把这个作为spark和蔚蓝数据湖，然后我需要集成spark与Snappy数据集成，根据snappy-data文档我们可以使用snappy-数据包。spark.snappydata.store.sys-disk-dir=quickstartdatadir -conf spark.snappydata.store.log-fi
浏览 3提问于2017-02-28得票数 0
1回答
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
我们是一家广告公司，我们在Azure表中存储了大量数据。比如每个用户的页面浏览量、页面动作、会话等。我们选择Azure tables而不是SQL Server的原因是数据量太大(每秒数以万计)。我们希望更进一步，并对该数据执行高级查询。在Azure生态系统中，这是可能的吗？也许是通过在他们的数据仓库产品中加载数据，或者通过一些Map Reduce查询？此外，如果上述情况是可能的，我们也在考虑在数据仓库中以微批的方式摄取数据，以确保我们有一个相对较新的副本，而不必加载大量
浏览 1提问于2016-03-07得票数 0
我对Azure相当陌生，我只是尝试Azure数据湖分析。为了测试目的，我创建了一个新的Azure帐户，并且希望现在就删除它，但是在安装过程中，我使用了一个现有的Azure数据湖存储(ADLS)帐户作为默认的存储帐户。我现在知道我可能应该添加现有的ADLS作为关联的数据存储。
浏览 3提问于2017-08-18得票数 0
“我深入研究了'adl工具for vs‘日志，并推断这是gac中的版本控制问题；卸载和重新安装数据湖工具，至少我的vs现在已经启动。Azure数据湖节点1.0此包包含服务器资源管理器的数据湖集成节点。用于Visual的Azure数据湖工具2.0.8000.0 Microsoft Azure Data Lake Tools for Visual Studio
通用Azure工具1.7提供通用服务，供AzureMicrosoft软件</e
浏览 4提问于2016-05-31得票数 1
回答已采纳
我可以通过azure应用程序洞察力跟踪我的应用程序日志文件，并导出xls工作表( )，但是为了备份跟踪目的，我需要将所有日志文件存储到蔚蓝数据湖存储中。我需要在我的应用程序上调试这个问题，当我面对issues.but时，我得到了和继续导出sql，blob存储的链接，我不想要不必要的存储来将我的数据存储在蔚蓝资源中。因此，如果有任何方式连接应用程序洞察力到Azure数据湖通过连接器或plugins.IF，its，请您分享我的链接。
谢谢。。
浏览 2提问于2017-05-30得票数 5
1回答
数据湖如何存储数据和格式？
、、、、
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
1回答
从大数据或数据湖的角度来看，数据归档和数据摄入到底有什么区别？我推测，在数据湖的上下文中，“摄入”是一个恰当的词，但是如果我们在那里使用'Archival‘而不是’摄入‘，那么我们所缺少的是什么。我认为使用“摄入”而不是“归档”的几个原因是
谢谢
浏览 1提问于2018-09-28得票数 0
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10提问于2022-07-21得票数 0
回答已采纳
我很难使用c#向ADLS2 blob存储写入数据。此功能是否可用？
我正在尝试将我的代码从ADLS Gen 1更新到Gen 1。
浏览 2提问于2019-02-06得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
