未获取架构WASB的FileSystem。Hdinsight Map Reduce
未获取架构WASB的FileSystem是指在Hdinsight Map Reduce中无法获取到WASB（Windows Azure Storage Blob）文件系统的架构。
WASB是一种针对Hadoop分布式文件系统（HDFS）的替代方案，它提供了与HDFS兼容的接口，可以将数据存储在Azure Blob存储中。WASB通过将HDFS的命名空间映射到Azure Blob存储中的容器和目录结构来实现。
在Hdinsight Map Reduce中，如果未获取到WASB的FileSystem，可能会导致无法访问和操作存储在Azure Blob存储中的数据。这可能是由于配置错误、权限问题或网络连接问题等原因导致的。
为了解决这个问题，可以按照以下步骤进行排查和修复：
- 配置检查：确保在Hdinsight集群的配置中正确设置了WASB的相关参数，包括Azure Blob存储的连接字符串、容器名称等。
- 权限检查：确保Hdinsight集群的服务主体（Service Principal）具有访问Azure Blob存储的权限。可以通过为服务主体分配适当的存储帐户访问权限来解决权限问题。
- 网络连接检查：确保Hdinsight集群和Azure Blob存储之间的网络连接正常。可以尝试通过其他方式（如Azure Storage Explorer）验证是否可以正常访问Azure Blob存储。
如果以上步骤都没有解决问题，建议参考Hdinsight Map Reduce的官方文档或向腾讯云技术支持寻求进一步的帮助。
腾讯云提供了一系列与Hadoop和大数据相关的产品和服务，包括Tencent Cloud Hadoop、Tencent Cloud EMR等。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多相关产品和服务的详细信息。
相关·内容
我正在Azure HDInsight中运行一个简单的map reduce作业，下面是我们正在运行的命令： java -jar WordCount201.jar wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa/CustData.csv wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa 获取以下错误： java.io.IO
浏览 29提问于2019-05-16得票数 0
回答已采纳
我有一个map-reduce作业，reducer获得了Azure Blob存储上的文件的绝对地址，reducer应该打开它并读取其内容。在配置Hadoop集群(HDInsight)时，我添加了包含文件的存储帐户。因此，reducer必须能够访问此Blob存储，但Blob存储不是我的作业的默认HDFS存储。我的reducer中有以下代码，但它给出了一条FileNotFound错误消息。
FileSystem fs = FileSystem.get(new Configuration());
Path pt = new Path("wasb://mycontainer@accountnam
浏览 2提问于2015-06-17得票数 1
我一直在跟踪这个，以便在HDInsight中的HDInsight(版本1.5.2)的Linux上设置齐柏林飞艇。一切运行良好，我已经成功地连接到齐柏林飞艇笔记本通过SSH隧道。但是，当我尝试运行任何类型的段落时，我第一次得到以下错误：
java.io.IOException:不适用于方案: wasb
获得此错误后，如果我试图重新运行该段落，则会得到另一个错误：
java.net.SocketOutputStream.socketWrite0(Native方法中的断管(java.net.SocketException)
这些错误发生在我输入的代码中，即使没有对hdfs的引用。我的
浏览 4提问于2016-01-08得票数 0
我运行了下面的代码但是收到了一个错误..。
# The HDInsight cluster name.
$clusterName = "my-cluster-name"
Use-AzureHDInsightCluster $clusterName
# NOTE: The version number portion of the file path
# may change in future versions of HDInsight.
# So dynamically grab it using Hive.
$mahoutPath = Invoke-Hive -Quer
浏览 3提问于2015-04-05得票数 0
回答已采纳
我试图在HDInsight中使用RDP运行一个猪查询。
查询是
LOGS = LOAD 'wasb://containerName@storageAccountName.blob.core.windows.net/' as unparsedString:chararray;
其中containerName & storageAccountName是我的containerName，storageAccountName是数据存在的地方。
它抛出一个错误说明..。错误1200: wasb://containerName@storageAccountName.blob.core
浏览 2提问于2015-07-17得票数 1
回答已采纳
1回答
我是Windows和HDInsight的新手，所以如果我的问题是naive.......Is在HDInsight中插入数据，Windows小泡是同一件事，那么请原谅我吗？
请给我同样的建议。
提前谢谢
浏览 1提问于2013-12-23得票数 0
回答已采纳
我尝试使用以下命令在HDInsight星火集群中运行pio train命令
pio train -- --deploy-mode cluster --master yarn
但提供了以下错误
2018-11-05 11:40:05 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.io.IOException
浏览 6提问于2018-11-05得票数 0
目前，我在Azure中运行我的应用程序，它以用户名连接到HDInsight星火库集群。
我已经创建了以主存储类型为Azure存储别名WASB的HDInsight火花集群。
我相信有下列方法可以验证WASB的储存：
-我从Azure存储帐户获得存储密钥，并在core-site.xml中使用如下
fs.azure.account.key.StorageAccountName.blob.core.windows.net存储访问密钥
-
SAS令牌生成表单-参考
SAS令牌，Blob，File，Queue，File在这里-参考
我如何使用上面的SAS凭据，
浏览 2提问于2016-12-30得票数 0
我尝试将pyspark中的机器学习模型保存到azure blob。但这给出了错误。
lr.save('wasbs:///user/remoteuser/models/')
Illegal Argument Exception: Cannot initialize WASB file system, URI authority not recognized.'
也试过了，
m = lr.save('wasbs://'+container_name+'@'+storage_account_name+'.blob.core.windo
浏览 0提问于2018-10-08得票数 3
我们目前正在建立一个Apache系统，它收集事件数据并将其写入我们的HDInsight HDFS集群中的文件。在验证初始设置时，hdfs ls在Flume写入文件时显示文件大小为0，但是当文件滚动时(以及删除.tmp文件扩展名)，文件大小突然跳起。
对于HDFS或HDInsight (或WASB)，在Flume写入文件时，文件大小是否为0？
浏览 3提问于2016-02-25得票数 3
回答已采纳
我正在与HDInsight .NET SDK一起工作，以便将C# sdk与猪一起使用。指定c#应用程序路径时出现错误。
下面是我如何在pig脚本中定义C#应用程序
DEFINE pigudf `PigUDF.exe` SHIP('wasb://book@storage.blob.core.windows.net/PIG/app/PigUDF.exe');
我收到错误“无效的船舶规范”'wasb://bookstore@storage160203122480.blob.core.windows.net/PIG/app/PigUDF.exe‘不存在，但是PigUDF.exe
浏览 0提问于2016-02-19得票数 0
Hadoop的卖点之一是数据与计算？这与WASB是如何工作的？在处理MapReduce作业时，map和reduce任务将在数据块所在的位置执行。这样就实现了数据的局部性。但在HDInsight的情况下，数据存储在wasb中。那么，在执行MapReduce时，是否将数据从wasb复制到每个计算节点，然后继续处理？如果是这样，那么将数据复制到计算节点的单一通道将成为瓶颈。
谁能给我解释一下数据是如何存储在wasb上的，以及在处理过程中数据是如何处理的？
浏览 2提问于2016-09-01得票数 0
我跟随从.NET控制台应用程序向HDInsight提交mapreduce作业。
它工作得很好，但我想知道这一行：
var jobDefinition = new MapReduceJobCreateParameters()
{
JarFile = "wasb:///example/jars/hadoop-examples.jar",
ClassName = "wordcount"
};
“wasb:/example/jars/hadoop-examples.jar”指的是我的Azure存储帐户中的一个jar，当我将
浏览 0提问于2014-02-12得票数 0
1回答
我有一个.NET可执行文件，我想通过它在我的Azure HDInsight集群上的Pig中流式传输数据。我已经将它上传到我的容器中，但是当我试图通过它流式传输数据时，我得到了以下错误：
<line 1, column 393> Failed to generate logical plan. Nested exception: java.io.IOException: Invalid ship specification: '/util/myStreamApp.exe' does not exist!
我按如下方式定义和使用我的操作：
DEFINE myApp `m
浏览 0提问于2015-01-23得票数 0
这里是新的azure。我刚刚使用常规存储帐户上的新存储实例启动了一个新的HDInsight实例。我想知道我的webHDFS url是什么/我可以在哪里检索它，以及如何访问它。
我没有使用Azure Data Lake存储。(我发现的几乎每个与azure相关的链接都指向一些数据湖链接)
我的hdfs-site.xml：
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
core-site.xml：
<prope
浏览 2提问于2017-08-29得票数 1
我正在尝试从我的HDInsight集群中访问具有访问类型" blob“的容器中的Blob。但当我做一个：-
hadoop fs wasb://myconatiner@***.blob.core.windows.net/file.csv -text
我得到以下例外：
org.apache.hadoop.fs.azure.AzureException：**.blob.core.windows.net *在account中没有找到，而且我们不能使用非登录凭据来创建它，并且在配置中没有为它们找到凭据。
那么，这是一种预期的行为吗?我不能使用访问类型"Blob“来访问它吗？但是，
浏览 3提问于2017-05-18得票数 0
是否可以在HDInsight中运行JAR文件，其中包括lib文件夹下的另一个JAR文件？
JAR文件
├/folder1 1/subfolder1 1/myApp/…jar //└.class文件(jar文件)
谢谢!
浏览 2提问于2015-09-16得票数 0
回答已采纳
2回答
如何枚举HDFS目录中的文件？这是用于使用Scala枚举Apache集群中的文件。我看到了sc.textfile()选项，但这将读取内容。我只想读文件名。
我真的试过listStatus了。但没起作用。得到下面的错误。我正在使用Azure HDInsight Spark和blob存储文件夹HDInsight包含.json文件。
val fs = FileSystem.get(new Configuration())
val status = fs.listStatus(new Path("wasb://testContainer@testhdi.blob.core.windows.ne
浏览 0提问于2016-06-19得票数 2
回答已采纳
使用HDinsight运行spark和一个scala脚本。我正在使用intellij中的Azure插件提供的示例脚本。
它为我提供了以下代码：
val conf = new SparkConf().setAppName("MyApp")
val sc = new SparkContext(conf)
当然可以。我可以做这样的事情：
val rdd = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
我可以保存文件：
rdd1.saveAsTextFile(&#
浏览 12提问于2021-03-09得票数 0
我已经看到了Microsoft的.NET SDK。我发现现在可以用.NET为HDInsight编写地图/还原程序。
有什么方法可以同时为HDInsight编写Hive吗？
浏览 0提问于2014-03-28得票数 0
回答已采纳
我有一个从.dat文件(存储在azure blob存储区中)加载数据的用例，用于在Azure HDinsight .dat集群上运行作业。我通过文档加载它，如下所示：
file='wasb:///<container_name>/<path>/CITYIP.dat'
with open(file) as f:
print f.read()
这就抛出IOError: No such file or directory。我觉得，我在这里做错了什么。
有人能为我指出正确的方向吗?是否可以将文件加载到HDinsight星体集群中？
浏览 0提问于2018-04-10得票数 0
回答已采纳
2回答
我需要能够运行火花在我的本地机器上访问蔚蓝的wasb和adl urls，但我无法使它工作。我在这里有一个简化的例子：
maven pom.xml (全新的pom，只设置了依赖项)：
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.0</version>
</dependency>
<
浏览 0提问于2018-05-21得票数 6
回答已采纳
1回答
我已经按年分离了外部表的文件。我每年都增加分区。我运行了show表扩展命令，它显示：
partitioned:true
partitionColumns:struct partition_columns { i32 year}
totalNumberFiles:0
totalFileSize:0
它应该列出每个分区位置中的文件吗？
DROP TABLE IF EXISTS myTable;
CREATE EXTERNAL TABLE myTable(
somefield STRING,
somefield2 STRING,
GMTDateTime TIMESTAMP
浏览 0提问于2015-05-27得票数 0
回答已采纳
我正在尝试调试一个在HDInsight上使用Oozie时遇到的错误，并发现了一个提示，建议执行以下命令：
oozie validate workflow.xml
从命令行执行可能会有所帮助。不幸的是，如果文件存储在Azure storage上，我不知道如何引用workflow.xml。我尝试过以下几种方法：
oozie validate wasb://container@storageaccount.blob.core.windows.net/folder/workflow.xml
oozie validate /folder/workflow.xml
oozie validate folde
浏览 0提问于2014-06-17得票数 0
1回答
我在Azure HDInsight WASB上有一个配置单元表，想要从生产环境迁移/复制到QA环境，看起来我只能通过导出/导入来完成。
1)将表从拼图导出到文件(包括元数据) 2)将AzCopy从生产存储导出到QA存储3)导入表
浏览 2提问于2018-09-06得票数 1
我正在使用HDInsight，需要在运行完查询后删除我的集群。然而，我需要我收集的数据来维持另一天。我正在处理从table1创建计算列并将它们插入到table2中的查询。首先，我想要一个简单的测试来复制这些行。可以从select语句创建外部表吗？
drop table if exists table2;
create external table table2 as
select *
from table1
STORED AS TEXTFILE LOCATION 'wasb://{container name}@{storage name}.blob.core.windows.n
浏览 10提问于2015-05-30得票数 9
回答已采纳
这是我尝试在我的开发机器上安装HDInsight的第二天。几个月前我安装了它，没有任何问题。有一天，事情停止了，我看到应用程序池由于与.\hadoop帐户相关的问题而无法启动。
所以我卸载并重新安装。问题就从那里开始。我在IIS中看不到Hadoop仪表板。我也尝试过WebPI的离线模式。
有趣的是，在离线模式下，MSSingleNodeInstaller.msi的下载大小是3.8MB。当我在中检查HDINSIGHT-PREVIEW的大小时，它显示大约30MB。
安装后，C:\HadoopFeaturePackSetup\Packages文件夹不包含文件HadoopWebApi-winpkg.z
浏览 8提问于2013-10-21得票数 0
1回答
我使用maven构建了一个火花流应用程序。我正在执行它使用火花提交从头节点在hdinsight。应用程序使用外部配置文件。但它找不到那些。我尝试使用它们的本地路径、hdfs路径和blob存储路径(wasb)。但我没能让它起作用。有人能建议从应用程序引用外部文件的正确方法是什么吗？
浏览 0提问于2018-06-16得票数 0
回答已采纳
2回答
我在HDinsight上使用Hive，我想将作业的输出存储在Azure存储(blob)中。我试过了
INSERT OVERWRITE DIRECTORY 'wasb://mycontainer@myaccount.blob.core.windows.net/'
SELECT name, COUNT(*) as count FROM test
GROUP BY name
ORDER BY count DESC
但返回的错误“java.lang.RuntimeException:配置对象中的错误”。你能帮我把作业的输出重定向到Azure blob存储器吗？
浏览 3提问于2015-05-13得票数 0
回答已采纳
1回答
在HDInsight群集上，正在尝试在unicode csv文件上创建配置单元表。
Invoke-Hive -Query @"
CREATE EXTERNAL TABLE TestUnicode(Numeric1 INT,Numeric2 INT,Numeric3 INT,Name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION
'wasb://$containerName@$storageAccountName.blob.core.windows.
浏览 0提问于2014-04-22得票数 2
3回答
我正尝试在Spark HDInsight集群上运行python wordcount，并且我正在Jupyter上运行它。我不确定这是否是正确的方式，但我找不到任何关于如何在HDInsight Spark集群上提交独立的python应用程序的有用信息。
代码：
import pyspark
import operator
from pyspark import SparkConf
from pyspark import SparkContext
import atexit
from operator import add
conf = SparkConf().setMaster("yarn
浏览 2提问于2016-02-21得票数 5
1回答
我创建了Azure，并在其中安装了我的Java应用程序，然后连接到WASB存储。
我添加了以下jars和core-site.xml来从Java应用程序访问WASB存储。
core-site.xml
<configuration>
<property>
<name>fs.AbstractFileSystem.wasb.impl</name>
<value>org.apache.hadoop.fs.azure.Wasb</value>
</property&g
浏览 4提问于2017-01-13得票数 3
我目前正试图在我们的HDInsight集群上运行一个Scala作业，它的外部库星星之火--avro没有成功。有人能帮我解决这个问题吗？目标是找到必要的步骤，以便能够读取驻留在HDInsight集群上Azure blob存储区上的avro文件。
当前规范：
Linux (HDI 3.5)集群型Spark 2.0
Scala 2.11.8
spark-assembly-2.0.0-hadoop2.7.0-SNAPSHOT.jar
火花-avro_2.11:3.2.0
使用的教程：
火花scala代码：
基于以下示例：
import com.databricks.spark.
浏览 1提问于2017-04-04得票数 0
回答已采纳
在HDInsight连接到我的集群时遇到了一个奇怪的问题。我用来连接的代码：
$clustername=<"clustername">
Use-AzureHDInsightCluster -Name $clusterName
昨天，我将通过Powershell输入这段代码，它不会返回任何错误消息或任何输出。它只会持续运行。我认为这是我的系统的一个问题，所以我今天创建了一个虚拟机(运行Windows 8)，并再次输入代码。它工作了十次，然后开始重复昨天发生的同样的问题。但是今天跑了十分钟之后，我收到了一条错误消息：
USe-AzureHDInsightCluster
浏览 2提问于2014-07-04得票数 1
回答已采纳
我们在Azure中运行了HDInsight集群，但是它不允许在集群创建时旋转边缘/网关节点。所以我通过安装创建了这个edge/网关节点
echo 'deb http://private-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.2.0 HDP main' >> /etc/apt/sources.list.d/HDP.list
echo 'deb http://private-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14 HDP-U
浏览 5提问于2016-07-07得票数 8
我正在尝试使用Azure HDInsight的Hadoop。我通过ssh登录到集群，并运行以下命令
hadoop jar jar_name class_name wasb://container@storagename.core.windows.net/inputdir wasb://container@storagename.core.windows.net/outputdir
但我得到了以下例外：
线程"main“org.apache.hadoop.fs.azure.AzureException: org.apache.hadoop.fs.azure.AzureExceptio
浏览 1提问于2015-11-09得票数 9
回答已采纳
在我看来，和应该可以使用如下命令访问HdInsight HDFS
hdfs://<namenodehost>/<path>
但我不确定在Azure之外是否有可能，也不确定使用哪个端口。
我实际上是在尝试这样的东西：
hdfs://hdinsightscopit.azurehdinsight.net:9000
没有成功。
我需要访问hdfs，连接wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>没有问题
但这不是我想要的。
有什么想法吗？
致以敬意，
浏览 1提问于2015-06-22得票数 1
我正在使用Microsoft上的PySpark HDInsight集群进行机器学习项目。要操作我的星系团，请使用木星笔记本。另外，我有我的数据(一个csv文件)，存储在Azure Blob存储器中。
根据文档，我的文件路径的语法是：
path = 'wasb[s]://springboard@6zpbt6muaorgs.blob.core.windows.net/movies_plus_genre_info_2.csv'
但是，当我尝试使用以下命令读取csv文件时：
csvFile = spark.read.csv(path, header=True, inferSchema=
浏览 0提问于2017-12-18得票数 5
回答已采纳
2回答
我才刚刚开始使用HDInsight。我有一些存储在Azure存储中的文件要复制到HDFS中。我正在尝试使用fs -copyFromLocal。当我从C驱动器复制时，它工作正常，当我尝试使用wasb路径从blob存储复制到blob容器时，我得到了一个错误的FS错误。我怀疑从本地复制是错误的工具。如何从容器复制到HDFS。
浏览 0提问于2013-11-18得票数 0
1回答
我已经创建了一个HDInsight集群，但想要在门户网站上上传一个数据库并在其上使用配置单元。我需要采取哪些步骤？
我知道如何使用hive，但不知道如何连接在容器blob和hive中上传的数据。顺便说一句，我正在使用Powershell
浏览 0提问于2016-06-06得票数 0
我正在通过Azure HDInsight使用猪。我可以提交一个以商店结尾的查询，如下所示：
STORE Ordered INTO 'results' USING PigStorage(',');
这是可行的，将输出存储在目录/user/hdp/results/中。但是，我想控制输出目录。我都试过了..。
STORE Ordered INTO '/myOutDir/results' USING PigStorage(',');
和
STORE Ordered INTO 'wasb:///myOutDir/results
浏览 1提问于2014-05-15得票数 0
1回答
我正在尝试在Azure上的CosmosDB星系团中安装Azure HDInsight火花连接器。()
我是新的火花环境，我无法实现适当的方式添加连接器jars的火花配置。
方法:我用：
方法1 --我将jars上传到与HDInsight集群相关联的Azure Blob存储容器上。(例如/jars/)我与星火簇头节点建立了ssh连接，并运行了以下命令：
spark-shell --master yarn --conf "spark.executor.extraClassPath="wasb:///example/jars/azure-cosmosdb-spark_2.0.2_2.
浏览 4提问于2017-10-19得票数 5
2回答
是否可以使用Sqoop将数据从SQL数据库导入到不同的blob存储中，而不是默认的HDInsight集群blob存储？
即使我将azure存储访问权限设置为"Public Blob"，我也会收到一条错误消息"Container testcontainer in account nondefaultstorage.blob.core.windows.net not found，并且我们无法使用非同名凭证创建它。“
这是我正在运行的sqoop命令：
import
--connect jdbc:sqlserver://sqlServerName;user=sqlLogin;
浏览 2提问于2015-07-17得票数 0
我尝试让Beam管道在Azure的HDInsight SparkRunner上运行。我首先尝试了基于Spark 2.3.0/Hadoop 2.7 (HDI 3.6)的集群，然后又尝试了2.3.1/Hadoop 3.0 (HDI 4.0 Preview)。我尝试使用Apache Beam2.2.0和next 2.10.0-SNAPSHOT。
spark-submit命令是(对于光束2.10.0)：
JARS="wasbs:///dependency/hadoop-azure-3.1.1.3.0.2.0-50.jar,wasbs:///dependency/azure-storage-7.
浏览 6提问于2018-12-10得票数 1
2回答
我们试图为多个Outlook帐户使用公共数据。假设数据存储在一个属于data@outlook.com的容器中，我想以datasc1@outlook.com的形式读取它，我的朋友想从datasc2@outlook.com读取数据。
我有公共帐户的存储帐户名称，容器名称(它是公共容器)，但是当我尝试使用Hive命令读取数据时，如下所示：
CREATE EXTERNAL TABLE deneme (t1 string, t2 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATIO
浏览 4提问于2015-05-19得票数 3
回答已采纳
在Azure HDInsights集群上设置flink时会出现异常。
./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
抛出：
org.apache.flink.client.deployment.ClusterDeploymentException:
Couldn't deploy Yarn session cluster
Caused by:
Failing this attempt.Diagnostics:
[2018-10-24 00:41:17.703]Resource wasb://../.flink/applicati
浏览 2提问于2018-10-25得票数 1
回答已采纳
我有一个Azure Blob储藏室。在一个名为DATA的容器中，我有CSV气泡，如下所示-
现在，我已经使用HDInsight创建了Hadoop集群。
作为下一部分，我想创建用于查询的Hive表。这里我有一些具体的问题。
1)如何在一个查询中将所有BLOBS加载到一个Hive表中？
对于单个BLOB，我可以使用如下查询。但是，如何对单个查询中的多个节点执行此操作呢？
# Use the external table option.
$queryString = "DROP TABLE log4jLogs;" +
"CREATE E
浏览 2提问于2013-12-18得票数 2
回答已采纳
1回答
在HDInsight集群上，使用CREATE外部语句创建一个Hive表：
CREATE EXTERNAL TABLE HTable(t1 string, t2 string, t3 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasb://$containerName@$storageAccountName.blob.core.windows.net/HTable/data/';
然后一些现有文件改变了，一些文件被添加到CREATE语句中提到
浏览 2提问于2014-03-27得票数 0
回答已采纳
当尝试将本地hadoop与AZURE BLOB存储(即使用blob存储作为HDFS)与Hadoop版本- 2.7.1连接时，它会引发异常。
在这里，我通过设置属性成功地形成了本地集群。
<property>
<name>fs.default.name</name>
<value>wasb://account@storage.blob.core.windows.net</value>
</property>
然后是核心-site.xml中blob存储的键值。
在列出文件或将HDFS操作到blob存储时，将折叠
浏览 6提问于2015-08-28得票数 6
1回答
我使用了以下代码：
val fs = FileSystem.get(new Configuration())
val status = fs.listStatus(new Path("wasb:///example/"))
status.foreach(x=> println(x.getPath)
来自这个问题：
我的问题是，我不知道如何为类创建别名，如果没有别名，代码就会失败。我找到了代码中提到的所有类，下面的代码可以工作：
val fs = org.apache.hadoop.fs.FileSystem.get(new org.apache.hadoop.conf.C
浏览 0提问于2017-06-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
