在Scala中从HDFS加载XML文件
可以通过以下步骤实现：
- 导入必要的库和依赖：
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}
import scala.xml.XML- 创建Hadoop配置对象和文件系统对象：
val conf = new Configuration()
val fs = FileSystem.get(conf)- 指定XML文件在HDFS上的路径：
val filePath = new Path("/path/to/xml/file.xml")- 检查文件是否存在：
if (fs.exists(filePath)) {
// 文件存在，继续操作
} else {
// 文件不存在，进行相应的错误处理
}- 打开XML文件并加载内容：
val inputStream = fs.open(filePath)
val xmlContent = XML.load(inputStream)- 对XML内容进行处理：
// 在这里可以根据具体需求对XML内容进行解析、提取数据等操作以上是从HDFS加载XML文件的基本步骤。根据具体的应用场景和需求，可以进一步处理XML内容，例如使用Scala的XML解析库对XML进行解析、使用XPath表达式进行数据提取等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：提供高可靠、低成本的云端存储服务，适用于存储和处理各种非结构化数据。详情请参考：腾讯云对象存储（COS）
- 腾讯云大数据（CDH）：提供一站式大数据解决方案，包括数据存储、计算、分析和可视化等功能。详情请参考：腾讯云大数据（CDH）
- 腾讯云弹性MapReduce（EMR）：提供弹性、高性能的大数据处理服务，支持Hadoop、Spark等分布式计算框架。详情请参考：腾讯云弹性MapReduce（EMR）
相关·内容
我想使用XML Scala API从HDFS加载一个XML文件。我正在尝试，如下所示，但它无法识别路径。有人能告诉我如何使用Scala从HDFS加载文件吗？ import scala.xml.{NodeSeq, XML}
val xml_load = XML.loadFile("hdfs:////user/np.user/raw/xmlfile.xml")
浏览 13提问于2019-05-17得票数 0
回答已采纳
我需要使用Java / Scala程序在HDFS中移动多个文件，这些文件对应于给定的正则表达式。例如，我必须将名为*.xml的所有文件从文件夹a移动到文件夹b。
使用shell命令，我可以使用以下命令：
bin/hdfs dfs -mv a/*.xml b/
我可以使用Java使用以下代码(scala语言)移动单个文件，并在rename类上使用FileSystem方法：
// Prepare initial configuration
val conf = new Configuration()
conf.set("fs.defaultFS", "hdfs://hdfs
浏览 1提问于2015-12-04得票数 0
回答已采纳
1回答
我正在尝试使用Scala中的Xml load来解析Xml文件。但是这个程序不能从HDFS读取输入数据。它只能从本地文件系统读取。
有人可以帮助我如何从HDFS读取输入数据。
我试过下面的程序：
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import scala.collection.mutable.WrappedArray
import scala.collection.immutable.HashMap
import scala.collection.immutable.HashMap
imp
浏览 12提问于2017-03-16得票数 0
1回答
我是Scala的新手。如何使用Scala (不使用Spark)从HDFS读取文件？当我在谷歌上搜索它时，我只找到了写入HDFS的选项。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.PrintWriter;
/**
* @author ${user.name}
*/
object App {
//def foo(x : Array[String]) = x.foldLef
浏览 4提问于2017-01-11得票数 11
使用scala，我想将srcFilePath中的所有文件复制到destFilePath，但是下面的代码抛出错误，有人可以帮助我修复这个错误和复制文件的解决方案吗
scala> val srcFilePath = "/development/staging/b8baf3f4-abce-11eb-8592-0242ac110032/"
srcFilePath: String = /development/staging/b8baf3f4-abce-11eb-8592-0242ac110032/
scala> val destFilePath = "/de
浏览 0提问于2021-05-07得票数 0
1回答
我是新的星火/scala，需要从hdfs加载一个文件来启动。我在hdfs (/newhdfs/abc.txt)中有一个文件，我可以通过使用hdfs dfs -cat /newhdfs/abc.txt查看我的文件内容
我这样做是为了将文件加载到星火上下文中。
spark-shell #It entered into scala console window
scala> import org.apache.spark._; //Line 1
scala> val conf=new SparkConf().setMaster("local[*]");
scala>
浏览 3提问于2016-09-30得票数 2
回答已采纳
2回答
我已经构建了一个使用Apache的推荐系统，它的数据集存储在我的项目文件夹中，现在我需要从HDFS访问这些文件。
如何使用Spark从HDFS读取文件？
我就是这样初始化我的星火会话的：
SparkContext context = new SparkContext(new SparkConf().setAppName("spark-ml").setMaster("local")
.set("fs.default.name", "hdfs://localhost:54310").set("f
浏览 0提问于2019-06-15得票数 2
回答已采纳
我正在尝试使用火花流将数据从一个HDFS位置读取到另一个HDFS位置 下面是我在spark-shell上的代码片段 但是我看不到在HDFS输出目录上创建的文件，您能否指出如何在HDFS上加载这些文件 scala> sc.stop()
scala> import org.apache.spark.SparkConf
scala> import org.apache.spark.streaming
scala> import org.apache.spark.streaming.{StreamingContext,Seconds}
scala&
浏览 12提问于2018-12-21得票数 1
回答已采纳
我在用scala。
我想过滤最新的文件夹，只读取最新的和它中的所有文件从hdfs dir。
现在看起来就像
val read_csv =
spark
.read
.format("csv")
.load( "hdfs://device/signs/load=16»)
在文件夹signs中，很少有加载的文件夹(load=10、load=13、load=14、load=16)，我只想得到最大值。
浏览 2提问于2022-10-24得票数 1
回答已采纳
我使用typesafe ConfigFactory将配置加载到我的scala应用程序中。我不想将配置文件包含到我的jar中，而是从外部hdfs文件系统加载它们。但是，我找不到从hadoop获得的fsDataInputStream对象加载配置的简单方法：
//get HDFS file
val hadoopConfig: Configuration = sc.hadoopConfiguration
val fs: FileSystem = org.apache.hadoop.fs.FileSystem.get(hadoopConfig)
val file: FSDataInputStream =
浏览 4提问于2016-06-30得票数 4
回答已采纳
设想情况：
在HDFS上有1000 s的大量二进制文件。
有一个def decode(String localFilePath): Array[MyCustomType]，它可以根据文件的本地路径解码它的记录数组。
我如何使用Scala并行加载这些文件并获得一个RDD[MyCustomType]？
PS。decode是一个节约解码器，它获取本地文件名，将节约文件作为记录数组加载到内存中。
我认为这里缺少的谜题是将文件从HDFS下载到一个节点，并将本地名称传递给decode。
浏览 3提问于2018-02-14得票数 0
回答已采纳
我的目标是从HD Insight实例的火花外壳中访问位于创建集群的存储帐户中的容器中的blobs。
以下是我所采取的步骤：
在容器maincontainer.上创建HD集群
在同一个存储帐户上创建另一个容器：extracontainer.
在extracontainer：中创建一个名为person.json的文件。
打开了一个火花壳会话。
然后执行以下代码：
scala> import org.apache.hadoop.fs._
scala> val conf = sc.hadoopConfiguration
conf: org.apache.hadoo
浏览 2提问于2017-02-27得票数 2
我使用的企业集群同时具有本地和HDFS文件系统。我需要处理的文件是netcdf格式的，因此我使用SciSpark加载。在没有HDFS的工作站上，代码从本地文件夹读取。但是，如果存在HDFS文件夹，它将尝试仅从HDFS读取。由于文件夹中的文件很大(累积到数百GB到to )，我不得不将它们复制到HDFS，这是低效和不方便的。我用来加载文件的(Scala)代码如下所示： val ncFilesRDD = sc.netcdfDFSFiles(ncDirectoryPath, List("x1", "x2", "x3"))
val ncFileCRDAr
浏览 23提问于2020-10-13得票数 1
回答已采纳
我是个新手，在ubuntu 18.0上学习spark和java，没有显式的集群。我将data.csv文件保存在本地文件系统的java/main/resources文件夹中。 在执行下面的代码时， SparkSession sparkSession = SparkSession.builder()
.appName("sparksql").master("local[*]")
.getOrCreate();
Dataset<Row> dataset = sparkSession.read()
浏览 6提问于2020-11-23得票数 2
我是Scala和HDFS的新手：
我只是想知道我能够从Scala代码中读取本地文件，但是如何从HDFS读取：
import scala.io.source
object ReadLine {
def main(args:Array[String]) {
if (args.length>0) {
for (line <- Source.fromLine(args(0)).getLine())
println(line)
}
}
在争论中，我已经通过了hdfs://localhost:9000/usr/local/log_da
浏览 1提问于2017-07-23得票数 3
假设我正在使用spark(scala)从HDFS读取一个文件。HDFS块大小为64 MB。
假设HDFS文件的大小为130 MB。
我想知道在基RDD中创建了多少分区。
scala> val distFile = sc.textFile("hdfs://user/cloudera/data.txt")
不是真的吗。分区是根据块大小决定的吗？
在上述情况下，编号。分区数是3？
浏览 1提问于2016-05-10得票数 1
回答已采纳
我知道我可以像这样读取Scala中的本地文件：
import scala.io.Source
val filename = "laba01/ml-100k/u.data"
for(line <- Source.fromFile(filename).getLines){
println(line)
}
这个代码字很好，并打印出文本文件中的行。我用Apache Toree在JupyterHub中运行它。
我知道我可以在这个服务器上读取HDFS，因为当我在另一个单元格中运行下一段代码时：
import sys.process._
"hdfs dfs -ls
浏览 22提问于2020-05-30得票数 1
1回答
我安装了hadoop 2.7，在core-site.xml和hdfs-site.xml中设置了路径和配置，如下所示：
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://<ip_addr>:9000/</value>
</property>
<property>
<name>dfs.data.dir</name>
浏览 3提问于2017-02-14得票数 0
我正在开发一个Scala-Spark程序，它需要从HDFS上的目录中获取最新创建的文件(每天在目录中创建一个文件)，并读取其中的数据进行进一步处理。从我的研究中，我发现了下面的代码，可以使用Scala获取两天前的文件：
import java.nio.file._
import java.time._
import java.time.temporal.ChronoUnit.DAYS
val isMoreThan2DaysOld = Files.getLastModifiedTime(path).toInstant.plus(2, DAYS) isBefore Instant.now
但此代码
浏览 0提问于2017-11-27得票数 1
1回答
我想用pyspark从HDFS读取一个文件。守则如下：
import numpy as np
import pandas as pd
from pyspark.sql import SparkSession
import json
import sys
import io
import os
os.environ["HADOOP_USER_NAME"] = "hdfs"
spark = SparkSession.builder.master("local") \
.appName('PySpar
浏览 14提问于2022-05-04得票数 0
我已经创建了一个Spark上下文对象，并尝试从hadoop服务器(不在本地)上的文本文件中检索文本，并且我能够检索到它。
当我尝试检索配置单元表(在独立的机器上，集群)时，我无法这样做，而当我创建一个配置单元表时，它是在metastore_db中本地创建的
ObjHiveContext.sql(“创建存储为orc的表yahoo_orc_table (date STRING，open_price FLOAT，high_price FLOAT，low_price FLOAT，close_price FLOAT，volume INT，adj_price FLOAT)”)
我试着设置转移点
objHi
浏览 0提问于2015-12-18得票数 0
1回答
我在工作时使用AWS电子病历。如果启动星火外壳，我可以运行scala命令，但不能在本地文件中读取。
例如：
scala> val citi = spark.read.textFile("CitiGroup2006")
org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://ip-10-99-99-99.ec2.internal:8020/user/hadoop/CitiGroup2006;
我试着输入文件的完整路径，但是我得到了同样的错误。该文件位于我启动星火外壳的同一个目录中。但是，它确实可
浏览 1提问于2020-01-09得票数 0
回答已采纳
我有一个Scala列表: fileNames，它包含本地目录中的文件名。例如：
fileNames(2)
res0: String = file:///tmp/audits/xx_user.log
我正在尝试使用Scala从列表中移出一个文件: fileNames，从本地文件移到HDFS。为了做到这一点，我遵循了以下步骤：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache
浏览 1提问于2017-12-20得票数 0
回答已采纳
1回答
我从spark-nlp GitGub 下载了一个包含预先训练好的NerCRFModel的.zip文件。zip包含三个文件夹: embeddings、fields和metadata。
如何将其加载到Scala NerCrfModel中以便使用？我是否必须将其放入HDFS或启动Spark Shell的主机？我如何引用它？
浏览 2提问于2018-08-29得票数 3
2回答
我是scala的新手，我正在尝试实现一个代码，首先读取文件夹中的文件列表，然后在HDFS中加载每个CSV文件。
到目前为止，我正在使用for循环遍历所有CSV文件，但我希望使用多线程来实现这一点，以便每个线程负责每个文件，并对各自的文件执行端到端处理。
我目前的实现是：
val fileArray: Array[File] = new java.io.File(source).listFiles.filter(_.getName.endsWith(".csv"))
for(file<-fileArray){
// reading csv file from s
浏览 6提问于2017-07-13得票数 0
我在VM中运行了hortonworks沙箱。我已经完成了所有hivesite.xml配置，并将其放置在Spark/conf文件中。
我可以使用HBase访问PySpark并创建/更新表，但是当我在scala中执行相同的实现时，会出现以下错误：
失败:执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。MetaException(message:file:/user/hive/warehouse/src不是目录，也不能创建目录)
我也更改了对“蜂窝/仓库”文件夹的权限，但它仍然给了我同样的错误。
[root@sandbox ~]# sudo
浏览 2提问于2015-02-02得票数 2
3回答
我在spark job中使用json scala库来解析本地驱动器中的json：
val requestJson=JSON.parseFull(Source.fromFile("c:/data/request.json").mkString)
val mainJson=requestJson.get.asInstanceOf[Map[String,Any]].get("Request").get.asInstanceOf[Map[String,Any]]
val currency=mainJson.get("currency").
浏览 0提问于2017-01-04得票数 4
回答已采纳
2回答
我有一个XML字符串，它需要保存到HDFS位置。
<transportation-carrier>
<SCAC>LKSKS</SCAC>
<name>JACKSONVILLE Name</name>
<billing-road-number>139</billing-road-number>
<effective-date>2017-03-08</effective-date>
<expiration-date>2017-03-07</expiration-date&g
浏览 0提问于2019-04-18得票数 0
回答已采纳
创建可用于读写HDFS的FileSystem对象的正确方法是什么？在我发现的一些例子中，它们是这样做的：
final Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml"));
conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));
final FileSystem fs = FileSystem.g
浏览 0提问于2014-10-24得票数 1
回答已采纳
1回答
我正在尝试将数据从hdfs移动到mongodb。我可以通过下面的命令行来实现这一点。
hadoop fs -text "/user/name.txt" | mongoimport --host 127.0.0.1:27018 -d cds -c hello --type tsv --headerline
为此，我需要编写一个scala代码。我在文件系统中有多个文件。我已经检查了mongo-hadoop连接器，但我需要与之相反的东西。从hdfs读取文件并转储到scala中的mongodb。
浏览 0提问于2017-10-16得票数 0
2回答
我试图用spark和加载geojson文件，我的加载代码是：
val polygons = spark.read.format("magellan").option("type", "geojson").load(inJson)
其中inJson是s3: s3n://bucket-name/geojsons/file.json上的json路径
堆栈跟踪错误：
0.3在第0.0阶段(TID 3，ip-172-31-19-102 19 west-1 Compute.Institutor 1)：java.lang.IllegalArgumentExc
浏览 0提问于2017-06-07得票数 0
回答已采纳
2回答
我在上面安装了Hadoop完全分布式集群和Apache。我正在从Java代码中将数据加载到单元表中。hdfs-site.xml中的复制因子是2，当我从hadoop fs -put将文件复制到HDFS时，显示该文件被复制了两次。但是加载到单元表中的文件显示为有3个副本。
是否为已加载的进程文件设置任何不同的复制参数？
浏览 3提问于2015-07-28得票数 0
回答已采纳
1回答
我在HDFS中有一个包含各种其他文件路径的文件。下面是名为file1的文件：
path/of/HDFS/fileA
path/of/HDFS/fileB
path/of/HDFS/fileC
.
.
.
我在Spark中使用了一个for循环，如下所示来读取上面文件的每一行并在另一个函数中处理它：
val lines=Source.fromFile("path/to/file1.txt").getLines.toList
for(i<-lines){
i.toString()
val firstLines=sc.hadoopFile(i,classOf[TextInput
浏览 1提问于2017-11-08得票数 0
回答已采纳
我遇到了在本地CSV文件中加载SBT的问题。基本上，我已经用Scala Eclipse编写了一个Spark程序，它读取以下文件：
val searches = sc.textFile("hdfs:///data/searches")
这在hdfs上工作得很好，但出于调试原因，我希望从本地目录加载此文件，我已将其设置为项目目录中。
因此，我尝试了以下几点：
val searches = sc.textFile("file:///data/searches")
val searches = sc.textFile("./data/searches")
浏览 0提问于2015-03-16得票数 5
回答已采纳
我对Scala很陌生，我使用Scala和Akka开发了一个RESTful API，需要从包含以下部分的XML文件中读取绑定配置。
<appconfig>
<bindproperties>
<host>localhost</host>
<port value="7777"/>
</bindproperties>
</appconfig>
如果该文件存在并加载，我希望首先从磁盘中验证和读取该文件。如果它不存在，那么我希望从默认资源路径加载。目前，我的工作如下：
val
浏览 6提问于2014-08-13得票数 0
1回答
从拉链到带火花的seq
、、、、
我收到一个压缩档案"2018-06-26.zip“，每天与大小约。250 Mb压缩，包含165-170.000个小型XML文件(Kb)。我将zip存档加载到HDFS中(避免了小文件问题)，并使用SPARK从zip中提取它们(zip的文件不是可拆分的)，生成成对的RDD，文件名为键，内容为值，并通过配对的RDD将它们保存为序列文件。为了测试目的，每件事都运行顺利，只有3个XML文件，但是当我给它喂食时，我得到了一个大的压缩文件。
java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.Arrays
浏览 0提问于2018-09-10得票数 0
回答已采纳
我在DCOS集群上以集群/rest模式运行一个spark-submit：
$ ./spark-submit --deploy-mode cluster --master mesos://localhost:7077 --conf spark.master.rest.enabled=true --conf spark.mesos.uris=http://api.hdfs.marathon.l4lb.thisdcos.directory/v1/endpoints/hdfs-site.xml,http://api.hdfs.marathon.l4lb.thisdcos.directory/v1/e
浏览 1提问于2018-11-14得票数 0
我有一个带有SBT的自包含应用程序，我希望从HDFS加载我的数据，我使用了以下命令：
val loadfiles1 = sc.textFile("hdfs:///tmp/MySimpleProject/file1.dat")
但这是一个错误--它是这样的：
[error] (run-main-0) java.io.IOException: Incomplete HDFS URI, no host: hdfs:/tmp/MyProjectSpark/file1.dat
java.io.IOException: Incomplete HDFS URI, no host: hdfs:
浏览 0提问于2016-12-23得票数 1
回答已采纳
14回答
我想在spark中读取CSV，并将它转换为DataFrame，然后用df.registerTempTable("table_name")存储在HDFS中。
我试过：
scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv")
我发现的错误：
java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 4
浏览 33提问于2015-04-17得票数 164
回答已采纳
3回答
如何对RDD进行分区
、、、、
我有一个文本文件，由大量由空格分隔的随机浮点值组成。我正在将这个文件加载到scala中的RDD中。这个RDD是如何分区的？
此外，有没有什么方法可以生成自定义分区，使所有分区都具有相同数量的元素以及每个分区的索引？
val dRDD = sc.textFile("hdfs://master:54310/Data/input*")
keyval=dRDD.map(x =>process(x.trim().split(' ').map(_.toDouble),query_norm,m,r))
在这里，我从HDFS加载多个文本文件，process是我调用的函数。
浏览 0提问于2014-07-10得票数 2
1回答
我在本地windows ( HDFS ://localhost:54310)路径/tmp/home/下存储了一个CSV文件。我想从HDFS加载这个文件来触发Dataframe。所以我尝试了
val spark = SparkSession.builder.master(masterName).appName(appName).getOrCreate()
然后
val path = "hdfs://localhost:54310/tmp/home/mycsv.csv"
import sparkSession.implicits._
spark.sqlContext.read
浏览 2提问于2016-07-31得票数 2
回答已采纳
1回答
如何在systemML DSL中从HDFS加载csv文件？
我试过这样的方法：
X = read("hdfs://ip-XXX-XXX-XXX-XXX:9000/SystemML/data/NN_X_100_10.csv");
我检查了文件实际上位于这个HDFS位置。
当我运行dsl时：
$SPARK_HOME/bin/spark-submit ~/Nearest_Neighbour_Search/SystemML/systemml-0.14.0-incubating.jar -f ~/Nearest_Neighbour_Search/SystemML/Task03_NN_S
浏览 2提问于2017-08-23得票数 1
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。
群集是secured using Kerberos身份验证，因此它没有连接到Hbase数据库。
每次我们创建jar文件并在集群中运行时。但是这对于开发和调试并没有用。
如何在类路径中设置hbase-site.xml？
我下载了*site.xml文件，尝试将hbase-site.xml, core-site.xml and hdfs-site.xml作为source文件夹添加，并尝试从项目构建路径中将该文件添加为外部类文件夹，但没有任何工作。我该怎么做呢？
我们是否可以在hbase-site.xml中设置sqlContext，因为
浏览 4提问于2016-11-18得票数 0
我在资源文件夹中需要读取/写入HDFS的所有4个文件，创建hdfs对象的方法如下所示。
public static FileSystem getHdfsOnPrem(String coreSiteXml, String hdfsSiteXml, String krb5confLoc, String keyTabLoc){
// Setup the configuration object.
try {
Configuration config = new Configuration();
config.addRe
浏览 22提问于2022-04-03得票数 0
1回答
我试图了解工作程序和非工作程序的上下文，该程序通过HDFS集群外的名称服务(连接活动名称节点-高可用性Namenode)连接HDFS。
非工作计划：
当我同时读取配置文件(core-site.xml和hdfs-site.xml)并访问HDFS文件时，它会引发一个错误。
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}
object HadoopAccess {
def main(args: Array[String]): Unit ={
v
浏览 20提问于2022-03-04得票数 0
回答已采纳
2回答
在异常堆栈跟踪中，我可以看到我的hadoop配置是从/etc/hadoop/conf.empty/hdfs-site.xml加载的
如何将其更改为/etc/hadoop/conf/hdfs-site.xml？
浏览 1提问于2014-05-09得票数 1
1回答
星火是返回垃圾/十进制字段的值时，查询一个外部蜂巢表在星火代码中使用星火SQL。
在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。
场景步骤:这是一个简单的演示，再现了问题：
Write to Parquet:我将数据写入HDFS中的parquet文件，Spark本身假设十进制字段的精度为Decimal(28,26)。
scala> val =spark.sql(“选择'dummy‘作为名称，10.7000000000000000000000作为值”) df: org.
浏览 7提问于2020-10-07得票数 0
回答已采纳
我试图获取Scala中HDFS目录中文件的大小。我可以在REPL中执行以下操作：
Seq("/usr/bin/hdfs", "dfs", "-du", "-s", "/tmp/test").!
但我不能将结果存储到值中。如何获得Scala目录中文件的大小？
浏览 3提问于2017-01-10得票数 0
回答已采纳
1回答
我已经建立了一个头节点簇，我成功地将一个jupyter笔记本与它集成。()
我也成功地运行了pyspark.I，为此我引用了这个
现在，在运行以下命令时，我希望通过jupyter notebook.But访问头节点中的hdfs文件，该命令从hdfs获取数据。
df = sqlContext.read.json('hdfs:///192.168.21.110/user/hdfs/ML/pass/Teleram_18/notefind/2018-12-14/')
我得到以下错误
An error occurred while calling o29.json.
: java.io.
浏览 1提问于2019-01-21得票数 0
我已经成功地运行了Hue Oozie工作流编辑器(在Cloudera5.5.1 QuickStart VM中)中提供的示例Spark工作流(“通过启动Spark程序复制文件”)。
我现在尝试使用oozie命令行工具手动运行它：
oozie job -oozie http://localhost:11000/oozie -config job.properties -run
工作流XML基本不变--我已将其复制到HDFS，并具有以下job.properties
nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.ap
浏览 4提问于2016-05-24得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
