我使用如下代码成功地将我的序列文件加载到DataFrame中：val sqlContext = new org.apache.spark.sql.SQLContext(sc)val jsonRecs = file.map((record: (String, String)) =>但问题是textFile()返回一个RDDString，而不是像sequenceFile(
浏览 1提问于2017-11-30得票数 0
我尝试使用textFile方法从spark-shell中使用WEB，但出现错误。也许这不是正确的方式。所以谁能告诉我如何从火花上下文访问web URL。我使用的是spark版本1.3.0；Scala版本2.10.4和Java 1.7.0_21hduser@ubuntu:~$ spark-shell
Spark assembly has beenscala> val pagecount = sc.textFile( &quo
浏览 0提问于2015-04-20得票数 9
回答已采纳
当在spark-shell中工作时，我经常想检查RDDs (类似于在unix中使用head )。例如：scala> // how to inspect the readmeFilescala> val linesContainingSpark = readmeFile.filter(line
浏览 1提问于2015-06-29得票数 7
回答已采纳
我正在尝试使用Apache Spark (使用Scala)中的一大堆肯定和否定词对一些评论数据进行情感分析。我是Scala的新手，所以需要一些帮助。程序如下所示：val neg_words = sc.textFile("D:/
浏览 1提问于2015-12-18得票数 0
我有以下语法val s = Seq(data)我得到的结果如下：
par: org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDDString问题3
RDD转换和操作不是
浏览 4提问于2016-12-27得票数 1
回答已采纳
我读过文件：val textFile2 = sc.textFile("file2.txt")valzipped = textFile1 zip textFile2
星火是否保证线路按顺序拉链，如l1_1与l2_1，l1_2与l2_2等？
浏览 5提问于2015-08-05得票数 0
回答已采纳
1回答
(SequenceFileOutputFormat.java：63)在org.apache.spark.SparkHadoopWriter.open(SparkHadoopWriter.scala:90) at org.apache.spark.rdd.PairRDDFunctions$$anonfun$13.apply(PairRDDFunctions.scala:1068) at org.apache.spark.rdd.PairRDDFunctions$$anonfun$13.apply(PairR
浏览 3提问于2015-09-21得票数 1
回答已采纳
我看到了两个类似的帖子：
at org.apache.spark.rdd.PairRDDFunctions(ResultTask.scala:70)
at org.apache.spark.scheduler.Task.run(Task.scala<
浏览 6提问于2017-05-26得票数 1
spark.table("table_name") at org.apache.hadoop.io.SequenceFile<init>(SequenceFile.java:1872)
浏览 5提问于2021-02-14得票数 1
回答已采纳
1回答
我是Spark的新手，尝试读取序列文件并将其用于分类问题。下面是我读取序列文件的方法
val tfidf = sc.sequenceFile("/user/hadoop/strainingtesting/tfidf-vectors", classOf[Text
浏览 1提问于2015-07-31得票数 0
我正在使用PySpark (Spark1.6)并试图实现两件事：
数据路径包含一个yyyy/mm/dd/hh格式的时间戳，我想将它带入数据本身。
浏览 2提问于2016-10-19得票数 2
回答已采纳
2回答
但是如何配置它，使其使用本地SDD (在/mnt下挂载为SDB1 )和用于内存中的内容的Alluxio？我知道开关--conf spark.memory.offHeap.size=10G \
我在询问通过一组操作生成的数据集
浏览 1提问于2019-07-23得票数 2
当我使用"++“来组合大量的RDDs时，我得到的是错误堆栈，而不是流错误。RDDs的数量超过4000。val collection = (for () yield sc.textFile(path)).reduce(_ union _)
当files的尺寸很小时，它可以很好地工作Exception at org.apache.spark.rdd.RDD.partitions(RDD.scala:2
浏览 6提问于2015-05-29得票数 15
回答已采纳
1回答
我使用Scala2.11.8和Spark2.0.1来运行我的代码。在这一行代码中：import org.apache.spark.SparkContext
val sc = new SparkContext(conf)
val data =
浏览 2提问于2016-12-19得票数 0
回答已采纳
通过保持Zx (其中x可以是任意整数)并丢弃冒号和所有跟随(:A )的内容。val example1 = sc.textFile("/Users/....../Spark_stack/example_1.csv")scala> counts(1)._1.indexOfSlice(":&q
浏览 11提问于2017-04-11得票数 0
回答已采纳
at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:1192) at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java$$anonfun$saveAsNewAPIHad
浏览 2提问于2017-04-06得票数 1
回答已采纳
我试图从我的hdfs中读取文件内容，因为我使用的是Source.fromFile().。当我的文件在本地系统中时，它可以正常工作，但是当我试图从HDFS读取文件时，它会抛出错误。 def main(args:Array[String]) { println(line) }错误：
java.io.FileNotFoun
浏览 7提问于2016-08-19得票数 3
回答已采纳
我正在尝试使用Spark将普通文本文件加载到配置单元表格中。我使用的是Spark版本2.0.2。我已经在Spark version: 1.6.0中成功地做到了这一点，我正在尝试在version 2x中做同样的事情，我执行了以下步骤：
import org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().appName("SparkHiveLoad").master("local"
浏览 62提问于2017-07-03得票数 0
1回答
我对火花和scala都比较陌生。我试图在spark上使用scala实现协作过滤。下面是代码import org.apache.spark.mllib.recommendation.Ratingval data = sc.textFile("/user/amohammed/CB/input-cb.txt")
va
浏览 0提问于2014-07-09得票数 3
回答已采纳
我正在寻找如何在不使用sc.textFile的情况下向foreach传递路径列表(在scala中)。例子：有没有办法：
var data = sc.textFile(myList)
浏览 2提问于2017-04-24得票数 1
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号