如何让RDD[List[String]]进行字符串和拆分
RDD[ListString]是指一个分布式数据集，其中每个元素都是一个包含多个字符串的列表。要对RDD[ListString]进行字符串拆分，可以使用flatMap操作。
flatMap操作是一种转换操作，它将输入RDD的每个元素应用于一个函数，并将结果展平为一个新的RDD。在这种情况下，我们可以编写一个函数，将每个字符串拆分为单词，并返回一个包含所有单词的列表。然后，将该函数应用于RDD[ListString]，以获得一个包含所有单词的新RDD。
下面是一个示例代码：
val rdd: RDD[List[String]] = ... // 输入的RDD[List[String]]
val result: RDD[String] = rdd.flatMap(list => list.flatMap(_.split(" ")))
result.foreach(println)在上述代码中，我们首先定义了一个输入RDD[ListString]，然后使用flatMap操作将每个字符串拆分为单词，并将结果展平为一个新的RDDString。最后，我们使用foreach操作打印出新RDD中的每个单词。
这种方法适用于对RDD[ListString]中的每个字符串进行拆分，并将结果作为一个扁平化的RDDString进行处理。如果需要对每个字符串进行其他操作，可以根据具体需求修改flatMap函数的实现。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（移动推送、移动分析、移动测试等）：https://cloud.tencent.com/product/mobile
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云虚拟专用网络（VPC）：https://cloud.tencent.com/product/vpc
- 腾讯云安全产品（云防火墙、DDoS 高防等）：https://cloud.tencent.com/product/safety
- 腾讯云音视频服务（VOD、直播、短视频等）：https://cloud.tencent.com/product/vod
相关·内容
如何解析嵌套列表中的JSON字符串以激发pyspark中的数据帧？
输入数据框架：
+-------------+-----------------------------------------------+
|url |json |
+-------------+-----------------------------------------------+
|https://url.a|[[1572393600000, 1.000],[1572480000000, 1.007]]|
|h
浏览 1提问于2021-02-08得票数 2
回答已采纳
1回答
看看这个片段*
val la = List(Array(2, 3, 5), Array(7, 11, 13))
la.flatten
返回
res1: List[Int] = List(2, 3, 5, 7, 11, 13)
现在，我一直在玩星火，我偶然发现了一个问题。片段：
val myRdd: RDD[String] = sc.textFile("myFilePath", 10) map (_.split("\n"))
不编译，因为右侧表达式为RDD[Array[String]]类型。
就像在*中，我认为扁平化会起作用：
val myRdd: RDD[Str
浏览 2提问于2017-04-10得票数 2
回答已采纳
我在齐柏林飞艇中有一个问题，当我试图在我创建的(数据帧)临时表上执行SQL操作时，我总是得到一个IndexOutOfBounds错误。
下面是我的代码：
import org.apache.commons.io.IOUtils
import java.net.URL
import java.nio.charset.Charset
import org.apache.spark.sql.SparkSession
//import sqlContext._
val realdata = sc.textFile("/root/application.txt")
case clas
浏览 16提问于2017-07-19得票数 0
我在shell中有下面的clss。
class StringSplit(val query:String)
{
def getStrSplit(rdd:RDD[String]):RDD[String]={
rdd.map(x=>x.split(query))
}
}
我试图调用这个类中的方法，例如
val inputRDD=sc.parallelize(List("one","two","three"))
val strSplit=new StringSplit(",")
strSplit.getStrSplit(inp
浏览 1提问于2015-08-26得票数 1
回答已采纳
我有一个巨大的数据，我把它加载到rdd中，我想按类别来表示数据，所以我转换了rdd：
[String] to rdd1:[(String,List[String])]
val dataRdd = sc.textFile(path)
val rdd1[(String,List[String])] = dataRdd.map(....)
我知道我们不能创建嵌套的rdd，所以我可以将rdd1拆分成kmeans的multirdd吗？
这是数据文件，我想按类别(A，B，C)分类
浏览 1提问于2016-11-03得票数 0
我有一个文件，每一行都是这样
info1,info2
info3,info4
...
扫描完后，我想运行k均值算法：
val rawData = sc.textFile(myFile)
val converted = convertToVector(rawData)
val kmeans = new KMeans()
kmeans.setK(10)
kmeans.setRuns(10)
kmeans.setEpsilon(1.0e-6)
val model = kmeans.run(rawData) -> problem: k-means accepts on
浏览 1提问于2015-07-16得票数 4
回答已采纳
在下面的代码中，有一个PairFunction，它将数组列表拆分为键和值。
private static PairFunction<String,String,Integer> getNameAndAgePair() {
return (PairFunction<String,String,Integer>) s ->
new Tuple2<>(
s.split(" ")[0],
Integer.valueOf(s.split(" ")[1]));
}
有人能解释一下这到底是怎么回事
浏览 1提问于2020-06-12得票数 1
1回答
我正在用星火scala读取一个分隔的文本文件。我正在尝试为分隔符~之前的所有内容以及之后的所有内容创建一个regex修剪。目前，我有它的所有空格被修剪。我正在寻找关于如何完成这一或改进的任何建议。也许某种修剪功能会更简单一些。
def truncateRDD(fileName : String): RDD[String] = {
val rdd = sc.textFile(fileName)
rdd.map(lines => lines.replaceAll("""[\t\p{Zs}]+""", ""))
浏览 3提问于2017-02-01得票数 0
回答已采纳
我想将流数据插入到hbase中；这是我的代码：
val tableName = "streamingz"
val conf = HBaseConfiguration.create()
conf.addResource(new Path("file:///opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/etc/hbase/conf.dist/hbase-site.xml"))
conf.set(TableInputFormat.INPUT_TABLE, tableName)
val admin = new HBase
浏览 0提问于2017-04-20得票数 0
假设我试图删除这个正则表达式“RT\s*@USER\w{8}：\s*”，并且我希望在我的RDD中删除这种形式的正则表达式。
我目前的RDD是：
text = sc.textFile(...)
delimited = text.map(lambda x: x.split("\t"))
这是我试图移除正则表达式的部分。我试着按照RDD转换来处理与这个正则表达式匹配的每个字符串，但这都给了我一个错误。
abc = delimited.map(lambda x: re.sub(r"RT\s*@USER\w\w{8}:\s*", " ", x))
Type
浏览 0提问于2017-10-28得票数 0
回答已采纳
1回答
我试图在map()中使用filter()，但是我得到了这个火花异常：
RDD转换和操作只能由驱动程序调用，而不能在其他转换中调用；例如，rdd1.map(x => rdd2.values.count() * x)无效，因为值转换和计数操作不能在rdd1.map转换中执行。有关更多信息，请参见火花-5063。
我知道spark不允许嵌套转换/操作/ RDD，所以任何人都可以建议我如何交替执行(没有嵌套转换或操作)，我有一个RDD，它的元组如下：
JavaRDD< String[]> RDD
我试图映射它，给它一个列表作为参数，这个列表包含javaPairRDDs如下：
浏览 3提问于2016-07-30得票数 2
2回答
我想和RDD结合：
val u1 = sc.parallelize(List ( ("a" , (1,2)) , ("b" , (1,2))))
val u2 = sc.parallelize(List ( ("a" , ("3")) , ("b" , (2))))
我收到错误：
scala> u1 union u2
<console>:17: error: type mismatch;
found : org.apache.spark.rdd.RDD[(String, Any)]
re
浏览 5提问于2014-06-23得票数 2
回答已采纳
1回答
我正在使用Spark Scala和Play框架，我有一个这样的seq
//a sequence of Book objects
val books:[Seq[Book]]
我用json文件中的format方法填充：
implicit val bookFormat: Format[Libri] = {
((JsPath \ "City").format[String] and
(JsPath \ "GEN").format[Int] and
(JsPath \ "SER").format[Int]
) (Lib
浏览 0提问于2016-10-19得票数 3
我在python3.7中有一个小脚本(参见相关问题)，它可以从网站()中抓取链接并将它们保存在列表中。不幸的是，他们只是部分，我不得不修剪他们使用他们作为链接。
这是脚本的相关部分：
list_of_links = [] # will hold the scraped links
tld = 'http://digesto.asamblea.gob.ni'
current_url = driver.current_url # for any links not starting with /
table_id = driver.find_element(By.ID,
浏览 0提问于2019-01-12得票数 3
回答已采纳
我在霍顿沙箱上运行pyspark代码
18/08/11 17:02:22 INFO spark.SparkContext: spark.SparkContext 1.6.3
# code
from pyspark.sql import *
from pyspark.sql.types import *
rdd1 = sc.textFile ("/user/maria_dev/spark_data/products.csv")
rdd2 = rdd1.map( lambda x : x.split("," ) )
df1 = sqlContext.createD
浏览 1提问于2018-09-09得票数 0
我有一个带有键和值的非结构化RDD。值为RDDAny，键当前为String、RDDString，主要包含映射。我想让他们的类型行，以便我可以做一个数据，最终。这是我的rdd：
删除
除了最后4个键之外，大多数rdd都遵循一个模式，这应该如何处理？也许把它们分割成他们自己的rdd，特别是对于reverseDeltas？
谢谢
编辑
这就是我到目前为止所累的，基于下面的第一个答案。
case class MyData(`type`: List[String], libVersion: Double, id: BigInt)
object MyDataBuilder{
def apply(
浏览 3提问于2017-09-29得票数 1
如何通过读取rdd从输入文件中获取以下输出。
rdd包含：
key1, val1
key1, val2
key2, val1
key2, val2
key2, val3
输出为Map[String, List[String]]
Map[String,List[String]] = Map(key1-> List(val1, val2), key2 -> List(val1,val2,val3))
我是通过阅读df来完成的，但是如何直接在rdd上完成呢？
val abc: Map[String, List[String]] = data.rdd
.map(row =>
浏览 0提问于2018-06-19得票数 0
回答已采纳
我有一个键/值RDD，我想要“迭代”其中的实体，Key/Value，并创建或映射到另一个RDD，该RDD可能或多或少有第一个RDD的条目。
示例：
我在accumulo有记录，这些记录代表了绘画中对颜色的观察。观察实体/对象保存绘画名称和绘画中的颜色的数据。
Observation
public String getPaintingName() {return paintingName;}
public List<String> getObservedColors() {return colorList}
我将accumulo的观察作为一个RDD从我的代码中提取。
val obse
浏览 0提问于2017-05-01得票数 0
回答已采纳
1回答
对于不熟悉的人来说，另一个问题是：
出现相同但不相同的两个RDD。详情如下：
val rdd0 = sc.parallelize( List("a", "b", "c", "d", "e"))
val rdd1 = rdd0.map(x => (x, 110 - x.toCharArray()(0).toByte ))
val rdd2 = sc.parallelize( List(("c", 2), ("d, 2)", ("e", 2), ("f
浏览 9提问于2017-08-10得票数 0
回答已采纳
当使用字符串、特殊字符和分隔符时，什么是好的选择？
例如
string name = "test, test";
string result = name + @"test, test";
List<string> list = new List<string>();
让我说，我希望这个字符串分裂成列表中的每一项。在本例中，“名称是项”，“test，test”是项。
所以我可以做这样的事：
String.split(list.ToArray(), ',');
我将使用逗号作为分隔符，但这两个项目都已经包含了它们。
其结果应
浏览 3提问于2020-01-16得票数 1
回答已采纳
创建了具有以下方案的数据集 org.apache.spark.sql.Dataset[Records] = [value: string, RowNo: int] 这里的value字段是固定长度的位置，我想将它转换为单独的列，并使用自定义函数添加RowNo作为最后一列。 def ReadFixWidthFileWithRDD(SrcFileType:String, rdd: org.apache.spark.rdd.RDD[(String, String)], inputFileLength: Int = 6): DataFrame = {
val postapendSchemaR
浏览 13提问于2021-06-25得票数 0
回答已采纳
1回答
我有一个名为“all_tweets”的sql，它只有一个列文本。
all_tweets.show(5)
+--------------------+
| text|
+--------------------+
|@always_nidhi @Yo...|
|@OnlyDancers Bell...|
|Taste of Iceland!...|
|Serasi ade haha @...|
|@BeezyDH_ it's li...|
+--------------------+
only showing top 5 rows
现在，我将此数据some
浏览 4提问于2016-03-30得票数 0
回答已采纳
3回答
我刚开始在斯派克和斯卡拉
我有一个包含多个文件的目录，我成功地使用
sc.wholeTextFiles(directory)
现在我想升一级。实际上，我有一个目录，其中包含包含文件的子目录。我的目标是获得一个RDD[(String,String)]，这样我就可以继续前进，RDD代表文件的名称和内容。
我尝试了以下几点：
val listOfFolders = getListOfSubDirectories(rootFolder)
val input = listOfFolders.map(directory => sc.wholeTextFiles(directory))
但是我有一个S
浏览 5提问于2014-12-31得票数 4
回答已采纳
2回答
可以用Python广播RDD吗？
我遵循的书“高级分析与火花:模式学习从数据的规模”和第三章，一个RDD需要广播。我正在尝试使用Python而不是Scala来学习这些示例。
无论如何，即使使用这个简单的示例，我也有一个错误：
my_list = ["a", "d", "c", "b"]
my_list_rdd = sc.parallelize(my_list)
sc.broadcast(my_list_rdd)
错误是：
"It appears that you are attempting to broadcast an
浏览 3提问于2017-05-27得票数 3
回答已采纳
1回答
想象一下，我们有一个键控的RDD RDD[(Int, List[String])]，它有数千个键和数千到数百万个值：
val rdd = sc.parallelize(Seq(
(1, List("a")),
(2, List("a", "b")),
(3, List("b", "c", "d")),
(4, List("f"))))
对于每个键，我需要从其他键中添加随机值。要添加的元素数量不同，取决于键中的元素数。这样，输出就可以看起来像：
val rdd2: RD
浏览 1提问于2016-11-03得票数 2
回答已采纳
我有一个文件，每一行都包含(Stringx, Stringy)
我想在整个数据集中查找Stringy的出现情况。到目前为止，我管理的代码如下：
val file = sc.textFile("s3n://bucket/test.txt") // RDD[ String ]
val splitRdd = file.map(line => line.split("\t"))
// RDD[ Array[ String ]
val yourRdd = splitRdd.flatMap(arr => {
val title = a
浏览 3提问于2015-04-23得票数 2
1回答
我对火花很陌生，我有个问题。
我试着用一些数据做一个简单的情感分析。在数据文件中，每一行都包含一个产品评审。
下面是我处理一行的代码：
// wordlist
val pos_file = "/user/cloudera/Data/pos_list.txt"
val neg_file = "/user/cloudera/Data/neg_list.txt"
val pos_words = sc.textFile(pos_file).cache().collect().toSet
val neg_words = sc.textFile(neg_file).cac
浏览 3提问于2015-03-02得票数 0
回答已采纳
我在输入文本文件中有数据。它以格式包含输入数据："PriceId、DateTime、PriceForUSA、PriceForUK、PriceForAUS“。
看起来是这样的：
0000002,11-05-08-2016,0.92,1.68,0.81
0000003,07-05-08-2016,0.80,1.05,1.49
0000008,07-05-08-2016,1.43,1.29,1.22
国家清单是固定的(美国，英国，澳大利亚)，价格的顺序也是固定的(PriceForUSA，PriceForUK，PriceForAUS)。
我使用Spark从文件中读取这些数据，并将其转换为R
浏览 0提问于2018-08-26得票数 2
回答已采纳
这个标题说明了一切。
例如，在中，它们定义了这两种方法：
def rankLangsUsingIndex(index: RDD[(String, Iterable[WikipediaArticle])]): List[(String, Int)] = {
index.map(...)
.sortBy(pair => pair._2) // <- sortBy BEFORE collect
.collect()
.toList
.reverse
}
def rankLangsReduceByKey(langs: List[String], rdd
浏览 2提问于2017-04-28得票数 0
回答已采纳
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。
val df = sc.couchbaseQuery(test).map(_.value).collect().foreach(println)
{"accountStatus":"AccountOpen","custId":"140034"}
{"accountStatus":"AccountOpen","custId":"140385"}
{"
浏览 1提问于2016-11-28得票数 0
下面的程序应该计算有可能有两种不同数据类型( Float和RDD )的表达式。我已经从infix表达式创建了一个RPN，现在我正在尝试对它们执行计算。注意:我还重载了:+、-、/，*用于对RDD和float进行计算。
def calcRPN(s: String): RDD[(Int,Array[Float])] =
(s.split(' ').toList.foldLeft(Nil: List[Either[Float, RDD[(Int,Array[Float])]]) {foldingFunction}).head
def foldingFunction(li
浏览 2提问于2015-07-15得票数 0
回答已采纳
1回答
我有点不知所措如何在火花中做下面的事情。我有一个文本文件，其中包含以下格式的数据：
timestamp A,B,C (\n)
A,B,C (\n)
A,B,C (\n)
...
timestamp A,B,C (\n)
A,B,C (\n)
...
我用sc.textFile(<path>)在RDD中阅读了它，当然，它将每一行作为一个单独的条目来处理。
如何将时间戳从第一行中分离出来，所以基本上可以创建时间戳-> entry1，entry2.每个条目都由A，B，C组成？A，B，C总是相同的类型，而不是相同的值。
浏览 2提问于2016-09-27得票数 0
回答已采纳
2回答
我需要在火花读取文本文件到datasetT。该文件的格式不正确，因为它有一些空白字段，并且很难定义拆分字符串的参数。我一直在尝试将数据读取到RDD中，然后将其转换为case类类型，然而，并不是所有的字段都被正确解析，我得到了一个错误：
java.lang.NumberFormatException: empty String
at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1842)
at sun.misc.FloatingDecimal.parseDouble(Floa
浏览 11提问于2019-06-08得票数 3
1回答
我有一个数据集，列出了客户购买的一般项目。csv中的每条记录从左到右列出了客户购买的商品。例如(缩短样本)：
Bicycle, Helmet, Gloves
Shoes, Jumper, Gloves
Television, Hat, Jumper, Playstation 5
我希望把它放在scala的RDD中，并对它们进行计数。
case class SalesItemSummary(SalesItemDesc: String, SalesItemCount: String)
val rdd_1 = sc.textFile("Data/SalesItems.csv")
va
浏览 26提问于2021-03-06得票数 0
回答已采纳
我正在尝试将下面的RDD行拆分为5列 val test = [hello,one,,,]
val rddTest = test.rdd
val Content = rddTest.map(_.toString().replace("[", "").replace("]", ""))
.map(_.split(","))
.map(e ⇒ Row(e(0), e(1), e(2), e(3), e(4), e(5))) 当我执行时，我得到"java.lang.ArrayIndexO
浏览 29提问于2020-07-29得票数 0
我是Apache Spark的初学者。我想过滤掉RDD中权重总和大于常量值的所有组。“权重”映射也是RDD。这里是一个小尺寸的demo，需要过滤的群组存储在" groups“中，常量为12：
val groups = sc.parallelize(List("a,b,c,d", "b,c,e", "a,c,d", "e,g"))
val weights = sc.parallelize(Array(("a", 3), ("b", 2), ("c", 5), ("d&#
浏览 0提问于2014-09-25得票数 3
回答已采纳
1回答
我有数to的数据要使用Apache Spark处理。我使用代码sparkContext.binaryFiles(folderpath)加载文件夹中的所有数据。我认为它会将全部数据加载到RDD中，并导致OutOfMemory错误。
如何将1TB数据拆分为250 it，并让RDD加载它？
浏览 1提问于2016-02-03得票数 1
2回答
我有一个RDD结构
RDD[(String, String)]
我想创建2个列表(rdd的每个维度一个)。
我尝试使用rdd.foreach()并填充两个ListBuffers，然后将它们转换为列表，但我猜每个节点都会创建自己的ListBuffer，因为在迭代之后，BufferLists是空的。我该怎么做呢？
编辑:我的方法
val labeled = data_labeled.map { line =>
val parts = line.split(',')
(parts(5), parts(7))
}.cache()
var testList : ListB
浏览 0提问于2016-12-01得票数 18
回答已采纳
我想加入两个RDDs salesfromSource1: RDD[(String, List[Sale])]和filteredSales: RDD[(String, Sale)]
因为我想执行左连接，所以我尝试了以下方法：
val joinedSales: RDD[(String, (List[Sale], Option[Sale]))] = salesfromSource1.leftOuterJoin(filteredSales)
但是我如何连接这些值，从而得到RDD[(String, List[InvocaCall])]呢？
我希望通过.mapValues(_._1 ::: _._2)来实
浏览 1提问于2018-10-12得票数 0
1回答
我正在尝试根据分隔符分割我的星火流，并将这些块保存到一个新的文件中。
我的每个RDD似乎都是根据分隔符进行分区的。
我很难为每个RDD配置一个分隔符消息，或者能够将每个分区单独保存到一个新的part-000...文件中。
任何帮助都将不胜感激。谢谢
val sparkConf = new SparkConf().setAppName("DataSink").setMaster("local[8]").set("spark.files.overwrite","false")
val ssc = new StreamingCont
浏览 6提问于2015-07-22得票数 2
回答已采纳
我需要将数据帧转换为RDD，并需要对其应用一些核心操作。试过下面的东西。它正在转换为列表、行或元组格式。但是一些核心函数在像.split()这样的函数上不起作用。
尝试了以下方法：
df.rdd.map(list)
或
df.rdd.map(tuple)
或
df.rdd
我正在尝试的示例代码
rdd=load_df.rdd.map(list)
conv_rdd= rdd.map(lambda x:x.split(","))
从这里开始需要执行一些操作
浏览 0提问于2018-04-28得票数 1
我想找到一种方法来根据每个fatherRDD的元素将一个RDD划分为多个RDD。
例如，fatherRDD的元素有很多列表。我想把这个fatherRDD分成许多基于每个元素的小RDD。换句话说，如果fatherRDD中有n个元素，我希望得到n个RDDs。
两天前，我写了一个这样的函数：
def splitRDD(rdd1:RDD[List[(String, String)]]):List[RDD[(String, String)]] ={
var list = List[RDD[(String, String)]] ()
//println(rdd1.take(1).apply(0
浏览 2提问于2017-03-14得票数 1
回答已采纳
2回答
下面的代码执行集合类型的单词计数：org.apache.spark.rdd.RDD[(String, List[(String, Int)])]
val words : org.apache.spark.rdd.RDD[(String, List[(String, Int)])] = sc.parallelize( List(("a" , List( ("test" , 1) , ("test" , 1)))) )
val missingLabels : RDD[(String, Int)] = words.flatMap(m => m._
浏览 1提问于2015-04-10得票数 0
回答已采纳
1回答
我想要实现的
我和斯派克和斯卡拉一起工作。我有两双RDDs。
rdd1 : RDD[(String, List[String])]
rdd2 : RDD[(String, List[String])]
两个RDD都是根据其第一个值连接起来的。
val joinedRdd = rdd1.join(rdd2)
因此，得到的RDD是RDD[(String, (List[String], List[String]))]类型的。我想映射这个RDD并提取这两个列表的元素，以便结果RDD只包含这两个列表中的这些元素。
示例
rdd1 (id, List(a, b))
rdd2 (id, List(d, e
浏览 4提问于2016-10-19得票数 0
回答已采纳
1回答
我有一个.txt文件，比如list.txt，它由格式的源和目标URL列表组成
google.de/2011/10/Extract-host link.de/2011/10/extact-host
facebook.de/2014/11/photos facebook.de/2014/11/name.jpg
community.cloudera.com/t5/ community.cloudera.com/t10/
facebook.de/2014/11/photos link.de/2011/10/extact-host
浏览 1提问于2018-01-14得票数 3
回答已采纳
我正在做cca-175练习题。我得到了一个被|拆分的文本文件
Christopher|Jan 11, 2015, |5
Kapil|11 Jan, 2015|5
Thomas|6/17/2014|5
John|22-08-2013|5
Mithun|2013|5
Jitendra||5
然后，我将文件另存为RDD并尝试映射它。然而，当在split方法中使用单引号和双引号时，Scala会返回两个不同的结果，并且使用单引号是正确的。
使用单引号line.split('|')，它返回：Array[String] = Array(Christopher, Jan 11, 2015,
浏览 180提问于2019-04-11得票数 1
1回答
一个我觉得可能会让别人受益的问题。
如果我运行
val rdd1 = sc.parallelize( List( "a", "b", "c", "d", "e"))
val rdd1a = rdd1.map(x => (x, 110, 110 - x.toByte ))
rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[55] at parallelize at <console>:44
rdd1a: org.apa
浏览 47提问于2017-08-09得票数 0
回答已采纳
如何在单个RDD中使用分隔符":“和”“拆分上一行，以及如何使用以下信息在创建RDD后创建数据帧警告router1 JApan
浏览 2提问于2020-05-19得票数 3
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.master("local")
.appName("SparkAndHive")
.config("spark.sql.warehouse.dir", "/tmp/spark-warehouse 2")
.enableHiveSupport()
.getOrCreate()
GeoSpark
浏览 5提问于2022-10-19得票数 0
回答已采纳
我是scala和spark的新手。我有个小问题。我有一个具有以下模式的RDD。
RDD[((String, String), (Int, Timestamp, String, Int))]
我必须映射这个RDD来像这样转换它
RDD[(Int, String, String, String, Timestamp, Int)]
为此，我编写了以下代码
map { case ((pid, name), (id, date, code, level)) => (id, name, code, pid, date, level) }
这个工作得很好。现在我有了另一个RDD
浏览 6提问于2016-08-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
