如果RDD变得更大，Spark将如何反应？
当RDD（弹性分布式数据集）变得更大时，Spark将会有以下几种反应：
- 内存压力增加：RDD的增大将导致Spark集群中的内存压力增加。由于Spark将数据存储在内存中进行处理，RDD增大将占用更多的内存空间，可能导致内存溢出或性能下降。
- 垃圾回收增加：当RDD变得更大时，垃圾回收（Garbage Collection）的频率将增加。垃圾回收是用于释放不再使用的内存空间的过程，但它会消耗一定的CPU资源和时间，可能导致处理速度的下降。
- 磁盘交换增加：如果RDD的大小超过了可用内存容量，Spark将会使用磁盘交换（Disk Spill）来将部分数据存储到磁盘中。磁盘交换会导致数据访问延迟增加，从而影响处理速度。
- 任务调度时间增加：RDD的增大可能导致任务调度时间增加。当RDD被划分为多个分区进行并行处理时，Spark需要将任务分配给不同的计算节点。如果RDD变得更大，任务调度的时间将会增加，从而影响整体的处理速度。
- 需要更多的计算资源：当RDD变得更大时，Spark可能需要更多的计算资源来处理和存储数据。这可能包括增加集群中的计算节点数量、增加内存容量、增加磁盘空间等。
针对RDD变大的情况，腾讯云提供了一系列适用于大数据处理的产品和解决方案，如腾讯云数据分析引擎PAI、云原生数据仓库CDW、云Hadoop集群等。您可以根据具体业务需求选择适合的产品，以应对RDD变大带来的挑战。
参考链接：
- 腾讯云数据分析引擎PAI：https://cloud.tencent.com/product/iai
- 云原生数据仓库CDW：https://cloud.tencent.com/product/cdw
- 云Hadoop集群：https://cloud.tencent.com/product/hadoop
相关·内容
在的例子中
// Perform word count.
val wordCounts = (tableData
.map(entry => convertToTuple(entry._2))
.reduceByKey(_ + _))
// Write data back into a new BigQuery table.
// IndirectBigQueryOutputFormat discards keys, so set key to null.
(wordCounts
.map(pair => (null, convertToJson(pai
浏览 2提问于2017-10-07得票数 1
在使用TIDB通过Spark连接到mysql-connector-java 5.1.6 connector时获取以下错误。
请注意，我使用并行连接选项创建了jdbc连接，其中我们指定了列名、下限、上限和分区数。
Spark然后将其分解为(分区数目)查询，将列名的下限和上界划分为相同的大小。
java.sql.SQLException: other error: request outdated.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createS
浏览 2提问于2018-10-05得票数 0
回答已采纳
我已经成功安装了Apache Spark，Hadoop over Ubuntu 12.04 (单机模式)用于Logistic回归。也测试了小的csv数据集，但它不能在269369行的大型数据集上工作。
library(SparkR)
sc <- sparkR.init()
iterations <- as.integer(11)
D <- 540
readPartition <- function(part){
part = strsplit(part, ",", fixed = T)
list(matrix(as.numeric(unlist(par
浏览 1提问于2014-10-07得票数 2
我正在阅读，关于分区，他说
默认情况下，为每个HDFS分区创建一个分区，默认为64 is。
我对HDFS并不十分熟悉，但是我遇到了一些复制这条语句的问题。我有一个名为Reviews.csv的文件，它是大约330 of的亚马逊食品评论文本文件。给定默认的64‘d块，我希望使用ceiling(330 / 64) = 6分区。但是，当我将文件加载到我的Shell中时，我得到了9个分区：
scala> val tokenized_logs = sc.textFile("Reviews.csv")
tokenized_logs: org.apache.spark.rdd.R
浏览 1提问于2018-12-01得票数 1
回答已采纳
所以，我有如下数据，
[ (1, data1), (1, data2), (2, data3), (1, data4), (2, data5) ]
我想将其转换为以下内容，以供进一步处理。
[ (1, [data1, data2, data4]), (2, [data3, data5]) ]
我使用了groupByKey和reduceByKey，但是由于数据量很大，它失败了。数据不是很高，而是很宽。换句话说，键在1到10000之间，但是值列表从100 K到900 k不等。
我正在努力解决这个问题，并计划应用mapPartitions或(Hash)partitioner。
所以，如果其中一个可行
浏览 5提问于2016-01-26得票数 6
1回答
我已经用python写了一个工作正常的Spark程序。
但是，就内存消耗而言，它的效率很低&我正在尝试优化它。我在AWS EMR上运行它，EMR因为消耗太多内存而扼杀了这项工作。
Lost executor 11 on ip-*****: Container killed by YARN for exceeding memory limits. 11.4 GB of 10.4 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
我认为这个内存问题是由于我在几个实例中收集我的RDD
浏览 1提问于2016-11-25得票数 2
(1) Spark如何决定为RDD驱逐哪些分区？
(2) LRU和RDD StorageLevel之间的关系是什么？
(3)如果数据源大小很大(大于所有executor内存之和)，spark如何加载数据并创建RDD？它与LRU有关吗？
我创建这个问题的目的是为了获得一些关于RDD LRU驱逐的细节，StorageLevel。
浏览 0提问于2017-09-06得票数 1
我正在读取一个巨大的csv文件，包括39,795,158条记录，并在Azure Databricks上写入MSSQL服务器。Databricks(笔记本)运行在一个具有56 GB内存、16个核心和12个工作人员的集群节点上。
这是我在Python和PySpark中的代码：
from pyspark.sql import *
from pyspark.sql.types import *
from pyspark.sql.functions import *
from time import sleep
url = "jdbc:sqlserver://{0}:{1};database=
浏览 10提问于2022-02-11得票数 0
我在投机模式下运行Spark作业。我有大约500个任务和大约500个文件的1 GB gz压缩。我一直在每个作业中，对于1-2个任务，附加的错误在之后重新运行几十次(阻止作业完成)。
org.apache.spark.shuffle.MetadataFetchFailedException:缺少随机播放0的输出位置
你知道这个问题的意义是什么吗?如何克服它？
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0
at org.apache.spar
浏览 440提问于2015-03-06得票数 103
回答已采纳
当我使用1GB数据集运行解析代码时，它就完成了，没有任何错误。但是，当我一次尝试25 gb的数据时，我会得到以下错误。我正在努力理解如何避免失败。很高兴听到任何建议或想法。
不同的错误，
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0
org.apache.spark.shuffle.FetchFailedException: Failed to connect to ip-xxxxxxxx
org.apache.spark.shuffle.Fet
浏览 9提问于2016-01-22得票数 51
回答已采纳
在尝试使用Spark从FTP读取数据时出错。
WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost): java.io.IOException: Seek not supported
at org.apache.hadoop.fs.ftp.FTPInputStream.seek(FTPInputStream.java:62)
at org.apache.hadoop.fs.FSDataInputStream.seek(FSDataInputStream.java:62)
at org.apache.hadoop
浏览 3提问于2017-05-11得票数 0
回答已采纳
我正在尝试用以下代码将csv读入pyspark控制台：
from pyspark.sql import SQLContext
import pyspark
sql_c = SQLContext(sc)
df = sql_c.read.csv('join_rows_no_prepended_new_line.csv')
然而，当我有144 get的空闲时，我在内存使用方面有一个很长的错误。此外，内存错误是在运行上述代码时立即发生的，因此我认为它实际上不是内存错误。我已经安装了java1.8、Spark2.4.0和python3.6。我也安装了scala，但我还没有深入研究它。我没
浏览 0提问于2019-01-29得票数 1
回答已采纳
1回答
我一直在尝试将RDDs转换为DataFrames格式，然后再转换回来。首先，我有一个类型为(Int，Int)的RDD，名为dataPair。然后，我使用以下命令创建了一个带有列标题的DataFrame对象：
val dataFrame = dataPair.toDF(header(0), header(1))
然后，我使用以下命令将其从DataFrame转换回RDD：
val testRDD = dataFrame.rdd
它返回org.apache.spark.sql.Row类型的RDD (不是(整数，整数))。然后我想用.toDF把它转换回RDD，但是我得到了一个错误：
error: va
浏览 1提问于2016-05-04得票数 11
回答已采纳
1回答
但是，我的工作失败了，但是我并不完全理解。它似乎是由
"YarnSchedulerBackend$YarnSchedulerEndpoint: Container killed by YARN for exceeding memory limits. 24.7 GB of 24 GB physical“。
但是我怎样才能增加中的内存。
日志：
16/05/05 01:12:42 WARN org.apache.spark.scheduler.TaskSetManager: Lost task 332.0 in stage 0.0 (TID 332, cluster-4-w-40.c.l
浏览 3提问于2016-05-05得票数 0
1回答
星火println函数中奇异map行为的简单例子。
一些记录首先由id分组。在本例中，所有记录都具有相同的id，因此我们得到一个组。然后对这个组进行映射，得到RDD[List[Strange.R]]，然后将其转换为List[Strange.R]。由于某种原因，迭代和打印此列表将其元素打印两次。为什么？
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.log4j.Logger
import org.apache.log4j.Level
object Strange
浏览 1提问于2015-04-09得票数 1
回答已采纳
由于jars的复杂性，我必须将其包含到Spark代码中，因此，我希望在不删除log4j导入的情况下寻求帮助，找出解决此问题的方法。
简单代码如下：
:cp symjar/log4j-1.2.17.jar
import org.apache.spark.rdd._
val hadoopConf=sc.hadoopConfiguration;
hadoopConf.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopCo
浏览 2提问于2015-03-31得票数 3
回答已采纳
我使用SparkSQL处理数据，并且我想将我的数据写入一个子文件。
...
step12.show()
step12.repartition(10).coalesce(1).write.json('wasb://liu@cliubo.blob.core.windows.net/test_data_4')
step12是我的数据帧，但是我收到一个错误，告诉我java.lang.OutOfMemoryError: Unable to acquire 65536 bytes of memory, got 0它没有意义，因为我可以显示这个数据帧。我使用Microsoft Azure中的
浏览 0提问于2017-04-17得票数 0
1回答
我有一个场景，我正在运行一个星火流作业。这是在接收卡夫卡的数据。我所要做的就是从流中提取记录，并将它们放在本地。我还为它实现了偏移处理。消息的大小可以高达5MB。当我尝试使用0.4MB - 0.6MB文件时，作业运行得很好，但是当我尝试使用1.3MB文件运行时(这比默认的1MB更大)，我将面临以下问题。
java.lang.AssertionError: assertion failed: Ran out of messages before reaching ending offset 9 for topic lms_uuid_test partition 0 start 5. This s
浏览 2提问于2017-07-27得票数 0
回答已采纳
我已经编写了一个基本的火花应用程序，它按照本指南()读写卡桑德拉。
这个应用程序的.sbt是这样的：
name := "test Project"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.2.1",
"com.google.guava" % "guava" %
浏览 3提问于2015-06-09得票数 0
回答已采纳
2回答
我有两个数据集，可以单独查询和显示()。一张有17张唱片，另一张有3张。
Dataset<Row> attReader = spark
.read()
.format("org.apache.spark.sql.cassandra")
.option("table", "table_1")
.load();
Dataset<Row> surReader = spark
.read()
.format("org.apache.spark.sql.cassandra&#
浏览 0提问于2018-10-08得票数 0
回答已采纳
我试着比较卡桑德拉保存一个表和30,000条记录用于RDD和DataSet。我发现Dataset保存速度比RDD慢10倍。该表有4个分区键。
DSE Version :5.1.7
Spark version :2.0.1
Nodes:6( 20 cores each 6g)
Using Spark Standalone
我们使用了以下火花配置：
spark.scheduler.listenerbus.eventqueue.size=100000
spark.locality.wait=1
spark.dse.continuous_paging_enabled=false
浏览 0提问于2018-04-24得票数 0
1回答
我正在用scala编写一个与kafka进行火花流连接的程序，我得到了以下错误：
18/02/19 12:31:39 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 39)
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {prensa4-0=744}
at org.apache.kafka.clients.
浏览 0提问于2018-02-19得票数 2
我使用以下命令在本地模式下使用Spark2.0调用Pyspark：
pyspark --executor-memory 4g --driver-memory 4g
输入数据正在从tsv文件中读取，并且有580 Kx28列。我正在对dataframe做一些操作，然后我尝试将它导出到tsv文件中，我得到了这个错误。
df.coalesce(1).write.save("sample.tsv",format = "csv",header = 'true', delimiter = '\t')
任何关于如何消除这个错误的提示。我可以很容易
浏览 7提问于2016-08-15得票数 24
回答已采纳
我有一个字符串的python列表。我用下面的代码用一个列创建了一个dataframe：
skills_df = spark.createDataFrame(temp, StringType())
其中，temp是字符串的列表。此步骤已成功执行。
当我试图在skills_df上做任何像skills_df.count()这样的操作时，它会给我一个错误。这种情况发生在数据处理上。但是，不是通过导入csv文件(即csv_df = spark.read.csv('/user/turing/Profiles_final.csv', header=True) )创建的数据文件。我使用spar
浏览 1提问于2018-04-26得票数 0
回答已采纳
我使用的是pyspark 2.4.0，一个大型作业一直在使用以下错误消息(无论是保存到拼板时还是试图收集结果时)：
py4j.protocol.Py4JJavaError:调用o2495.collectToPython时发生了错误。：：org.apache.spark.SparkException:由于阶段失败而中止作业: 290.0阶段的任务184失败4次，最近的失败: 290.0阶段的任务184.3失败(TID 17345，53.62.154.250，执行者5)：org.xerial.snappy.SnappyInputStream.readHeader(SnappyInputStrea
浏览 0提问于2019-03-04得票数 4
1回答
我是新来的火种，所以希望有人能帮忙。我试图读取存储在GCP桶上的拼板文件。该文件按日期进行分区，因此，例如bucket-name/year={}/month={}/day={}
对于给定的文件，我们有以下模式描述：
直到3月份，我们以前在浮动数据类型中使用x和y列。
3月份以来，这2列现在都是双数据类型的。
从我所看到的来看，吡火花在评估浮点数方面没有任何问题，而双数据类型是兼容的数据类型。(我在网上发现的类似的错误示例与数据类型不兼容有关，例如字符串和浮点数)，但是，如果我们试图读取该文件的所有可用数据，就会遇到这个奇怪的问题：
#i.e. read all the data
浏览 4提问于2021-06-09得票数 0
3回答
我正在努力理解必须编译jar才能使用Spark的扩展。
我通常会在IDE中编写即席分析代码，然后只需单击一次(在IDE中)就可以在本地运行它。如果我对Spark的实验给了我正确的指示，那么我必须将我的脚本编译成一个jar，并将它发送到所有的Spark节点。也就是说，我的工作流程是
编写分析脚本，它将上传自己的jar (在下面创建)
去做罐子。
运行脚本。
对于临时迭代工作，这似乎有点多了，而且我不明白REPL没有它是如何逃脱的。
更新：
下面是一个示例，除非我将其编译成一个jar并执行sc.addJar，否则我无法工作。但是，我必须这样做的事实似乎很奇怪，因为只有普通的Sc
浏览 5提问于2015-07-03得票数 3
回答已采纳
我有一个使用Apache Spark的Java程序。该程序最有趣的部分如下所示：
long seed = System.nanoTime();
JavaRDD<AnnotatedDocument> annotated = documents
.mapPartitionsWithIndex(new InitialAnnotater(seed), true);
annotated.cache();
for (int iter = 0; iter < 2000; iter++) {
GlobalCounts counts = annotated
浏览 1提问于2016-03-21得票数 6
我以DataFrame array<string>的身份处理事务
transactions: org.apache.spark.sql.DataFrame = [collect_set(b): array<string>]
我想将其更改为RDD[Array[string]]，但是当我将其更改为RDD时，它被更改为org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
val sam: RDD[Array[String]] = transactions.rdd
<console>:42: error: type m
浏览 14提问于2017-01-11得票数 1
4回答
问题
如何使用sc.textFile将文件从本地文件系统加载到Spark？我需要更改任何-env变量吗？此外，当我在没有安装Hadoop的windows上尝试相同的命令时，我得到了相同的错误。
代码
> val inputFile = sc.textFile("file///C:/Users/swaapnika/Desktop/to do list")
/17 22:28:18 INFO MemoryStore: ensureFreeSpace(63280) called with curMem=0, maxMem=278019440
/17 22:28:18 INFO
浏览 0提问于2015-08-18得票数 5
我使用星火2.0.1。
我试图在JavaRDD中找到不同的值如下所示
JavaRDD<String> distinct_installedApp_Ids = filteredInstalledApp_Ids.distinct();
我看到这一行抛出了下面的异常
Exception in thread "main" java.lang.StackOverflowError
at org.apache.spark.rdd.RDD.checkpointRDD(RDD.scala:226)
at org.apache.spark.rdd.RDD.partit
浏览 2提问于2017-05-12得票数 0
2回答
我正在读取HDFS中的一个文件，我希望将它保存在另一个存储库中，并使用DataFrame结构。我的数据的一个例子：
05-09-2020 22:10 10，jony，abcd，usr.admin.local.teste
我想将这个数据结构发送到另一个存储库：
05-09-2020 22:10:10，jony，abcd，
当我在scala中编写这段代码时，一切都很好，一切正常：
val read = sc.textFile("hdfs://.../teste.csv")
val select = read.map(_.split(",")).map{x
浏览 2提问于2020-09-05得票数 0
我有一个RDD (字符串数组) org.apache.spark.rdd.RDD[String] = MappedRDD[18]，并将其转换为具有唯一Ids的映射。我做了'val vertexMAp = vertices.zipWithUniqueId‘，但这给了我另一个'org.apache.spark.rdd.RDD[(String, Long)]'类型的RDD，但我想要一个'Map[String, Long]’。如何转换我的'org.apache.spark.rdd.RDD[(String, Long)] to Map[String, Long]‘
浏览 4提问于2014-10-14得票数 5
回答已采纳
即使使用.cache() data，Spark似乎仍然序列化每个任务运行的数据。请考虑以下代码：
class LoggingSerializable() extends Externalizable {
override def writeExternal(out: ObjectOutput): Unit = {
println("xxx serializing")
}
override def readExternal(in: ObjectInput): Unit = {
println("xxx deserializing")
浏览 0提问于2020-07-29得票数 2
2回答
我正在尝试使用星火汇总统计数据，如：所述
根据星火博士的说法：
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
import org.apache.spark.mllib.linalg.DenseVector
val observations: RDD[Vector] = ... // an RDD of Vectors
// Compute column summary statistics
浏览 3提问于2015-01-23得票数 1
回答已采纳
我正在做一个简短的应用程序，它根据漫威电影的出场次数告诉你，在漫威电影的大型数据集中，哪一个是最受欢迎的英雄。 我已经从Anaconda环境安装了Pyspark，也从控制台安装了Pyspark，试图解决这个错误，但没有结果。我还安装了用于conda的Java-jdk，但也没有结果。 我得到的错误如下： py4j.protocol.Py4JJavaError: An error occurred while calling o24.partitions.
: java.lang.IllegalArgumentException: java.net.URISyntaxException:
浏览 161提问于2019-03-21得票数 2
回答已采纳
我在Spark cluster上运行了一个应用程序，但它给了我一个如下所示的error：
14/11/20 21:59:08 WARN TaskSetManager: Lost task 11.0 in stage 0.0 (TID 64, spark1): java.lang.NoSuchMethodError: com.google.common.io.ByteStreams.limit(Ljava/io/InputStream;J)Ljava/io/InputStream; org.apache.spark.util.collection.ExternalAppe
浏览 1提问于2014-11-20得票数 1
1回答
我有使用LinearRegression的机器学习模型。我有5 vm的星系团。在对模型进行培训之后，我想保存模型，以便以后只需将其加载到内存中即可使用。
我试过用
model.save("/tmp/model.pkl").
这样保存时，它在集群的所有节点中创建名为model.pkl的目录，该目录的文件为data/, metadata/, _SUCCESS, ._SUCCESS.crc, _temporary, .. and some more。
有没有一种方法可以将模型保存为像model.pkl这样的单个文件？
此外，当我使用新的可用数据对模型进行重新培训时，我使用model.
浏览 4提问于2017-10-03得票数 2
我正在尝试使用Apache Spark (使用Scala)中的一大堆肯定和否定词对一些评论数据进行情感分析。我是Scala的新手，所以需要一些帮助。程序如下所示：
读取RDDs中的正/负。
val pos_words = sc.textFile("D:/spark4/mydata/pos-words.txt")
val neg_words = sc.textFile("D:/spark4/mydata/neg-words.txt")
将评论读入RDD
val dataFile = sc.textFile("D:/spark4/mydata/review_
浏览 1提问于2015-12-18得票数 0
我们使用Apache Beam，它是在火星车上执行的。我们的案件如下。这两个用例都会导致OutofMemory错误。
1)连接-2个使用Apache的大表--一个大小为120 is的表，另一个为60 is的表。这会在OutofMemory ()内部调用groupByKeyOnly()时导致GroupCombineFunctions.java错误。
2) GroupByKey --我们根据如下键对数据集进行分组。PCollection>> costBasisRecords = masterDataResult.apply(GroupByKey.create())；
此GroupbyK
浏览 1提问于2017-12-16得票数 0
回答已采纳
当我尝试创建一个类的对象并调用特定的方法newRDD和blah时，我总是得到以下错误堆栈跟踪
I create a spark shell by importing the jar and run the following in spark-shell
spark-shell --master=yarn --jars=sample_jar.jar --files database.cfg
scala> val reader = new Sample(spark)
scala> val a = reader.buildFileRDD("/xyz/path")
浏览 13提问于2020-06-04得票数 0
回答已采纳
如何处理在使用spark加载文件时，数据中是否存在我的分隔符。
我的数据如下：
NAME|AGE|DEP
Suresh|32|BSC
"Sathish|Kannan"|30|BE
如何将此列转换为如下所示的3列。
NAME AGE DEP
suresh 32 Bsc
Sathish|Kannan 30 BE
请参考我试图加载数据的方式。
scala> val rdd = sc.textFile("file:///test/Sample_dep_20.txt",2)
rdd: org.apache.spar
浏览 0提问于2020-08-14得票数 0
回答已采纳
我只想澄清一下，如果火花提交--键标签--主体&-代理用户参数可以共存吗？
我们要求将作业作为真正的业务用户提交，但是用户在hadoop中没有主体。
每当使用代理用户和kerberos时，我都会得到异常。
17/02/09 13:51:43 INFO DFSClient: Created HDFS_DELEGATION_TOKEN token 379 for atlas on 10.12.118.92:8020
Exception in thread "main" java.io.IOException: java.lang.reflect.UndeclaredThro
浏览 2提问于2017-02-09得票数 1
1回答
我想了解如何在Scala中实现相同方法。
def createDataFrame[A <: Product](data: Seq[A])(implicit evidence$3: reflect.runtime.universe.TypeTag[A]): org.apache.spark.sql.DataFrame
def createDataFrame(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_]): org.apache.spark.sql.DataFrame
def createDataFrame(row
浏览 0提问于2020-07-19得票数 0
回答已采纳
我正在用scala做一些基本的火花处理。
我想知道为什么count函数不能使用mapValues和map函数。
当我应用和，min，max时，它就起作用了。此外，是否有任何地方可以引用所有可应用于IterableString上的groupbykeyRDD函数？
MyCode:
scala> val records = List( "CHN|2", "CHN|3" , "BNG|2","BNG|65")
records: List[String] = List(CHN|2, CHN|3, BNG|2, BNG|65)
sca
浏览 3提问于2016-12-29得票数 0
回答已采纳
我正在尝试使用星火协同过滤实现推荐系统。
首先，我准备模型并保存到磁盘：
MatrixFactorizationModel model = trainModel(inputDataRdd);
model.save(jsc.sc(), "/op/tc/model/");
当我使用单独的进程加载模型时，程序会失败，例外情况如下：
代码：
static JavaSparkContext jsc ;
private static Options options;
static{
SparkConf conf = new SparkConf().
浏览 1提问于2016-08-17得票数 1
回答已采纳
我在S3上有1.2GB的orc数据，并且我试图用相同的方法执行以下操作：
1)缓存snappy集群snappydata 0.9上的数据
2)在缓存的数据集上执行groupby查询
3)与Spark2.0.0的性能比较。
我使用的是64 GB/8核心计算机，Snappy集群的配置如下所示：
$ cat locators
localhost
$cat leads
localhost -heap-size=4096m -spark.executor.cores=1
$cat servers
localhost -heap-size=6144m
localhost -heap-size=6144m
浏览 3提问于2017-10-04得票数 1
回答已采纳
我需要parallelize我的数据集，但是，当我试图使用重新分区的数据实例化一个RowMatrix时，会发生type mismatch错误。
下面是读取和重新分区数据的代码：
val data = sc.textFile("data.txt.gz").flatMap(r => r.split(' ') match {
case Array(doc, word, count) => Some((doc.toInt, (word.toInt - 1, count.toDouble)))
case _ => None
}).groupByK
浏览 3提问于2017-04-20得票数 0
回答已采纳
我经常发现spark在大型任务中失败了，但有一个相当无用、毫无意义的例外。工作日志看起来很正常，没有错误，但它们的状态是“终止”。这对于大混洗来说是非常常见的，所以像.distinct这样的操作。
问题是，我如何诊断哪里出了问题，理想情况下，我如何修复它？
考虑到这些操作很多都是一元化的，我一直在解决这个问题，方法是将数据分成10个数据块，在每个数据块上运行应用程序，然后在所有结果输出上运行应用程序。换句话说- meta-map-reduce。
14/06/04 12:56:09 ERROR client.AppClient$ClientActor: Master removed our ap
浏览 2提问于2014-06-04得票数 9
回答已采纳
1回答
我有一个卡夫卡的流媒体应用程序，我想知道是否有办法从地图函数中进行范围查询？
我将来自kafka的信息按时间范围和键分组，然后根据这些时间范围和键，我想将cassandra中的数据提取到dstream中。
类似于：
lookups
.map(lookup => ((lookup.key, lookup.startTime, lookup.endTime), lookup))
.groupByKey()
.transform(rdd => {
val cassandraSQLContext = new CassandraSQLContext(rdd.context
浏览 2提问于2016-07-14得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
