我正在试图保存卡桑德拉卡夫卡的流媒体数据。我能够读取和解析数据，但是当我调用下面的行来保存数据时，我将得到一个Task not Serializable异常。:任务不可序列化的
16/08/06 10:24:52错误JobScheduler:错误运行作业流作业1470504292000 ms.0 .0 org.apache.spark.SparkException:<em
浏览 5提问于2016-08-06得票数 2
回答已采纳
1回答
我注意到大多数Scalaz类都是不可序列化的。在本例中，我尝试使用类型类来自定义排序星火中的数组。grupBy(...).map { }
正如您所预期的，这个实现抛出一个NotSerializableException，因为Order[T]是不可序列化的。有任何方法使Order[T]可<em
浏览 6提问于2016-12-21得票数 2
回答已采纳
我得到的任务不能序列化为下面的代码。但是，如果直接传递函数，则不会出现任何错误。) => (username, id) }) rdd.collect org.apache.spark.SparkException: Task not serializab
浏览 7提问于2016-10-05得票数 1
回答已采纳
1回答
如果出现org.apache.spark.SparkException: Task not serializable异常，以下代码将失败： def die() {(x)因为Foo是
浏览 1提问于2015-08-07得票数 0
回答已采纳
我有一个DataFrame，我将它映射到RDD ()中来测试SVMModel。scoreAndLabels)在执行代码时，我有一个org.apache.spark.SparkException: Task not serializable;，我很难理解为什么会发生这种情况，以及如何修复它。下面是异常堆栈的一些相关元素：
Caused by:
浏览 12提问于2016-05-13得票数 2
回答已采纳
当我尝试创建一个类的对象并调用特定的方法newRDD和blah时，我总是得到以下错误堆栈跟踪scala> val a = reader.buildFileRDD("/xyz/path")
org.apache.spark.SparkException: <em
浏览 13提问于2020-06-04得票数 0
回答已采纳
1回答
我见过很多这样的关于序列化错误的帖子。但我对此还不熟悉。at solr.DefaultSource.createRelation(DefaultSource.scala:31) Caused
浏览 2提问于2018-12-21得票数 0
1回答
由于某些原因，我得到的是以下代码中不可序列化的任务异常。我是运行在火花本地使用sbt测试。: Task not serializable at org.apache.s
浏览 1提问于2015-06-17得票数 0
1回答
在运行此代码时，我会得到任务序列化错误，其中myDstream是DStream[String]，session是String我尝试过@transient val vectTest = Vectors.parse(input
浏览 0提问于2017-03-23得票数 1
回答已采纳
1回答
Spark任务序列化和闭包
、、、、
当传递给Spark RDD操作的lambda引用其作用域之外的对象时，它将包括为分布式执行创建序列化任务所需的上下文。在下面的简单示例中，为什么它决定序列化整个OutClass实例，而不仅仅是乘法器？我怀疑multiplier实际上是一个隐藏在幕后的Scala getter方法，所以它必须包含类的引用。声明OuterClass扩展了Serializable将会起作用，但它引入了不必
浏览 1提问于2016-12-04得票数 0
我正在使用spark streaming，cassandra和MLlib开发一个流分类器。 val collection = rdd.map // ERROR: Task not ser
浏览 2提问于2015-10-22得票数 3
1回答
我无法逃避任务，不能序列化override def setUp(cfg: BenchmarkConfiguration) {这里是ST：org.apache.spark.SparkException: Task</
浏览 3提问于2015-07-21得票数 0
回答已采纳
我的代码： row.get[offsetvalue._1 && 当调用myFunction时，它会显示异常：
org.apache.spark.SparkEx
浏览 0提问于2015-09-23得票数 0
，我得到了以下错误(尽管一切看起来都很好)： at org.apache.spark.util.ClosureCleaner:158) at org.apache.spark.rdd.R
浏览 1提问于2015-06-10得票数 1
回答已采纳
1回答
: Task not serializable at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:
浏览 2提问于2019-12-17得票数 1
然而，当我运行上面的代码时，我得到了一个错误的'org.apache.spark.SparkException:任务，不能序列化的 at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:(
浏览 0提问于2017-02-28得票数 0
1回答
[DateTime]("eventtime") <= Offset._2)输出：at org.apache.spark.util.ClosureCleaner$.ensureSerializable(C
浏览 3提问于2015-09-25得票数 0
class StringSplit(val query:String) def getStrSplit(rdd:RDD[String]):RDD[String]={}我试图调用这个类中的方法，例如val strSplit=newStringSplit("
浏览 1提问于2015-08-26得票数 1
回答已采纳
我对Java 8和Spark2.1.1有问题at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureClea
浏览 0提问于2018-08-18得票数 2
回答已采纳
我正在尝试使用模型来预测一个spark流程序，但我在这样做时遇到错误:任务不可序列化。vector=LabeledPoint(line._2._4, Vectors.dense(arr)) | } at org.apache.spark.uti
浏览 0提问于2015-10-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
