我想总结一下互联网日志，使用sparkstreaming。我已经将日志数据转换为地图。计算过程中出现错误。 将spark序列化配置设置为avro。但它不起作用。以下是异常消息： Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner
浏览 19提问于2019-04-23得票数 1
在SparkStreaming中，我们应该将保存部分卸载到另一层，因为如果我们的数据库是cassandra，那么在使用时，SparkStreaming上下文是不可用的。没有序列化连接对象的原因。
这将使我们的系统与现有的数据库紧密相连，明天我们可能会更改数据库。
浏览 2提问于2016-09-19得票数 1
我编写了一个代码，其中twitter流采用了一个tweet类的rdd，并将每个rdd存储在数据库中，但是它得到了错误任务，没有序列化，我粘贴了代码。sparkstreaming.scala
trait <em
浏览 4提问于2015-04-27得票数 1
回答已采纳
2回答
当我运行Spark程序时，我有一个“任务不可序列化”异常
}我注意到我可以用但是，对于RDD中对象的类，我仍然得到了这个异常。如何
浏览 0提问于2017-04-08得票数 1
回答已采纳
1回答
由于某些原因，我得到的是以下代码中不可序列化的任务异常。我是运行在火花本地使用sbt测试。例如，我们可以完全删除过滤器和映射，并且在收集过程中仍然会出现异常。在我的googling中，我只能找到过滤器或地图中涉及不可序列化对象的问题的答案，而不是RDD本身的问题。到目前为止我尝试过的事物：
移除过滤器并映射到testDatasets方法中，然后返回testData集。这导致在调用collect时
浏览 1提问于2015-06-17得票数 0
失败:生成失败，出现异常。
出了什么问题:无法添加条目':app:sourceSets‘来缓存taskArtifacts.bin taskArtifacts.bin无法存储任务输入属性。值'com.android.build.gradle.AppExtension_Decorated@a8d1ae3‘的属性“config”不能序列化。
浏览 0提问于2015-09-11得票数 4
我在运行时有这样的异常：
org.apache.flink.api.common.InvalidProgramException: The implementation of the RichFlatMapFunction虽然我知道发生了什么并知道如何修复它，但我希望确保这种情况不会再次发生。当有人向这个RichFlatMapFunction类添加不可序列化的字段时，我希望单元测试失败，而不是在运行时失败。有没有一种方法可以使用与flink相同的函数序列化代码来编写单元测试来断言函数是可
浏览 0提问于2019-06-18得票数 0
调试时，我收到一个未处理的异常，程序停止执行。调试器没有给我显示行，所以我不知道该修复什么。'System.AggregateException‘类型的未处理异常发生在mscorlib.dll中无法获得本地或参数“<this>”的值，因为它在此指令指针中不可用，可能是因
浏览 5提问于2012-06-20得票数 56
回答已采纳
1回答
我试图了解Spark中的任务序列化是如何工作的，并且对我在我编写的测试中得到的一些混合结果感到有点困惑。rdd.map(element => { }).collect()}
当我执行run()时，作业会像预期的那样使用“任务不可序列化”异常来执行，因为helperObject是不可序列化的。
浏览 3提问于2017-10-26得票数 9
回答已采纳
启动事件->服务任务1 ->服务任务2 ->服务任务3->结束事件execution.setVariable("DBConn",dbConn);
但是它提供了一个异常，因为连接对象是不可序列化的。"org.activiti
浏览 4提问于2016-01-31得票数 3
回答已采纳
1回答
EDIT1:另一个挑战是，我的daoClient是不可序列化的。因为我是在星星之火上运行它，所以我简单地将它放在一个对象(不是类)中，并且它可以在星星之火上工作；但是它使得它不具有单元测试性。我尝试了以下几点：
介绍上传客户端的特性。但是，我仍然需要在SparkDriver中的某个
浏览 4提问于2015-09-29得票数 0
我在这个代码块中得到了Task Not Serializable。所有自定义的实体都是可序列化的 JavaPairRDD<EventStatusGroupKey, Iterable<TestEvent>> groupedRdd
浏览 1提问于2018-03-09得票数 0
2回答
为了测试Serialization异常，我用两种方式编写了一个任务。println(result.count())
}
def func_1(i:Int): Int = { }我知道我得到错误“任务不可序列化”的原因是，在第二个示例中，我试图从驱动节点发送不可序列化的对象funcs到worker节点。在这个场景中，尽管使用对象funcs的方式是不同的，但在这两个
浏览 3提问于2016-11-14得票数 9
回答已采纳
“概览”在这里，我创建了一个可以拖动的自定义组件。event.consume()为了开始工作，MyObject非常简单： extends Serilaizable
现在，当我收到一个拖动事件
浏览 1提问于2013-05-24得票数 5
我们将模型更改为serialize :schedule, HashActiveRecord::SerializationTypeMismatch: schedulewas supposed to be a Hash, but was a String
有没有办法覆盖序列化异常并强制字段为nil或替换散列？也许有一种方法可以通过SQL对字段
浏览 3提问于2013-01-09得票数 0
回答已采纳
case class Data(a: String, b: String, c: String);val dataset: Dataset<SomeDataset>;object MyObj {datas
浏览 1提问于2022-04-06得票数 0
回答已采纳
我已经创建了一个UDF，我正在尝试将它应用于连接中的合并结果。理想情况下，我希望在连接过程中这样做： value / 100 .withColumn("value",foo(coalesce(new Column("valueA"), new Column("valueB"))))
但是我得到了异常Task
浏览 3提问于2017-12-28得票数 0
回答已采纳
2回答
防碰撞Mac Cocoa应用程序
、、、、
在我的Cocoa应用程序中，我需要运行一个使用不稳定的不可修复代码的任务。它只需要很少的输入，独立于应用程序的其余部分工作，并因此生成数千个ObjC对象。我如何运行这个不稳定的部分，让它崩溃，而不影响整个应用程序呢？
fork()可可应用程序有可能吗？当分叉时，UI、线程、GC、KVO、when将如何表现？如果启动单独的进程，如何发送和接收ObjC对象实例？(我不希望自己序列化/不序列化它们，并且在子进程结束后我需要保留它们
浏览 1提问于2010-08-05得票数 2
回答已采纳
我正在尝试将对我们API的POST请求调用卸载到Celery，因为我们很快就会每秒向我们的API发送多达10个请求，每个请求都将在我们的DB中创建超过100个对象。我想我可以把它们添加到一个队列中，然后让Redis + Celery来处理，然后再从那里开始工作。Exce
浏览 2提问于2018-02-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
