1回答
可以从Spark RDD的.map()函数中的IgniteRdd中读取数据吗？dataPages=247, reusePages=0] object test extends App { .setAppName("IgniteRDDExample") .set(&qu
浏览 0提问于2019-11-14得票数 0
:149) at org.apache.spark.InterruptibleIterator.hasNextat org.apache.spark.rdd.RDD.iterator(RDD.scala:232) at org.apa
浏览 2提问于2014-06-04得票数 9
回答已采纳
我使用Dao方法通过hibernate3从db中获取一些实体(实体返回后，会话关闭)，并将其封装成广播供所有执行器使用。将spark.serializer设置为org.apache.spark.serializer.KryoSerializer后，异常抛出: KryoException org.hibernate.LazyInitializationException...未关闭任何会话或会话。
浏览 1提问于2017-11-09得票数 2
).set("spark.app.name", "sparkhivesqltest")
.set("spark.cores.max", "2").set("spark.executor.memory:线程中的"sparkDriver-akka.remote.default-remote-dispatcher-5“异常抛出的java.lang.OutOfMemoryError -线程”洗牌-服务器</e
浏览 2提问于2015-12-10得票数 1
我正在研究在spark结构的流媒体应用上启用spark投机。当投机杀死任务时，spark正在记录大量的ClosedByInterruptException异常。这些异常大多来自org.apache.spark.storage.DiskBlockObjectWriter.revertPartialWritesAndClose方法内部。 忽略这些异常是安全的吗？当投机关闭时，看不到这些异常。我使用的是Spark 2.4.
浏览 24提问于2019-07-02得票数 1
回答已采纳
我使用Spark来查询配置单元，然后进行转换。我的Scala应用创建了多个Spark应用。只有在关闭前一个spark应用的SparkSession和Spark上下文后，才会创建新的Spark应用。但是，在停止sc和spark时，不知何故，与Hive Metastore (Mysql)的连接未正确销毁。对于每个，Spark App我可以看到大约5个Mysql连接被创建(旧的连接仍然活跃！)。如何强制spark关闭到My
浏览 23提问于2017-08-15得票数 0
在安装之后，当我运行"ipython --profile=pyspark“时，它抛出了以下异常 42
---> 43 sc = SparkContext(pyFiles=add_files= os.environ.get('SPARK<
浏览 0提问于2016-04-14得票数 0
我试图使用spark和java加载一个。代码在客户端模式(在我的本地机器上)运行良好，但它在集群模式(即服务器上)中给出了FileNotFound异常。SparkSession spark = SparkSession .config("spark.mesos.coarse","true")
.config("
浏览 0提问于2019-06-17得票数 0
我刚刚开始学习Spark，有相当多的事情让我惊恐不已。其中一个最简单的问题是，似乎有一些Spark streaming属性并没有在文档中公开。在查看超时异常时，我发现了一个这样的属性，它实际上关闭了我的块管理器，并让我的接收器运行(这是一种疯狂的行为，我还没有弄清楚)。另一位用户描述了相同的异常。我发现正在检查其中提到的一些配置，而这些配置在Spark的文档中是缺失的。以下是被接受的答案建议检查的(超级机密)属性：
spark.streaming.driver.writ
浏览 0提问于2020-05-08得票数 0
我也设置了spark.cleaner.ttl，之后我也得到了同样的错误。有人能帮帮忙吗？:88) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:62) at org.ap
浏览 3提问于2016-10-21得票数 1
我从终端运行服务器，希望在那里打印出异常以便调试。但即使API 500s，它也不打印任何内容。
有没有办法打印出spark处理的所有异常？
浏览 1提问于2016-11-06得票数 4
从数据库的一个表创建数据框架很好，但是当我对创建的对象执行一些操作时，我会得到下面的错误，上面写着"SQL错误或缺少数据库(连接关闭)“。有趣的是，我还是得到了手术的结果。/spark/bin/spark-shell --master local[8] --jars ../libraries/sqlite-jdbc-3.8.11.1.jar --classpath ..$$anon$1.org$apache$spark$sql$execution$datasour
浏览 2提问于2015-09-30得票数 1
回答已采纳
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。从日志中，spark可以正确地获取hive的节约URI。我使用spark sql并在spark-sh
浏览 0提问于2019-04-20得票数 0
我有两个服务器节点运行与火花工人并置。我正在使用共享点燃RDD来保存我的数据。如果启动两个服务器节点的代码都失败，则只有一个服务器节点处于凝视状态时，我的代码才能正常工作。</property> </property></property>
我知道这个异常通常意味着没有启动或停止并尝试同样的操作，但是我不认为是
浏览 4提问于2016-11-23得票数 2
所以，这是我当前的配置.set('spark.driver.memory', '80G')但现在我得到了这个garbage collection issue。我知道这只是一个调试异常，我可以将其关闭。但我仍
浏览 25提问于2018-08-29得票数 6
回答已采纳
1回答
我想使用星火集群将处理减少到15秒以下：
问题2：将处理结果传输回调用方代码的推荐方法是什么？问题3：如何将作业完成情况通知调用方代码(或故障(如星火群集关闭、作业超时、火花代码中的异常)
浏览 4提问于2016-08-06得票数 2
回答已采纳
在Jupyter中，我创建了如下spark session .master("yarn") .getOrCreate()
但是我忘记了spark.stop()和关闭了Jupyter笔记本。我想调用stop()到旧的会话，所以我尝试了getOrCreate()，但是spark历史服务器显示新
浏览 66提问于2020-02-28得票数 2
我在yarn上做了一个spark-submit，我得到了下面的错误。你知道我做错了什么吗？16/07/05 14:21:49信息spark.SparkContext:已成功停止SparkContext 16/07/05 14:21:49信息yarn.ApplicationMaster:注销ApplicationMaster失败(诊断消息: User类抛出异常: java.lang.NoSuchMethodError: User remote.RemoteActorRefProvider$Remotin
浏览 7提问于2016-07-06得票数 1
我正在使用spark，并得到了这样一个错误，它停止了整个spark过程：only one SparkContext may be running in this JVM (see SPARK-2243).The other SparkContext org.apache.spark<
浏览 0提问于2015-02-28得票数 3
我尝试在ES中创建索引并存储来自HBase的数据，但在连接到ES服务器时收到了“用户未经授权或访问被拒绝”的问题。我已经和行动小组联系过了，并将ES服务器弹出，尝试运行应用程序并获得附加异常--线程"main“org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:中的异常无法检测ES版本通常情况下，如果无法访问网络/Elasticsearch集群，或者当针对WAN/Cloud实例而没有在org.elasticsearch.s
浏览 2提问于2018-06-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
