1回答
IgniteRDD火花
apache-spark、ignite
可以从Spark RDD的.map()函数中的IgniteRdd中读取数据吗？dataPages=247, reusePages=0] object test extends App { .setAppName("IgniteRDDExample") .set(&qu
浏览 0提问于2019-11-14得票数 0
3回答
java.io.IOException: Filesystem关闭时，Spark在大型混洗作业上失败
scala、hadoop、hdfs、apache-spark
:149) at org.apache.spark.InterruptibleIterator.hasNextat org.apache.spark.rdd.RDD.iterator(RDD.scala:232) at org.apa
浏览 2提问于2014-06-04得票数 9
回答已采纳
1回答
使用kryo.KryoException org.hibernate.LazyInitializationException将spark.serializer设置为kryo
hibernate、session、apache-spark、exception、kryo
我使用Dao方法通过hibernate3从db中获取一些实体(实体返回后，会话关闭)，并将其封装成广播供所有执行器使用。将spark.serializer设置为org.apache.spark.serializer.KryoSerializer后，异常抛出: KryoException org.hibernate.LazyInitializationException...未关闭任何会话或会话。
浏览 1提问于2017-11-09得票数 2
1回答
使用java代码中的HiveContext为hive1.2.0抛出内存错误
java、hadoop、apache-spark、hive、apache-spark-sql
).set("spark.app.name", "sparkhivesqltest")
.set("spark.cores.max", "2").set("spark.executor.memory:线程中的"sparkDriver-akka.remote.default-remote-dispatcher-5“异常抛出的java.lang.OutOfMemoryError -线程”洗牌-服务器</e
浏览 2提问于2015-12-10得票数 1
1回答
当火花投机杀死任务时，是否会出现ClosedByInterruptException异常？
apache-spark
我正在研究在spark结构的流媒体应用上启用spark投机。当投机杀死任务时，spark正在记录大量的ClosedByInterruptException异常。这些异常大多来自org.apache.spark.storage.DiskBlockObjectWriter.revertPartialWritesAndClose方法内部。 忽略这些异常是安全的吗？当投机关闭时，看不到这些异常。我使用的是Spark 2.4.
浏览 24提问于2019-07-02得票数 1
回答已采纳
1回答
如何在停止上下文后强制关闭与mysql的Spark Hive metastore连接？
mysql、apache-spark、hive、metastore
我使用Spark来查询配置单元，然后进行转换。我的Scala应用创建了多个Spark应用。只有在关闭前一个spark应用的SparkSession和Spark上下文后，才会创建新的Spark应用。但是，在停止sc和spark时，不知何故，与Hive Metastore (Mysql)的连接未正确销毁。对于每个，Spark App我可以看到大约5个Mysql连接被创建(旧的连接仍然活跃！)。如何强制spark关闭到My
浏览 23提问于2017-08-15得票数 0
3回答
使用IPython时出现PySpark异常
apache-spark、ipython、pyspark
在安装之后，当我运行"ipython --profile=pyspark“时，它抛出了以下异常 42
---> 43 sc = SparkContext(pyFiles=add_files= os.environ.get('SPARK<
浏览 0提问于2016-04-14得票数 0
1回答
使用SparkContext.addFile加载文件，并使用Load或csv方法加载文件
apache-spark、apache-spark-sql
我试图使用spark和java加载一个。代码在客户端模式(在我的本地机器上)运行良好，但它在集群模式(即服务器上)中给出了FileNotFound异常。SparkSession spark = SparkSession .config("spark.mesos.coarse","true")
.config("
浏览 0提问于2019-06-17得票数 0
1回答
为什么会有隐藏的Spark流属性？
apache-spark、spark-streaming
我刚刚开始学习Spark，有相当多的事情让我惊恐不已。其中一个最简单的问题是，似乎有一些Spark streaming属性并没有在文档中公开。在查看超时异常时，我发现了一个这样的属性，它实际上关闭了我的块管理器，并让我的接收器运行(这是一种疯狂的行为，我还没有弄清楚)。另一位用户描述了相同的异常。我发现正在检查其中提到的一些配置，而这些配置在Spark的文档中是缺失的。以下是被接受的答案建议检查的(超级机密)属性：
spark.streaming.driver.writ
浏览 0提问于2020-05-08得票数 0
1回答
获取broadcast5的broadcast_5_piece0失败
java、apache-spark、cassandra
我也设置了spark.cleaner.ttl，之后我也得到了同样的错误。有人能帮帮忙吗？:88) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:62) at org.ap
浏览 3提问于2016-10-21得票数 1
1回答
sparkjava:在控制台中打印异常？
spark-java
我从终端运行服务器，希望在那里打印出异常以便调试。但即使API 500s，它也不打印任何内容。
有没有办法打印出spark处理的所有异常？
浏览 1提问于2016-11-06得票数 4
1回答
SQLITE_ERROR:当通过JDBC连接到SQLite数据库时，连接是关闭的
sqlite、jdbc、apache-spark、apache-spark-sql
从数据库的一个表创建数据框架很好，但是当我对创建的对象执行一些操作时，我会得到下面的错误，上面写着"SQL错误或缺少数据库(连接关闭)“。有趣的是，我还是得到了手术的结果。/spark/bin/spark-shell --master local[8] --jars ../libraries/sqlite-jdbc-3.8.11.1.jar --classpath ..$$anon$1.org$apache$spark$sql$execution$datasour
浏览 2提问于2015-09-30得票数 1
回答已采纳
3回答
Spark sql在HDP的配置单元中找不到表
apache-spark、hive、hdp
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。从日志中，spark可以正确地获取hive的节约URI。我使用spark sql并在spark-sh
浏览 0提问于2019-04-20得票数 0
我有两个服务器节点运行与火花工人并置。我正在使用共享点燃RDD来保存我的数据。如果启动两个服务器节点的代码都失败，则只有一个服务器节点处于凝视状态时，我的代码才能正常工作。</property> </property></property>
我知道这个异常通常意味着没有启动或停止并尝试同样的操作，但是我不认为是
浏览 4提问于2016-11-23得票数 2
2回答
Pyspark: java.lang.OutOfMemoryError:超出GC开销限制
apache-spark、pyspark、apache-spark-sql
所以，这是我当前的配置.set('spark.driver.memory', '80G')但现在我得到了这个garbage collection issue。我知道这只是一个调试异常，我可以将其关闭。但我仍
浏览 25提问于2018-08-29得票数 6
回答已采纳
1回答
从代码中按需启动火花作业。
scala、apache-spark
我想使用星火集群将处理减少到15秒以下：
问题2：将处理结果传输回调用方代码的推荐方法是什么？问题3：如何将作业完成情况通知调用方代码(或故障(如星火群集关闭、作业超时、火花代码中的异常)
浏览 4提问于2016-08-06得票数 2
回答已采纳
1回答
如何调用spark.stop()旧会话？
apache-spark、jupyter-notebook
在Jupyter中，我创建了如下spark session .master("yarn") .getOrCreate()
但是我忘记了spark.stop()和关闭了Jupyter笔记本。我想调用stop()到旧的会话，所以我尝试了getOrCreate()，但是spark历史服务器显示新
浏览 66提问于2020-02-28得票数 2
0回答
Spark-submit on Yarn errors YarnConfiguration.useHttps NoSuchMethodError
apache-spark、apache-spark-sql
我在yarn上做了一个spark-submit，我得到了下面的错误。你知道我做错了什么吗？16/07/05 14:21:49信息spark.SparkContext:已成功停止SparkContext 16/07/05 14:21:49信息yarn.ApplicationMaster:注销ApplicationMaster失败(诊断消息: User类抛出异常: java.lang.NoSuchMethodError: User remote.RemoteActorRefProvider$Remotin
浏览 7提问于2016-07-06得票数 1
2回答
在同一个JVM上运行多个SpartContexts
apache-spark、spark-streaming
我正在使用spark，并得到了这样一个错误，它停止了整个spark过程：only one SparkContext may be running in this JVM (see SPARK-2243).The other SparkContext org.apache.spark<
浏览 0提问于2015-02-28得票数 3
2回答
异常--“网络/弹力搜索集群无法访问或针对广域网/云实例”
elasticsearch、kibana、elasticsearch-spark
我尝试在ES中创建索引并存储来自HBase的数据，但在连接到ES服务器时收到了“用户未经授权或访问被拒绝”的问题。我已经和行动小组联系过了，并将ES服务器弹出，尝试运行应用程序并获得附加异常--线程"main“org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:中的异常无法检测ES版本通常情况下，如果无法访问网络/Elasticsearch集群，或者当针对WAN/Cloud实例而没有在org.elasticsearch.s
浏览 2提问于2018-06-18得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号