我使用的是带有GeoSpark 1.2.0扩展的Spark 2.4.3。
我有两张表要连接，作为距离距离。一个表(t1)，如果大约100K行只有一列，这就是Geospark的几何形状。另一个表(t2)大约有30M行，它由一个Geospark值和一个Geospark的几何列组成。，当我在本地运行或在我的笔记本电脑(tot mem 16 of和8核)上的本地集群上运行它时，都没有任何幸运，因为程序<em
浏览 12提问于2019-07-27得票数 0
为了更快地构建，将Gradle守护进程的最大堆大小增加到超过2048 MB。为此，在项目gradle.properties中设置org.gradle.jvmargs=-Xmx2048M。有关更多信息，请参见
错误:未明翻译错误: java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: GC开销限制超出错误: java.lang.OutOfMemoryError: GC<e
浏览 2提问于2016-08-04得票数 4
回答已采纳
1回答
具体地说，我得到这样的消息: ERROR GC开销限制超出，随后出现异常attempt_201210041336_0765_m_0000000_1: at org.apache.hadoop.mapred.Child$3.run(Child.java:157)
我在初始试验中运行的数据集应该非常小，所以
浏览 0提问于2012-11-30得票数 1
回答已采纳
我收到了齐柏林飞艇org.apache.spark.SparkException:作业中止的错误。及其描述导致: java.lang.OutOfMemoryError: GC开销限制超过。火花监测显示，GC几乎所有时间都在执行任务：
我开始调查，发现齐柏林飞艇的问题并不是效率低下的任务，但问题是我们如何运行火花。齐柏林飞艇提供了内置的火花和使用外部火花的方法(您可以在conf/齐柏林
浏览 0提问于2019-02-05得票数 0
回答已采纳
这是我的java代码，我在其中使用Apache spark sql从Hive查询数据。sqlContext.sql("Select * from Tablename").collectAsList();
当我运行这段代码时，它抛出了java.lang.OutOfMemoryError:超出了GC开销限制。如何解决这个问题或者如何在Spark配置中增加内存。
浏览 2提问于2015-08-07得票数 4
我间歇性地得到一个意外的顶级异常:当使用Maven构建Android应用程序时，GC开销限制达到或有时Java超出堆空间。我也试图关闭GC开销限制检查，但它也没有工作
此问题发生在生成的dex部分正在发生，并且只发生了大约一半的时间。基本上，它构建良好的时间的一半，它崩溃的另一半时间，要么达到GC开销限制，要么
浏览 3提问于2016-10-14得票数 2
回答已采纳
即使在sts配置文件中设置了-Xms1024m，-Xmx4096m，-XX:-UseGCOverheadLimit之后，我仍然在获取Spring中的java.lang.OutOfMemoryError:GC overhead limit exceeded，任何人都能告诉我如何修复这个错误吗？
浏览 0提问于2016-12-16得票数 0
1回答
我收到以下错误消息: java.lang.OutOfMemoryError: GC开销超出限制try (BufferedReader br = new BufferedReaderrowIndex++; } { }
我正在读取的文件是大型在运行时将VM内存增加到2048 K后，我停止了获取HeapSize错误
浏览 3提问于2020-08-12得票数 0
回答已采纳
1回答
好的，这在Java界看起来很熟悉，在RStudio中，我如何为RWeka提供更多的内存。.jcall中出错(“RWekaInterfaces”，"[S"，"tokenize"，.jcast(tokenizer，：java.lang.OutOfMemoryError:超出GC开销限制
不确定R如何连接到Java，以及我是否可以允许更多的堆空间。
浏览 4提问于2016-11-17得票数 6
我试图为不同的服务并行运行4小时的性能测试，但流在1小时内中止，并抛出内存不足错误。一段时间后，它抛出内存不足，堆内存错误
错误:线程退出错误超过GC开销限制，正在关闭JVM，因为为ActorSystemGatlingSystem java.lang.OutOfMemoryError启用了‘akka.jvm- GatlingSystem-akka.actor.default-dispatcher-4：-on-fatal- error’：超出GC开销<e
浏览 113提问于2020-11-12得票数 0
回答已采纳
我对在Spark-1.5.2中配置执行器和驱动程序内存感到困惑。我的环境设置如下：Hadoop 2.7.0 460 GB拼图格式表我正在使用spark-sql来查询spark-on-yarn的Hive上下文，但它比Hive慢得多，而且不确定Spark的正确内存配置。org.apache.spark.seria
浏览 12提问于2017-07-12得票数 0
回答已采纳
1回答
我想使用ArrayByte作为RDD中的密钥。RDD[((Array[Byte]), (String, Int)] = from dest rdd
我想使用ArrayByte作为键在rdd1因此，我尝试序列化ArrayByte，它工作得很好，正如我希望看到的那样，只是对于较小的数据集。开销超过限制，在创建对象(新SerByteArr(k))时出现问题。如何避免<
浏览 0提问于2016-09-29得票数 1
我已经搜索了，但没有找到太多关于Hadoop Datanode进程由于超过GC开销限制而死亡的信息，所以我想我应该发布一个问题。我们正在运行一个测试，我们需要确认我们的Hadoop集群能够处理大约300万个存储在其上的文件(目前是一个4节点集群)。我们使用64位JVM，并为namenode分配了8g。但是，随着我的测试程序向DFS写入更多的文件，数据节点开始消亡，并显示以下错误: Exception in thread "DataNode:
浏览 6提问于2012-04-11得票数 9
回答已采纳
在运行我的程序后，我得到以下错误：我在上看到，我应该在命令行中添加选项-XX:-UseGCOverheadLimit我该如何解决这个问题呢？
浏览 0提问于2014-04-03得票数 2
我正在写一份spark工作，根据学生日期过滤最新的学生记录。但当我尝试使用数十万条记录时，它工作得很好。但是，当我使用大量记录运行它时，我的sparkjob返回下面的错误。我猜这个错误是因为我从表中加载了所有数据并将int放入了RDD中。因为我的表包含大约420万条记录。如果是这样的话，有没有更好的方法来有效地加载这些数据并成功地继续我的操作？请任何人帮我解决这个问题
WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 10.1
浏览 22提问于2017-03-10得票数 1
我想破解一个简单地拆分核苷酸序列的快速脚本(一个类似“ATGAAGAAC...”的字符串)变成一个三元组的列表，也就是密码子(字符串："ATG"，"AAG"，"AAC"，...)用来做其他事情。这行代码有什么问题，为什么会出现"java.lang.OutOfMemoryError:超出GC开销限制“？List.empty[String]):List[String] = tripletize(s.dro
浏览 1提问于2012-08-29得票数 0
回答已采纳
如何修复这个错误“在Eclipse中超过GC开销限制”。这个问题是在我使用ADT android的图形布局时发生的。
浏览 0提问于2013-10-24得票数 12
我想知道我可以在jmeter.bat和Javafor64位Windows8OS中增加多少堆大小，以避免超过GC开销限制。
另外，jmeter.bat和java中的堆大小是否相同？
浏览 0提问于2016-08-03得票数 1
回答已采纳
1回答
每隔30分钟(如果不是更短的话)，我的ColdFusion服务器就会停止，我必须重新启动该服务。在重启服务时，我检查了日志，发现有错误显示“超出GC开销限制”。我在CF10企业版上运行，并加载了服务器监视器，我可以肯定地看到JVM内存使用量不断增长，直到达到限制(刚才我将其设置为2 2gb，因为当我将其设置得更高时，内存似乎会更快地填满)。即使我在监视器中选择了Run GC选项，它也不会大大减少内存使用量。
这很可能
浏览 1提问于2014-08-19得票数 2
2回答
性能调优配置单元查询
、、、
我有一个Hive查询，它选择大约30列和大约400,000条记录，并将它们插入到另一个表中。我的SQL子句中有一个连接，它只是一个内部连接。我是蜂巢的新手。我不明白为什么这个连接会导致内存异常。关于如何编写配置单元查询，是否有什
浏览 0提问于2012-07-09得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
