由于下面的jquery错误，我的spark历史服务器无法加载。at m.fn.init.map (jquery-1.11.1.min.js:2) at HTMLTableElement<anonymous> (jquery.dataTables.1.10.4.min.js:92)
at Function.each
浏览 9提问于2020-01-08得票数 0
所以，我试着使用这个叫做DAg的东西来查看spark history-server，我知道它可以帮助我查看过去的作业。我可以轻松地访问端口18080，并且可以看到历史服务器UI。我知道我在运行历史服务器，因为当我执行sudo service --status-all时，我看到所以我已经尝试过这个问题的意思
浏览 5提问于2017-05-17得票数 10
1回答
我试图启动历史服务器但是得到了以下错误。/logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out更新1:
浏览 0提问于2015-12-15得票数 5
我已经尝试设置为在完成应用程序后在Spark UI上查看。我有一台四台计算机:一台是主集群，其余的是从集群。spark.eventLog.dir hdfs://namenode/shared/spark-logs
是否只需要在主群集上输入这些内容？我在spark-defaults.conf中尝试了这两种方法，但是当我运行spark
浏览 13提问于2017-03-14得票数 0
我已经在独立模式下按照设置了Spark2.1.1集群(1主2从站)。我在机器上没有预先的Hadoop设置。我想启动火花历史服务器。/start-history-server.shspark.eventLog.enabled true7/06/29 22at org.apache.spark.deploy.history.FsHistoryPr
浏览 3提问于2017-06-29得票数 8
回答已采纳
通过API调用运行Python火花应用程序-在提交应用程序-响应-失败的SSH到工作人员/root/spark/work/driver-id/wordcount.py错误可在显示以下错误- File "/root/wor
浏览 15提问于2016-07-13得票数 24
回答已采纳
1回答
如何获得火花作业的指标？
、、、
我们有一个集群，它有大约20个节点。这个集群在许多用户和作业中共享。因此，我很难观察我的工作，以便得到一些指标，如CPU使用、I/O、网络、内存等。PS:集群已经安装了Ganglia，但不确定如何使它在作业级别工作。我想要做的是监视集群仅用于执行我的任务的资源。
浏览 1提问于2015-12-07得票数 9
我在Azure上使用cloudbreak安装了一个HDP 2.5 Hadoop/Spark集群。
除了spark历史服务器，一切都能正常工作。在日志中，它显示事件日志hdfs:///spark-history的默认uri为false，缺少主机名。当与hdsf dfs -ls一起使用时，这个uri可以工作，但是spark历史服务器仍然不能启动。但是我不确定如何让历史服务器在启动时使用ambari配置编辑器加
浏览 2提问于2017-03-23得票数 0
2回答
Apache火花历史服务器日志
、、、、
我的Apache应用程序处理巨大的RDD并通过历史服务器生成EventLogs。如何将这些日志导出并导入到另一台计算机，以便通过历史服务器UI查看它们？
浏览 1提问于2018-09-26得票数 2
回答已采纳
我正在使用星火历史服务器来监视它的进程。但是，当日志变得非常大时，星火历史服务器和EMR都会停止更新。我的EMR工作是否还在运行，还是已经停止工作了？此外，当火花历史服务器停止崩溃时，我的所有EC2实例都会从> 75%的CPU利用率上升到0%的利用率(它们随后会增加到<75%)，而EMR控制台显示了保留的0个容器和释放的所有内存(它们也会在之后恢复正常当日志变得非常大时，有什么方法可以让Spark历史服务器工作吗？
谢谢。
浏览 3提问于2020-09-09得票数 2
回答已采纳
)时，重新加载浏览器窗口。Spark UI示例屏幕截图：(显然，我第一次加载页面是在应用程序处于阶段41的时候。刷新浏览器不会显示任何更新/更改，而应用程序正在运行。当应用程序完成时，重新加载浏览器将显示最终状态--即所有阶段完成。)我们在安巴里将spark.history.fs.update.interval设置为10s，希望这可能是相关的。我查看了运行历史服务器的主节点，发现Ambari的更改似乎被推了出来：/usr&#
浏览 0提问于2018-08-19得票数 2
s3a://spark-logs-test/spark.history.providerorg.apache.hadoop.fs.s3a.S3AFileSystem
Spark History Server也从conf/spark-defaults.c
浏览 0提问于2016-10-07得票数 6
在Spark中，事件日志目录和历史服务器日志目录有什么区别？spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps
浏览 3提问于2015-08-14得票数 18
我正在使用spark2.0.2，但我看不到历史日志网页：页面永远卡住了/usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.history.HistoryServer-1-localhost.out
我在$SPARK_HOME/config/spark-
浏览 12提问于2017-02-13得票数 1
我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer我在本地运行了spark</e
浏览 2提问于2019-05-02得票数 1
1回答
通常，当我想要分析作业的性能或了解它失败的原因时，我会查看spark历史服务器中的DAG可视化和作业错误等。例如，如果作业由于堆错误或Fetchfailed等原因而失败，我可以在spark历史服务器中清楚地看到它。但是，当我查看写入日志URI S3存储桶的stderr日志文件时，似乎找不到这样的描述。我使用pyspark并将日志级别设置为 sc = spark.sparkContext
sc.setLogLevel('DEBUG')
浏览 20提问于2021-01-19得票数 1
回答已采纳
版本Hadoop 2.7Spark事件日志位于亚马逊S3中。我可以将日志文件保存在S3中，但不能从历史服务器读取。安装在/usr/local/spark上的Apache Spark$ cd /usr/l
浏览 1提问于2018-01-24得票数 1
2回答
我想使用Spark的历史服务器来使用我的Web的日志机制，但是我发现在我的Windows机器上运行这段代码有些困难。反映：SPARK_HISTORY_OPTS "-Dspark.history.fs.logDirectory/c/spark
浏览 6提问于2016-07-17得票数 0
回答已采纳
sbin/start-history-server.sh ~/Downloads/log/app-20170416171823-0000failed to launch: nice -n 0 /usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-class org.apache.spark.de
浏览 1提问于2017-04-17得票数 0
我是通过历史服务器的REST来做到这一点的。然而，我只得到20行数据，而在Spark中，所有的任务都会被反映出来(超过100 )。我附上了来自历史服务器的截图和日志。
在上面的图片中，您可以看到121项任务是如何在UI中显示的(由于空间不足，我不会附加121项任务的完整屏幕截图)，但是当我查询REST时，只有20行。不管我用什么工具。我将历史服务器的日志粘贴到这里。: Replaying log path: file:/tmp/spark-event
浏览 5提问于2016-04-15得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号