首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在spark web-ui中保留yarn服务器重启后完成的应用程序

在Spark Web UI中保留YARN服务器重启后完成的应用程序,可以通过以下步骤实现:

  1. 确保Spark集群已经正确配置和启动,并且YARN作为资源管理器。
  2. 在Spark应用程序中,使用spark.eventLog.enabled参数启用事件日志记录。该参数用于将Spark应用程序的事件日志保存到HDFS或本地文件系统中。
  3. 配置spark.eventLog.dir参数,指定事件日志的保存路径。例如,可以将事件日志保存到HDFS的某个目录下。
  4. 在YARN配置文件中,配置yarn.log-aggregation-enable参数为true,启用YARN的日志聚合功能。
  5. 配置yarn.log-aggregation.retain-seconds参数,指定YARN日志聚合后保留的时间。确保该时间足够长,以便在YARN服务器重启后能够访问到之前的应用程序日志。
  6. 重启YARN服务器。
  7. 在Spark Web UI中,通过点击"Completed Applications"或类似的选项,查看之前完成的应用程序列表。
  8. 在列表中选择特定的应用程序,可以查看该应用程序的详细信息,包括任务执行情况、日志等。

通过以上步骤,可以在Spark Web UI中保留YARN服务器重启后完成的应用程序,并查看其详细信息和日志记录。

请注意,以上答案中没有提及具体的腾讯云产品和链接地址,因为题目要求不提及特定的云计算品牌商。如需了解腾讯云相关产品和服务,请参考腾讯云官方文档或咨询腾讯云官方支持。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • HTTP常见端口_8443端口

    常见端口地点 HTTP服务器,默认的端口号为80/tcp(木马Executor开放此端口); HTTPS(securely transferring web pages)服务器,默认的端口号为443/tcp 443/udp; Telnet(不安全的文本传送),默认端口号为23/tcp(木马Tiny Telnet Server所开放的端口); FTP,默认的端口号为21/tcp(木马Doly Trojan、Fore、Invisible FTP、WebEx、WinCrash和Blade Runner所开放的端口); TFTP(Trivial File Transfer Protocol ),默认的端口号为69/udp; SSH(安全登录)、SCP(文件传输)、端口重定向,默认的端口号为22/tcp; SMTP Simple Mail Transfer Protocol (E-mail),默认的端口号为25/tcp(木马Antigen、Email Password Sender、Haebu Coceda、Shtrilitz Stealth、WinPC、WinSpy都开放这个端口); POP3 Post Office Protocol (E-mail) ,默认的端口号为110/tcp; WebLogic,默认的端口号为7001; Webshpere应用程序,默认的端口号为9080; webshpere管理工具,默认的端口号为9090; JBOSS,默认的端口号为8080; TOMCAT,默认的端口号为8080; WIN2003远程登陆,默认的端口号为3389; Symantec AV/Filter for MSE ,默认端口号为 8081; Oracle 数据库,默认的端口号为1521; ORACLE EMCTL,默认的端口号为1158; Oracle XDB( XML 数据库),默认的端口号为8080; Oracle XDB FTP服务,默认的端口号为2100; MS SQL*SERVER数据库server,默认的端口号为1433/tcp 1433/udp; MS SQL*SERVER数据库monitor,默认的端口号为1434/tcp 1434/udp; QQ,默认的端口号为1080/udp

    03
    领券