在Spark Web UI中保留YARN服务器重启后完成的应用程序,可以通过以下步骤实现:
spark.eventLog.enabled
参数启用事件日志记录。该参数用于将Spark应用程序的事件日志保存到HDFS或本地文件系统中。spark.eventLog.dir
参数,指定事件日志的保存路径。例如,可以将事件日志保存到HDFS的某个目录下。yarn.log-aggregation-enable
参数为true,启用YARN的日志聚合功能。yarn.log-aggregation.retain-seconds
参数,指定YARN日志聚合后保留的时间。确保该时间足够长,以便在YARN服务器重启后能够访问到之前的应用程序日志。通过以上步骤,可以在Spark Web UI中保留YARN服务器重启后完成的应用程序,并查看其详细信息和日志记录。
请注意,以上答案中没有提及具体的腾讯云产品和链接地址,因为题目要求不提及特定的云计算品牌商。如需了解腾讯云相关产品和服务,请参考腾讯云官方文档或咨询腾讯云官方支持。
领取专属 10元无门槛券
手把手带您无忧上云