我在我的一端运行示例作业,spark作业UI显示总正常运行时间为26秒,但当我将作业的持续时间列加起来时,它只有17-18秒,我应该依靠它来确定运行作业执行逻辑的总时间.I不关心启动和停止集群的时间.Is我如何忽略启动和停止集群的时间,并获得我的逻辑的最终执行时间。我的spark配置如下所示:
val conf = new SparkConf().setAppName("Metrics").setMaster("s
我正在尝试配置一个spark作业,在Dataproc集群上使用固定资源运行,但是在作业运行6分钟后,我注意到除了7个执行器之外,所有的执行器都被删除了。45分钟后,作业完全没有进展,我找不到任何错误或日志来解释。当我检查作业详细信息中的时间线时,它显示除了7个执行器之外的所有执行器都在6分钟标记时被删除,并显示消息Container [really long number] exited from explicit--jars=&qu