在Yarn上运行Spark时,如果您提交一个应用程序,它会调度到NodeManager节点。
NodeManager是Yarn的组件之一,负责管理和监控集群中的节点。它负责接收来自ResourceManager的任务分配请求,并在本地启动和监控容器,以运行应用程序。
Worker是Spark的组件之一,负责在集群中运行Spark任务。它负责接收来自Driver的任务分配请求,并在本地启动和监控Executor,以执行任务。
在Yarn上运行Spark时,Spark的Driver会向Yarn的ResourceManager提交应用程序,并请求资源来执行任务。ResourceManager会将任务分配给可用的NodeManager节点,然后NodeManager会启动容器来运行应用程序。容器中的Executor会执行任务,并将结果返回给Driver。
因此,Yarn会调度应用程序到NodeManager节点上,而不是Worker节点上。
领取专属 10元无门槛券
手把手带您无忧上云