首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

在Yarn上运行Spark,如果我提交一个应用程序,它会调度哪个节点,nodemanager还是worker?

在Yarn上运行Spark时,如果您提交一个应用程序,它会调度到NodeManager节点。

NodeManager是Yarn的组件之一,负责管理和监控集群中的节点。它负责接收来自ResourceManager的任务分配请求,并在本地启动和监控容器,以运行应用程序。

Worker是Spark的组件之一,负责在集群中运行Spark任务。它负责接收来自Driver的任务分配请求,并在本地启动和监控Executor,以执行任务。

在Yarn上运行Spark时,Spark的Driver会向Yarn的ResourceManager提交应用程序,并请求资源来执行任务。ResourceManager会将任务分配给可用的NodeManager节点,然后NodeManager会启动容器来运行应用程序。容器中的Executor会执行任务,并将结果返回给Driver。

因此,Yarn会调度应用程序到NodeManager节点上,而不是Worker节点上。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

没有搜到相关的视频

领券