首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

在Yarn上运行Spark,如果我提交一个应用程序,它会调度哪个节点,nodemanager还是worker?

在Yarn上运行Spark时,如果您提交一个应用程序,它会调度到NodeManager节点。

NodeManager是Yarn的组件之一,负责管理和监控集群中的节点。它负责接收来自ResourceManager的任务分配请求,并在本地启动和监控容器,以运行应用程序。

Worker是Spark的组件之一,负责在集群中运行Spark任务。它负责接收来自Driver的任务分配请求,并在本地启动和监控Executor,以执行任务。

在Yarn上运行Spark时,Spark的Driver会向Yarn的ResourceManager提交应用程序,并请求资源来执行任务。ResourceManager会将任务分配给可用的NodeManager节点,然后NodeManager会启动容器来运行应用程序。容器中的Executor会执行任务,并将结果返回给Driver。

因此,Yarn会调度应用程序到NodeManager节点上,而不是Worker节点上。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Zzreal的大数据笔记-SparkDay03

当用Spark-shell交互式工具提交Spark的Job时,DriverMaster节点运行;当使用Spark-submit工具提交Job或者Eclips、IDEA等开发平台上使用”new SparkConf.setManager...Worker分配资源,然后Worker获取资源,然后启动StandaloneExecutorBackend; StandaloneExecutorBackend向SparkContext注册;...申请注销并关闭自己 B、YARN- Cluster模式: YARN-Cluster模式中,当用户向YARN提交一个应用程序后,YARN将分两个阶段运行应用程序: 第一个阶段是把Spark的Driver...程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等 ResourceManager收到请求后,集群中选择一个NodeManager,为该应用程序分配第一个Container...当用户提交了作业之后,就可以关掉Client,作业会继续YARN运行,因而YARN-Cluster模式不适合运行交互类型的作业 YARN-Client模式下,Application Master仅仅向

60290

Spark中文指南(入门篇)-Spark编程模型(一)

Spark重要概念 (1)Spark运行模式 目前Spark运行模式主要有以下几种: local:主要用于开发调试Spark应用程序 Standlone:利用Spark自带的资源管理与调度运行Spark...,该集群运行模式将资源管理管理交给Mesos,Spark只负责运行任务调度和计算 Hadoop YARN:集群运行Yarn资源管理器,资源管理交给YARNSpark只负责进行任务调度和计算...(2)Spark组件(Components) 一个完整的Spark应用程序,如前面一章当中的SparkWorkdCount程序,提交集群运行时,它涉及到如下图所示的组件: ?...:Standalone模式中即为Master节点(主节点),控制整个集群,监控Worker.YARN中为ResourceManager Worker:从节点,负责控制计算节点,启动Executor...YARN模式中为NodeManager,负责计算节点的控制。 Driver:运行Application的main()函数并创建SparkContect。

1.4K90
  • 大数据基础:Spark工作原理及基础概念

    集群模式 独立模式,spark自己的资源调度管理框架上运行,该框架采用master/salve结构 yarn 集群模式 yarn资源管理器框架上运行,由yarn负责资源管理,spark负责任务调度和计算...yarn 模式下运行worker节点一般指的是NodeManager节点,standalone模式下运行一般指的是slave节点。...它可以运行在application节点,也可以由application提交给Cluster Manager,再由Cluster Manager安排worker进行运行。...taskScheduler 通过集群管理中心为每一个task申请资源并将task提交worker节点上进行执行。 worker的executor执行具体的任务。 ?...yarn资源管理器的每个节点运行一个NodeManager,是ResourceManager的代理。

    1.5K40

    Spark提交任务的不同方法及执行流程

    Application:用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布集群中多个节点运行的Executor代码 Driver:运行Application的main()函数并且创建...Standalone模式中指的就是通过Slave文件配置的Worker节点Spark on Yarn模式中指的就是NodeManager节点。...Executor:运行Worker 节点的进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。...假设要提交100个application到集群运行,每次Driver会随机集群中某一台Worker启动,那么这100次网卡流量暴增的问题就散布集群。...yarn-client模式 执行流程 1.客户端提交一个Application,客户端启动一个Driver进程。

    3.7K21

    Spark on Yarn | Spark,从入门到精通

    两个组件,分管资源调度和应用管理;NodeManager 是 Slave 节点,可以部署独立的机器,用于管理机器的资源。...接受任务后创建 Driver 负责应用的调度执行,不涉及 Master 和 Worker; Local-Cluster 模式:部署一个进程,存在 Master 和 Worker 角色,它们作为独立线程存在于这个进程内...客户端提交一个任务给 Yarn ResourceManager 后,App Manager 接受任务并找到一个 Container 创建App Master,此时 App Master 运行的是 Spark...不同于上述的 Spark on Yarn-Cluster,Spark on Yarn-Client 的客户端提交完任务之后不会将 Spark Driver 托管给 Yarn,而是客户端运行。...我们来对比 Spark 集群模式 Standalone 和 Spark on Yarn 资源调度能力的区别:Spark 的 Standalone 模式只支持 FIFO 调度器,单用户串行,默认所有节点的所有资源对应用都是可用的

    86100

    Spark篇】---Sparkyarn模式两种提交任务方式

    一、前述 Spark可以和Yarn整合,将Application提交Yarn运行,和StandAlone提交模式一样,Yarn也有两种提交任务的方式。...二、具体     1、yarn-client提交任务方式 配置   client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务,具体步骤如下: ?.../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100 ? 执行原理图解 ? 执行流程 客户端提交一个Application,客户端启动一个Driver进程。...RS收到请求,随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。...RS收到请求后随机一台NM(NodeManager)启动AM(相当于Driver端)。 AM启动,AM发送请求到RS,请求一批container用于启动Executor。

    2.4K30

    Spark on Yarn | Spark,从入门到精通

    两个组件,分管资源调度和应用管理;NodeManager 是 Slave 节点,可以部署独立的机器,用于管理机器的资源。...接受任务后创建 Driver 负责应用的调度执行,不涉及 Master 和 Worker; Local-Cluster 模式:部署一个进程,存在 Master 和 Worker 角色,它们作为独立线程存在于这个进程内...客户端提交一个任务给 Yarn ResourceManager 后,App Manager 接受任务并找到一个 Container 创建App Master,此时 App Master 运行的是 Spark...不同于上述的 Spark on Yarn-Cluster,Spark on Yarn-Client 的客户端提交完任务之后不会将 Spark Driver 托管给 Yarn,而是客户端运行。...我们来对比 Spark 集群模式 Standalone 和 Spark on Yarn 资源调度能力的区别:Spark 的 Standalone 模式只支持 FIFO 调度器,单用户串行,默认所有节点的所有资源对应用都是可用的

    94510

    【推荐】Spark知识点

    Spark有以下四种部署方式,分别是:Local,Standalone,Yarn,Mesos 本地模式(Local) 该模式运行任务不会提交集群中,只节点执行,有两种情况: 本地模式: 测试或实验性质的本地运行模式...它是Spark实现的资源调度框架,其主要的节点有Client节点、Master节点Worker节点standalone部署模式下又分为client模式和cluster模式 client模式:driver...spark application成功提交给cluster后直接退出,并不等待spark application运行结果返回; 总结: yarn-cluster本地进程则仅仅只是一个client,它会优先向...所以该模式下如果结束了该进程,整个Spark任务也不会退出,因为Driver是远程运行的; 如果是Client模式,Driver就运行提交spark程序的地方,Spark Driver是需要不断与任务运行的...本地环境测试的时候经常使用; Spark on Yarn作业提交流程 YARN Client模式 YARN Client模式下,Driver在任务提交的本地机器运行,Driver启动后会和ResourceManager

    35610

    SparkSpark之what

    Application:Spark应用程序 指的是用户编写的Spark应用程序。包含, (1) Driver功能代码 (2) 分布集群中多个节点运行的Executor代码。...Worker:计算节点 集群中任何可以运行Application代码的节点,类似于Yarn中的NodeManager节点。...(1) Standalone模式中指的就是通过Slave文件配置的Worker节点 (2) Spark on Yarn模式中指的就是NodeManager节点 (3) Spark on Mesos...Executor:执行器 是Application运行Worker节点一个进程,负责运行Task,负责将数据存在内存或者磁盘上。...如图所示: Job提交就近原则 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是一个Rack(机架)里,因为Spark Application

    86820

    Spark2.x学习笔记:4、Spark程序架构与运行模式

    本地模式下,Spark应用程序以多线程形式直接在本地运行,方便程序调试。...,Worker节点启动Executor运行。...当Driver中的SparkContext初始化的时候会提交程序给Master,Master如果接受该程序Spark运行的话,就会为当前的程序分配AppID,同时会分配具体的计算资源,需要特别注意的是...,通常不会被采用),而不包含任何资源管理和调度相关的实现,这使得spark可以灵活运行在目前比较主流的资源管理系统,典型的代表是mesos和yarn,我们称之为“spark on mesos”和“spark...Spark on YARN框架解析: 基于YARNSpark作业首先由Spark客户端生成作业信息,提交给ResourceManager,ResourceManager一个NodeManager汇报时把

    92890

    Python大数据之PySpark(四)SparkBase&Core

    :使用Yarn提供了资源的调度和管理工作,真正执行计算的时候Spark本身 Master和Worker的结构是Spark Standalone结构 使用Master申请资源,真正申请到是Worker节点的...部署模式 #如果启动driver程序是本地,称之为client客户端模式,现象:能够client端看到结果 #如果在集群模式中的一台worker节点启动driver,称之为cluser集群模式...资源,指定–deploy-mode模式 由于指定cluster模式,driver启动worker节点 由driver申请资源,由Master返回worker可用资源列表 由Driver获取到资源执行后续计算...任务提交 如果spark-shell中的代码最终也会转化为spark-submit的执行脚本 Spark-Submit中可以提交driver的内存和cpu,executor的内存和cpu,–deploy-mode...Executor:一个Worker****(NodeManager)****可以运行多个Executor,Executor通过启动多个线程(task)来执行对RDD的partition进行并行计算 每个

    50240

    Spark入门-了解Spark核心概念

    本文中我们将从Spark集群角度和程序应用的角度来对相关概念进行了解 一. 站在集群角度 1.1 Master Spark 特有资源调度系统的 Leader。...等的管理(接收 Worker 的注册并管理所有的Worker,接收 Client 提交的 Application,调度等待的 Application 并向Worker 提交)。...每个 Slave 掌管着所在节点的资源信息,类似于 Yarn 框架中的 NodeManager,主要功能: 通过 RegisterWorker 注册到 Master; 定时发送心跳给 Master; 根据...执行器是一个进程(进程名: ExecutorBackend, 运行Worker 节点), 用来执行计算和为应用程序存储数据.   ...我们可以对这些文本行运行各种各样的操作. 2.4 cluster managers(集群管理器) 为了一个 Spark 集群运行计算, SparkContext对象可以连接到几种集群管理器(Spark

    32910

    Spark内部原理之运行原理

    Spark 专业术语定义 1.1 Application:Spark应用程序 指的是用户编写的Spark应用程序,包含了Driver功能代码和分布集群中多个节点运行的Executor代码。...1.4 Executor:执行器 Application 运行Worker 节点一个进程,该进程负责运行 Task,并且负责将数据存在内存或者磁盘上,每个 Application 都有各自独立的一批...1.5 Worker:计算节点 集群中任何可以运行 Application 代码的节点,类似于 Yarn 中的 NodeManager 节点。...Standalone模式中指的就是通过Slave文件配置的Worker节点Spark on Yarn模式中指的就是NodeManager节点Spark on Messos模式中指的就是Messos...3.3 Job提交就近原则 提交SparkContext的Client应该靠近Worker节点运行Executor的节点),最好是一个Rack(机架)里,因为Spark Application运行过程中

    1.1K51

    spark入门之集群角色

    Master和Worker集群资源管理 image.png Master和WorkerSpark的守护进程、集群资源管理者,即Spark特定模式下正常运行所必须的进程。...如果执行失败,会在其他服务器重写执行一次(容错处理)。 负责所有执行节点调度任务; job执行过程中,可以打开一个web界面,这就是UI展示。 Driver 是一个线程。...提交程序的服务器创建一个SparkSubmit进程,SparkSubmit进程中也会有一个客户端Client,此时客户端中并不会启动Driver。...Master接收到请求之后,会根据spark-submit提交的资源参数筛选出合适的Worker 此时Worker运行一个Executor。...yarn-cluster模式中,Dirver将会运行在ApplicationMaster运行的服务器。 程序启动时会创建一个SparkContext进程,该进程同样维护一个Client端。

    59820

    带你理解并亲手实践 Spark HA 部署配置及运行模式

    节点机器 hadoop100 执行以下命令: $SPARK_HOME/sbin/start-all.sh Spark 会进行集群群起, hadoop100 启动 Master 及 Worker...5.5.YARN 模式下执行 Spark 程序 hadoop100 节点执行以下命令停止 Spark 集群: $SPARK_HOME/sbin/stop-all.sh 再到 hadoop101 节点执行以下命令停止...)来执行 Tasks; 然后 NodeManager 取代了 Spark 中的 Worker,将 Driver 作为一个 ApplicationMaster YARN 集群中启动,并向 ResourceManager...请求 Executor,Client 会和请求的 Container 通信来调度他们工作,也就是说 Client 不能离开; YARN-Cluster 模式下,Spark 的 Driver 运行在...ApplicationMaster 中,负责向 ResourceManager 申请资源(NodeManager),并监督作业的运行状况,当用户提交了作业之后,就可以关掉 Client,作业会继续 YARN

    2.2K91

    Spark内核详解 (1) | Spark内核的简要概述

    Worker(Worker, NodeManager) Spark 的工作节点. Yarn 部署模式下实际由 NodeManager 替代....Driver Spark 作业执行时主要负责: 将用户程序转化为作业(Job); Executor 之间调度任务(Task); 跟踪 Executor 的执行情况; 通过 UI 展示查询运行情况...Executor Spark Executor 节点是负责 Spark 作业中运行具体任务,任务彼此之间相互独立。...如果有 Executor 节点发生了故障或崩溃,Spark 应用也可以继续执行,会将出错节点的任务调度到其他 Executor 节点继续运行。...上图为 Spark 通用运行流程,不论 Spark 以何种模式进行部署,都是以如下核心步骤进行工作的: 任务提交后,都会先启动 Driver 程序; 随后 Driver 向集群管理器注册应用程序; 之后集群管理器根据此任务的配置文件分配

    93110

    加米谷学院:Spark核心技术原理透视一(Spark运行原理)

    指的是用户编写的Spark应用程序,包含了Driver功能代码和分布集群中多个节点运行的Executor代码。...: 4、Executor:执行器 Application运行Worker节点一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上,每个Application都有各自独立的一批Executor...,如下图所示: 5、Worker:计算节点 集群中任何可以运行Application代码的节点,类似于Yarn中的NodeManager节点。...Standalone模式中指的就是通过Slave文件配置的Worker节点Spark on Yarn模式中指的就是NodeManager节点Spark on Messos模式中指的就是Messos...如图所示: 3、Job提交就近原则 提交SparkContext的Client应该靠近Worker节点运行Executor的节点),最好是一个Rack(机架)里,因为Spark Application

    1.9K151

    Spark调度系统

    一,简介 Spark调度机制可以理解为两个层面的调度。首先,是Spark Application调度。也就是Spark应用程序集群运行调度应用程序包括Driver调度和Executor调度。...YARN模式下,按如下所示每个NodeManager启动shuffle 服务: A),在编译Spark的时候要添加yarn属性。假如,已经添加该属性,并分发到集群中,跳过此步骤。...D),每个节点yarn-site.xml中,给属性yarn.nodemanager.aux-services增加一个spark_shuffle值,然后yarn.nodemanager.aux-services.spark_shuffle.class...可以使用外部shuffle服务保存shuffle输出文件,从spark 1.2开始引入。此服务是指一个长期运行的进程,它们独立于Spark应用程序及其executors,集群的每个节点运行。...四,Spark App内部调度 在给定的Spark应用程序(SparkContext实例)中,如果从单独的线程提交多个并行作业,则可以同时运行

    1.7K80
    领券