在Yarn集群上支持多个Spark版本
是指在使用Yarn作为资源管理器的分布式计算环境中，可以同时安装和运行多个不同版本的Spark框架。
概念： Yarn（Yet Another Resource Negotiator）是Apache Hadoop生态系统中的一个资源管理器，用于分配和管理集群中的计算资源。Spark是一个快速、通用的大数据处理框架，可以在分布式环境中进行高效的数据处理和分析。
分类： 多个Spark版本的支持可以分为两种情况：
- 同时支持多个主要版本的Spark，例如Spark 2.x和Spark 3.x。
- 同时支持同一主要版本的不同次要版本，例如Spark 2.4和Spark 2.3。
优势： 支持多个Spark版本可以带来以下优势：
- 平滑升级：在生产环境中，可能存在不同的应用程序使用不同版本的Spark。通过支持多个Spark版本，可以在不影响现有应用程序的情况下，逐步升级到新版本的Spark。
- 兼容性：不同版本的Spark可能具有不同的特性和API变化。通过支持多个Spark版本，可以确保现有应用程序在升级过程中保持兼容性。
- 测试和验证：支持多个Spark版本可以方便地进行测试和验证，以确保新版本的Spark在集群环境中的稳定性和性能。
应用场景： 支持多个Spark版本的Yarn集群适用于以下场景：
- 多个团队或部门使用不同版本的Spark进行开发和部署。
- 需要平滑升级现有Spark应用程序到新版本的场景。
- 需要测试和验证新版本Spark在集群环境中的性能和稳定性。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与云计算和大数据相关的产品和服务，以下是一些推荐的产品和链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
请注意，以上链接仅供参考，具体产品选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
我通过$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster在一个集群上运行多个spark作业。当Spark的新版本上线时，我想以某种方式在集群上推出一个新的发行版和旧的发行版，然后逐步一个接一个地迁移我的所有作业。不幸的是，Spark依赖于$S
浏览 8提问于2018-08-21得票数 0
回答已采纳
我有一个yarn集群和另一个仅用于向集群提交spark作业的服务器。
但是scala有多个版本，比如2.10.x和2.11.x，还有spark的多个版本，比如1.6.x,2.0.x.2.1.x。有没有办法在一台服务器上优雅地管理不同的版本？
浏览 3提问于2017-04-10得票数 1
2回答
但是，当我使用纱线-集群模式时，作业无法启动，容器返回如下语法错误：上传时间:清华5月21日08:48:16 +0800 2015日志内容：
浏览 2提问于2015-05-21得票数 2
回答已采纳
但是我想知道我什么时候需要使用Yarn和Spark处理引擎。在哪些不同的案例研究中，我可以识别YARN和Spark之间的区别？
浏览 0提问于2015-04-11得票数 4
回答已采纳
我已经在我的集群上安装了zeppelin 0.6.0，它的版本是spark 1.4.1 (HDP 2.3)。根据，我看到它支持Spark1.6，但不确定它是否向后兼容。当我尝试在notebook中运行sc.version时，我可以看到spark作业在yarn中提交，但它立即失败，并在应用程序日志Error: Could not find or load main classorg.apache.<e
浏览 0提问于2017-01-18得票数 0
我注意到，当我使用yarn在spark submit中启动一个作业时，会随机设置驱动程序和执行器节点。是否可以手动设置，以便在收集数据并将其写入文件时，每次都可以在同一节点上写入数据？到目前为止，我尝试使用的参数是：spark.yarn.am.port <driver-ip-address>和spark.driver.hostname <driver-ip-address>
谢谢!
浏览 0提问于2016-12-07得票数 1
我正尝试在Dataproc集群上运行Spark作业，但由于Yarn配置错误，Spark无法启动。从shell运行"spark-shell“时(在主机上本地运行)，以及从本地计算机通过web-GUI和gcloud命令行实用程序上传作业时，我收到以下错误：cheduler.max
浏览 0提问于2015-11-09得票数 10
回答已采纳
2回答
我们有一个Spark集群，用于对Python中的各种金融数据集进行分析，这些数据集高达数百to。Spark的主要优点是它是为分布式处理而设计的，并且能够处理更大的数据集，因此我们一直在考虑建立一个Dask集群。但这让我思考:是否有某种概念上的原因，为什么Pandas脚本不能通过实现兼容性层来将Pandas原语转换为Spark原语，从而使Pandas脚本不能在星火集群上运行，就像Dask的工作方式一样？或者它们在某种程
浏览 1提问于2018-09-11得票数 2
回答已采纳
另外，CDH 6还处于测试阶段，他们是否支持spark 2.3而没有任何花哨的东西？是否可以在支持Hadoop3的CDH或hadoop集群上运行相同的旧spark 2.x版本(特别是2.3)？我很想知道yarn，hdfs和mapreduce API的向后兼容性变化。
有没有人在生产中使用这个？
浏览 3提问于2018-09-30得票数 2
我有一个带有Hadoop2.0.0-cdh4.4.0的集群，我需要在它上运行Spark，并将纱线作为资源管理器。我从得到了以下信息
您可以启用纱线配置文件，并可以选择设置yarn.version属性(如果它与hadoop.version不同)。星火只支持纱版本2.2.0及更高版本。我不想升级整个Hadoop包来支持SearVersion2.2.0，因为我的HDFS拥有大量数据，升级它会导致服务中断时间过长，对我来说风险太大。我认为最好的选择可能是使用
浏览 4提问于2016-03-11得票数 0
回答已采纳
2回答
现在我想在spark2上运行这些测试。问题是cloudera，默认情况下它使用的是spark 1.6。 cloudera在哪里使用这个版本，我需要做什么才能更改spark的默认版本?、spark 1.6和spark 2也在同一个集群中。两个火花版本都出现在纱线上。hadoop配置文件存在于集群中，我正在使用它在测试环境上运行测试，这就是我如何获得星火上下文的方法。
浏览 0提问于2018-05-08得票数 0
回答已采纳
我使用spark-submit来运行我的spark程序，我使用--deploy-mode client和--master yarn-client来设置parameter.My问题：
Q1:是不是说--deploy-modeclient的用法和--master yarn-client的用法是一样的，都表示驱动程序在客户端运行？Q2：--deploy-mode客户端是否意味着我的程序只在一台机器上运行，而不是在集群上运行
浏览 0提问于2015-12-29得票数 3
如果我想要一个简单的设置，让我快速入门: apache-spark和mesos的组合是最简单的吗？或者只使用apache-spark会更好，因为……即mesos会增加过程的复杂性，或者mesos做了太多单独处理spark难以处理的事情，等等。我想要的是能够提交作业并轻松管理集群和作业，目前没有什么花哨的，是spark或spark/mesos或其他更好的东西……
浏览 3提问于2015-06-10得票数 0
1回答
我正在尝试用PySpark在yarn客户端模式下运行python模块。我的集群上的默认python是2.6.6，我想使用Python3，它安装在我的集群上的$/apps/anaconda/4.3.1/3/bin/python3.6路径下。当我通过下面的spark2-submit运行Spark模块时，它失败了，说明使用的是错误的Python版本。当我用yarn
浏览 0提问于2017-11-12得票数 3
但是我在yarn上有一个spark集群，我将启动命令设置为./gradlew :runners:spark:job-server:runShadow -PsparkMasterUrl=yarn(also tried yarn-client)，但只获得org.apache.spark.SparkException它没有提到'yarn'，并且在Spark便携runner<e
浏览 0提问于2019-11-28得票数 0
我正在尝试使用Yarn集群模式从VM运行以下Spark submit。 ./spark-submit --master yarn --deploy-mode client test_spark_yarn.py VM的java版本为11和spark-2.4.5，而纱线集群为java8和spark-2.4.0。
浏览 92提问于2020-04-23得票数 0
在纱线上使用spark时，spark executor和纱线容器的关系是什么？例如，当我设置executor-memory = 20G，yarn container memory = 10G时，1个executor是否包含2个容器？
浏览 0提问于2018-02-06得票数 6
我有一个现有的Hadoop集群，其版本是hadoop版本Hadoop 2.6.0-cdh5.4.2。我在这个集群上运行了一个现有的Spark (版本1.5.1)。但是，我想使用Spark2.0/Spark2.1，并进行一些代码修改。更新
我从中发现，理论上，我只需下载Spark-2.0 (+ Hadoop-2.6)，在conf/spark-en
浏览 2提问于2016-09-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
