如何在EMR上启动主机和从机
在EMR上启动主机和从机的步骤如下：
- 登录到腾讯云控制台，进入EMR服务页面。
- 在EMR服务页面，点击左侧导航栏的“集群列表”，然后点击“创建集群”。
- 在创建集群页面，选择合适的地域和可用区，根据需求选择合适的EMR版本和实例规格。
- 在“软件配置”部分，选择需要的软件组件，例如Hadoop、Spark等。
- 在“网络与安全组”部分，选择合适的VPC和子网，并配置安全组规则。
- 在“节点配置”部分，选择“主机组配置”，设置主机组的数量和实例规格。
- 在“节点配置”部分，选择“从机组配置”，设置从机组的数量和实例规格。
- 在“高级配置”部分，可以根据需求进行更详细的配置，例如自定义启动脚本、自定义环境变量等。
- 点击“下一步”，进入“确认配置”页面，确认配置无误后点击“立即购买”。
- 等待一段时间，集群创建完成后，可以在集群列表中看到新创建的集群。
- 在集群列表中，点击集群名称进入集群详情页面。
- 在集群详情页面，可以看到主机组和从机组的状态，如果状态为“运行中”，则表示主机和从机已经启动成功。
启动主机和从机后，您可以使用EMR提供的各种工具和服务进行数据处理、分析和计算。例如，您可以使用Hadoop和Spark进行大数据处理，使用Hive和Presto进行数据查询和分析，使用Flink进行流式计算等。
腾讯云提供的与EMR相关的产品是腾讯云弹性MapReduce（EMR）服务。您可以在腾讯云控制台的EMR服务页面了解更多关于EMR的信息和产品介绍。
腾讯云EMR服务页面链接：https://cloud.tencent.com/product/emr
相关·内容
1回答
您可以使用脚本启动Spark Cluster节点吗？
apache-spark、amazon-ec2
我在亚马逊网络服务EC2的一个四节点集群上运行Hadoop和Spark。
在做了大量的web研究之后，似乎在集群上启动Spark的公认方法(一旦Hadoop正在运行)是：
1)登录主节点，运行start-master.sh。
2)登录每个从节点，运行start-slve.sh，向其传递主节点的DNS和端口信息。
我的问题是:如果有，假设有20个节点，这是相当乏味和耗时的。有没有办法像Hadoop那样从某个本地化位置启动Spark？当您从主节点运行Hadoop时，它会远程启动所有从节点。我正在寻找这样的解决方案，或者是可以通过SSH进入节点并启动它们的python脚本。
浏览 8提问于2019-11-20得票数 0
回答已采纳
3回答
如何修复电火花EMR笔记本- org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient :无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient的错误
apache-spark、hadoop、pyspark、amazon-emr、hive-metastore
我试图使用spark.sql()或sqlContext.sql()方法在公共数据集中运行SQL查询(在这里，火花是我们启动EMR时可用的SparkSession对象的变量)，该数据集使用安装了Hadoop、spark和Livy的EMR笔记本。但是，在运行任何基本SQL查询时，我将面临以下错误：
AnalysisException: u'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMet
浏览 0提问于2019-09-04得票数 5
1回答
我们需要在EMR中为master和core创建两个AMI吗？
amazon-web-services、amazon-emr、amazon-ami
我需要为spark作业创建一个AWS EMR集群，其中有一个主节点和4个具有自动扩展功能的核心节点。我需要有不同的实例类型的主和核心与Ubuntu 16.0安装在它上。因此，我是否需要为这个主服务器和从服务器创建两个AMI。
浏览 0提问于2018-10-04得票数 0
1回答
在EMR机群外运行Spark客户端并与纱线连接
apache-spark、hadoop-yarn、amazon-emr
我有以下情况：
我在一家大公司工作。
我们有一个EMR集群，在纱线上运行Spark/Hadoop堆栈。
我可以SSH到集群的主节点，从那里，我可以创建火花外壳或火花提交作业到星火集群没有任何问题。
但是，我想在我公司的服务器上运行Spark客户端，因为我们所有的代码库都在那里，因此我有能力在该服务器上进行主动开发，因为我可以克隆并推送到位于我公司服务器上的存储库。我不想把所有的公司代码转移到AWS的主节点进行主动开发。
那么，我如何修改星火设置来使用AWS的纱线作为资源管理器呢？
我尝试将星火安装(在/user/lib/spark中)和HADOOP_CONF_DIR (
浏览 4提问于2016-12-06得票数 3
2回答
未使用AWS EMR上的1个从节点
apache-spark、amazon-emr、htop
我使用以下命令运行存储在AWS EMR集群的主节点上(一个主服务器和两个从服务器，每个具有8GB RAM和4个核的)的pyspark代码-
spark-submit --master yarn --deploy-mode cluster --jars /home/hadoop/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar --driver-class-path /home/hadoop/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45.jar --co
浏览 7提问于2020-07-06得票数 1
1回答
AWS EMR中主从安全组的端口
amazon-web-services、amazon-emr、hadoop2
我在一个高度监管和安全的金融机构工作。我们正在使用AWS EMR 5.20。我们使用瞬态/持久的EMR集群。由于安全/体系结构的限制，我们不能将整个端口范围作为架构评审板对象()打开。我们通常使用单个主节点和核心节点(不使用任务节点)。我们有一个主安全组和一个从(核心)安全组。AWS没有提供我们应该保持打开的特定端口。主节点和从节点需要相互通信，因此我们保留了“所有”端口(0-65K)、UDP端口(0-65K)、所有ICMP(0-65K)和端口8443(TCP)- -这是用于与集群管理器进行主节点通信的。主/从安全组中的每个条目都包含主/从的源，以便主从通信。我试着按照为主服务器打开更多的端口
浏览 6提问于2020-01-28得票数 1
2回答
如何设置AWS/星火现场添加更多的工作节点使用CLI？
amazon-web-services、apache-spark、emr
以下是我的目标:使用EMR5.3.0或EMR5.4.0与Spark2.1.0通过AWS创建按需Hadoop集群(需要指定的节点数)，同时将输入和输出数据存储在S3中，而不必担心管理用于数据存储的24*7集群或HDFS。
以下是我的挑战/问题：( a)我可以使用'aws创建-集群‘命令来完成上面的工作，并指定节点的数量？对吗？例如，如果我指定了参数
--instance-count 10
这将创建一个主节点和9个核心节点？
( b)如果我使用'aws创建-集群‘，我是否可以动态添加更多的工作节点(我猜这称为任务节点)，以便使用CLI来加快作业速度？
( c)如果我在集群上
浏览 0提问于2017-03-16得票数 2
1回答
在amazon emr上运行时，应指定哪些内容作为spark master
apache-spark、amazon-emr
斯帕克有在使用EMR web界面创建新集群时，可以添加一个自定义步骤，在集群启动时执行Spark应用程序，基本上是在集群启动后自动执行spark-submit。
我一直在想，在启动EMR集群并通过指定的EMR步骤提交jar文件时，如何在应用程序中指定SparkConf的主节点？
事先不可能知道集群主机的IP，如果我手动启动集群，然后在调用spark-submit之前使用这些信息构建我的应用程序，就会出现这种情况。
代码片段：
SparkConf conf = new SparkConf().setAppName("myApp").setMaster("spark:\\?
浏览 1提问于2016-12-09得票数 4
1回答
SparkException java IOException:未能在/tmp/blockmgr中创建本地dir
apache-spark、hadoop、hive、amazon-emr、beeline
我有一个带有星火的AWS电子病历集群。我可以连接到它(火花)：
从SSHing后的主节点到它
来自另一个AWS EMR集群
但无法连接到它：
我的本地机器(macOS Mojave)
来自非电子病历机器，如和
我读过的答案。我已经检查了所有节点上的文件夹权限和磁盘空间是否正常。我的假设是，我正面临着类似的问题，在评论中提出了这样的问题。然而，我没有足够的声誉在那里添加评论。而且，考虑到这是AWS EMR特有的问题，这可能是另一个问题。
连接工作良好后，SSHing到主节点。
# SSHed to master node
$ ssh -i ~/identityf
浏览 0提问于2019-05-07得票数 1
1回答
EMR 6.1.0上的默认Python3内核不在我的集群上吗？
amazon-web-services、jupyter-notebook、amazon-emr
我注意到在将EMR笔记本附加到带有Hadoop、Spark和Livy的EMR 6.1.0集群上时，出现了一些奇怪的情况。 您知道，我在主节点上安装的包在缺省的Python3内核中不可用，但在缺省的PySpark内核中可用。 当我在PySpark内核上获得主机名时，我可以看到它与我的主节点的私有DNS名相匹配。然而，当我运行Python3或终端内核时，我得到了一个不同的主机名，该主机名与我的集群上的任何节点都不匹配。 当我使用Python3内核时，Python3代码从哪里运行？当我选择一个终端内核时，我使用的是什么EC2机器终端？我检查过了，我的主计算机上也没有运行docker容器 有没有可能
浏览 12提问于2020-09-18得票数 0
1回答
IllegalArgumentException :创建火花会话
apache-spark、amazon-s3、pyspark、amazon-emr
我正在创建火花会话使用下面的代码片段在python笔记本上的AWS EMR集群。
spark = SparkSession.builder \
.config("spark.jars.packages","org.apache.hadoop:hadoop-aws:2.7.0") \
.getOrCreate()
然后从S3桶中读取数据，如下所示
df_songs = spark.read.option("recursiveFileLookup","true
浏览 10提问于2022-10-10得票数 0
回答已采纳
1回答
配置spark-submit到远程AWS EMR集群
apache-spark、amazon-ec2、hadoop-yarn、airflow、amazon-emr
我们正在一个EC2实例上构建一个airflow服务器，该服务器与EMR集群通信以运行spark作业。我们正在尝试提交一个BashOperator DAG，它为一个简单的字数统计应用程序运行spark-submit命令。下面是我们的spark提交命令：
./spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txt s3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.Spa
浏览 0提问于2019-07-19得票数 0
1回答
EMR群集上未安装火花
amazon-web-services、amazon-ec2、apache-spark、amazon-emr
我在EMR集群上使用Spark已经有几个星期了，没有问题--设置是使用AMI 3.8.0和Spark1.3.1，我将'-x‘作为一个参数传递给Spark (没有这个参数，它似乎没有安装)。
我想升级到一个最新版本的星火，今天推出了一个带有EMR-4.1.0AMI的集群，其中包含了Spark1.5.0。当集群启动时，它声称已经成功地安装了Spark (至少在AWS上的集群管理页面上)，但是当我将ssh安装到'hadoop@IP地址‘时，我没有看到'hadoop’目录中的任何东西，在以前的版本中安装了Spark (我也尝试过其他应用程序，并得到了相同的结果，并试图以EC2用
浏览 3提问于2015-11-09得票数 0
回答已采纳
2回答
AWS EMR集群在主服务器关闭时终止
amazon-web-services、amazon-emr、elastic-map-reduce、master
目前，当EMR集群主机停止(关机行为:停止而不是终止)时，我们会丢失集群，因为EMR的架构考虑到一旦主机关闭，集群就会终止。我们所处的世界中，硬件故障非常常见，将来EMR主机可能会出现故障，那么我们如何恢复存储在EMR集群上的数据呢？
类似地，如果核心节点关闭并尝试硬重新启动(停止并启动)；终止核心节点，则配置的核心节点将启动以满足所需的核心容量，并且我们将丢失终止核心节点的所有数据(HDD) (数据损坏)。
有什么解决方案可以防止这种类型的终止吗？
浏览 4提问于2017-01-18得票数 1
3回答
获取emr-ddb-hadoop.jar以连接DynamoDB和EMR Spark
hadoop、amazon-web-services、apache-spark、amazon-dynamodb
我有一个DynamoDB表，需要连接到EMR Spark SQL才能在该表上运行查询。我得到了EMR Spark Cluster，上面有版本标签emr-4.6.0和Spark 1.6.1。
我指的是文档：
连接到主节点后，我运行以下命令：
spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar
它给出一个警告：
Warning: Local jar /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar does not exist, skipping.
稍后，当我使用以下命令导入Dy
浏览 3提问于2016-05-06得票数 5
2回答
我在哪里可以找到EC2上的AMI for Hadoop？
linux、hadoop、amazon-web-services、amazon-ec2、bioinformatics
我正在尝试在亚马逊EC2上永久设置Hadoop。目前我正在做的是每天早上启动EC2实例并设置Hadoop。有什么方法可以避免这个繁琐的步骤吗？我正在寻找一个Hadoop镜像，可以加载到EC2上，让事情变得容易。
我知道我可以将EMR用于hadoop服务。但我不知道如何在不提交作业流的情况下启动EMR (hadoop)集群。我的意思是，我需要一个不运行任何作业的hadoop集群。
最终，我的目标是运行像和这样的生物信息学应用。为了让这些应用程序运行，有许多依赖项。因此，我需要一个免费的hadoop集群来设置环境，然后运行这些应用程序。我希望我想要做的事情很清楚。
谢谢。
浏览 3提问于2013-10-09得票数 0
1回答
修改EMR上的yarn配置
hadoop、hadoop-yarn、amazon-emr
我需要更改EMR集群上的YARN配置。我是否只需要对Hadoop主服务器上的yarn-site.xml文件进行更改？如果是这样，我如何将更改传播到数据节点？我是否只需要按照这里详细说明的那样重新启动纱线？我使用的是EMR 5.8.0。
浏览 0提问于2018-01-18得票数 0
2回答
如何在私有网络外访问mongodb实例
mongodb、amazon-web-services、cloud、amazon-cloudformation、aws-opsworks
我遵循了亚马逊网络服务快速入门指南来创建MongoDB集群。这将创建一个NAT实例(公有子网)和一个PrimaryReplicaNode实例(仅限内部IP )。我可以通过SSH连接到NAT，而且还可以从NAT通过SSH连接到主副本服务器。我已经验证了可以从命令行访问MongoDB，但我必须“通过”两个服务器才能到达那里。
另一方面，我在Elastic Beanstalk上做了一个快速入门的node.js服务器。我还将其放在与NAT相同的VPC和安全组中。
所以我总共有3个实例。1个弹性豆茎实例运行节点和2个作为MongoDB集群运行的EC2实例。
我的问题是。如何从Elastic Beanst
浏览 1提问于2017-04-10得票数 9
2回答
自动设置多节点Hadoop集群
hadoop、amazon-ec2、configuration-management
我有一个用Hadoop安装的EC2映像。但是，我将它设置为在实例化时是没有滚动的(它不是奴隶或主)。为了启动Hadoop集群，我在EC2上启动了我需要的尽可能多的实例(节点)，然后我必须对每个节点执行以下3项操作：
更新/etc/主机以包含必要的IP地址。
如果主节点，则更改$HADOOP_HOME/conf/ master和$HADOOP_HOME/conf/从节点。
启用节点之间的SSH访问。
我希望能够找到一种自动完成此操作的方法，这样对于任意数量的节点，我就不必在每个节点上设置所有这些设置。
其他人如何自动设置Hadoop集群？有什么方法可以使网络部分自动化吗？
我
浏览 6提问于2012-10-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
