EKS上的EMR :如何检索EKS上托管的EMR集群的主URL，以创建spark上下文并使用spark上下文运行作业
EKS上的EMR是指在亚马逊的弹性容器服务（Elastic Kubernetes Service）上托管的弹性MapReduce（Elastic MapReduce）集群。要检索EKS上托管的EMR集群的主URL，并创建Spark上下文并使用Spark上下文运行作业，可以按照以下步骤进行操作：
- 登录到AWS管理控制台，进入EKS服务页面。
- 在EKS控制台中，选择您的集群，并点击"查看集群详情"。
- 在集群详情页面，找到"托管的服务"部分，点击"查看托管的服务"。
- 在托管的服务页面，找到您的EMR集群，并点击"查看详情"。
- 在EMR集群详情页面，找到"主URL"或"主节点URL"的相关信息。这个URL是EMR集群的主要入口点。
- 使用获取到的主URL，可以创建Spark上下文并运行作业。具体操作可以参考Spark的官方文档或相关教程。
需要注意的是，以上步骤仅适用于在EKS上托管的EMR集群。如果您使用其他云计算平台或服务提供商托管的EMR集群，具体操作步骤可能会有所不同。
推荐的腾讯云相关产品：腾讯云容器服务（Tencent Kubernetes Engine，TKE）和腾讯云弹性MapReduce（EMR）。您可以通过访问腾讯云官方网站获取更多关于这些产品的详细信息和文档。
腾讯云容器服务（TKE）产品介绍链接：https://cloud.tencent.com/product/tke 腾讯云弹性MapReduce（EMR）产品介绍链接：https://cloud.tencent.com/product/emr
相关·内容
1回答
因此，我使用EKS部署一个EMR应用程序，遵循AWS的EMR研讨会，声明Fargate配置文件。
我尝试了所有的东西都是没有服务器的，所以即使我的EKS集群也运行在Fargate上(kube，default等等)。
我创建了一个带有Fargate配置文件的自定义命名空间，并提交了一个Spark作业。这份工作仍处于待定状态。
当我添加一些托管节点组时，作业已成功提交。
我尝试提交非常轻的作业，当我移除托管节点组时，激发作业处于待定状态。
Events:
Type Reason Age From Mes
浏览 10提问于2021-09-29得票数 1
在我们的应用程序中，我们使用spark master创建单个spark上下文，并使用它执行多个spark作业。我们在EKS上使用EMR的方式也是如此。有没有一种方法来执行它，或者它支持这种方式，或者EMR只适用于提交作业。
浏览 42提问于2021-10-26得票数 0
2回答
我想在EMR spark集群上设置一系列spark步骤，如果花费的时间太长，则终止当前步骤。但是，当我ssh进入主节点并运行hadoop job -list时，主节点似乎认为没有作业在运行。我不想终止集群，因为这样做会迫使我为我正在运行的任何集群购买一个全新的小时。有没有人可以帮我在不终止整个集群的情况下终止EMR中的spark-step？
浏览 2提问于2016-01-27得票数 14
回答已采纳
如何在亚马逊EC2上安装spark客户端，其中spark作业将提交到具有集群工作节点的EMR主节点？
你能告诉我上面架构中的文档配置spark吗？
浏览 1提问于2018-01-03得票数 0
我是spark的新手。我想从本地向远程EMR集群提交一个spark作业。我将通过此处的链接设置所有先决条件：
命令如下：
spark-submit --class mymain --deploy-mode client --master yarn myjar.jar
问题: sparksession创建无法在没有错误的情况下完成。看起来是个访问问题。
从aws文档中，我们了解到，通过将主服务器与yarn一起提供，yarn使用我从EMR复制的配置文件来了解主服务器和从服务器在哪里(yarn-site.xml)。由于我的EMR集群位于VPC中，需要特殊的ssh配置才能访问，我如何将此信息添加到ya
浏览 1提问于2019-06-26得票数 0
我正在运行一些火花工作的实验，我试图比较EMR和EKS的性能。我使用的硬件是m5.2xlarge的两个实例(8 vCore，32 GiB内存)。原因是EKS和EMR之间通常共享硬件实例，因此比较性能更可靠。
我还分享了火花配置：
--conf spark.executor.instances=2 \
--conf spark.executor.cores=3 \
--conf spark.default.parallelism=16 \
--conf spark.executor.memory=4g \
--conf spark.driver.memory=4g \
--conf spark.
浏览 7提问于2020-09-01得票数 2
我想基于S3上的文件上传事件在AWS EMR集群上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件，但我不知道如何从Lambda函数在EMR集群上提交spark提交作业。
我搜索的大多数答案都涉及到在EMR集群中添加一个步骤。但我不知道是否可以添加add any step来在添加的步骤中触发"spark submit --with args“。
浏览 34提问于2017-08-21得票数 16
我已经创建了一个Spark EMR集群。我希望在本地主机或EMR集群上执行作业。
假设我在本地计算机上运行spark-shell，我如何告诉它连接到Spark EMR集群，要运行的确切配置选项和/或命令是什么？
浏览 2提问于2016-06-06得票数 5
2回答
我试图使用EMR在我的星火集群上运行一个作业。集群有一个主节点和两个从节点，每个节点(主节点或从节点)有32个核心。作业通过控制台使用"Add Step“，配置设置如下：
sparkConf.setMaster("local24").set("spark.executor.memory"，"40g") .set("spark.driver.memory"，"40g")；
然后我注意到这两个奴隶没有工作(CPU使用率接近0)，只有主人在努力工作。我该如何解决这个问题，让奴隶们发挥作用？
谢谢!
浏览 4提问于2015-02-11得票数 0
回答已采纳
我正在尝试使用AWS控制台向AWS EMR集群提交一个spark作业。但它失败了，因为：
Cannot load main class from JAR。当我在AWS > Add中将主类指定为--class in Arguments选项时，作业将成功运行。
在本地机器上，如果未按以下方式指定主类，则作业似乎非常正常：
./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
我已经使用run配置将主类设置为jar。避免像--class那样传递主类的主要原因是，我必须使用EMRAcivity在AWS中运行此作业。在AWS Da
浏览 2提问于2018-01-23得票数 6
回答已采纳
我希望修改提交到Google集群中的火花作业。这些作业将在AWS EMR集群上运行。
gcloud dataproc jobs submit spark \
--cluster "${HADOOP_CLUSTER_NAME}" \
--properties "${SPARK_PARTITIONS}${SPARK_PARALLELISM}spark.master=yarn,spark.app.name=${APP},spark.sql.parquet.mergeSchema=false,spark.driver.memory=${D_MEMORY},spark.ui.po
浏览 3提问于2022-04-08得票数 0
1回答
我们正在一个EC2实例上构建一个airflow服务器，该服务器与EMR集群通信以运行spark作业。我们正在尝试提交一个BashOperator DAG，它为一个简单的字数统计应用程序运行spark-submit命令。下面是我们的spark提交命令：
./spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txt s3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.Spa
浏览 0提问于2019-07-19得票数 0
1回答
EMR EKS无法发射驱动吊舱
、、、、
如何在EKS上设置EMR的资源限制？我的驱动程序未能启动，因为它请求的CPU比允许的要多。这对我来说毫无意义。我正在从下面的文档运行入门代码。
我添加了--conf spark.driver.limit.cores=2，以尝试使限制高于下面的错误消息中列出的限制。我从这里得到了这个想法，
这个集群中确实有istio在运行。我不知道这是否会引起问题。
下面是我正在运行的触发作业的代码
aws emr-containers start-job-run \
--virtual-cluster-id blahblah \
--name pi-4 \
--execution-role-arn
浏览 10提问于2021-12-20得票数 2
回答已采纳
我用Scala编写了在EMR中运行集群的代码。另外，我还有一个用Scala编写的Spark应用程序。我想在EMR集群上运行此Spark应用程序。但我可以在第一个脚本(启动EMR集群)中执行此操作吗？我想用SDK完成所有这些操作，而不是通过控制台或CLI。它必须是一种自动化，而不是单一的手工作业(或最小化手动作业)。
基本上；
启动电子病历群集->在电子病历->上运行Spark作业完成后终止
如果可能的话，我该怎么做？谢谢。
浏览 1提问于2020-03-23得票数 0
我有一个实时spark作业，它在EMR集群中运行，我还有另一个批处理作业，它在另一个EMR集群中运行，该作业在特定时间触发。如何在一个EMR集群中同时运行这两个作业？
有什么建议吗。
浏览 2提问于2020-05-04得票数 0
我有以下情况：
我在一家大公司工作。
我们有一个EMR集群，在纱线上运行Spark/Hadoop堆栈。
我可以SSH到集群的主节点，从那里，我可以创建火花外壳或火花提交作业到星火集群没有任何问题。
但是，我想在我公司的服务器上运行Spark客户端，因为我们所有的代码库都在那里，因此我有能力在该服务器上进行主动开发，因为我可以克隆并推送到位于我公司服务器上的存储库。我不想把所有的公司代码转移到AWS的主节点进行主动开发。
那么，我如何修改星火设置来使用AWS的纱线作为资源管理器呢？
我尝试将星火安装(在/user/lib/spark中)和HADOOP_CONF_DIR (
浏览 4提问于2016-12-06得票数 3
1回答
我们目前正在使用Datapipeline中的HadoopActivity任务在EMR集群上运行并行Spark作业。默认情况下，较新版本的EMR集群将spark dynamic allocation设置为true，这将根据负载增加/减少所需的执行器数量。那么，我们是否需要在spark-submit中设置任何其他属性，例如内核数量、执行器内存等，或者最好是让EMR集群动态处理它？
浏览 2提问于2017-11-27得票数 1
我正在运行一个测试作业，它将压缩的5 5gb数据转储到mongoDB中。我有1个主服务器和3个从服务器，每个主机16个CPU，内存30 16。在作业提交之后，似乎.I只使用了2个从节点用于作业，并为作业分配了32个核心，尽管我使用的是动态分配，因为我的spark作业是这个集群上唯一运行的作业，因此我预计大约有47个核心(1个用于应用程序主yarn)将被使用大约3个节点spark正在集群中使用AWS EMR和yarn。
为什么只有2个节点参与作业，并且只为使用动态分配的作业分配了32个核心，这有什么特殊的原因吗？
浏览 0提问于2017-10-04得票数 0
我正在尝试使用AWS Data PipeLine在电子病历集群中设置一个运行spark作业的流程。我们的流程按“随需应变”计划运行。
作为本活动的一部分，我们首先在管道中创建一个EMR集群，然后希望在一个emr集群上并行运行多个spark作业。
有没有一个我们可以用“随需应变”的时间表在数据管道上运行并行作业。
浏览 0提问于2017-09-22得票数 1
2回答
如何在EMR集群背景下运行定期作业？我有带有cron作业的script.sh和s3中的application.py，并且希望使用以下命令运行集群：
aws emr create-cluster
--name "Test cluster"
–-release-label emr-5.12.0
--applications Name=Hive Name=Pig Name=Ganglia Name=Spark
--use-default-roles
--ec2-attributes KeyName=myKey
--instance-type m3.xlarge
--inst
浏览 5提问于2018-02-24得票数 0
回答已采纳
有人知道如何在EMR集群上安装com.databricks.spark.xml包吗？
我成功地连接到了主emr，但不知道如何在emr集群上安装软件包。
码
sc.install_pypi_package("com.databricks.spark.xml")
浏览 2提问于2020-02-19得票数 1
我需要为spark作业创建一个AWS EMR集群，其中有一个主节点和4个具有自动扩展功能的核心节点。我需要有不同的实例类型的主和核心与Ubuntu 16.0安装在它上。因此，我是否需要为这个主服务器和从服务器创建两个AMI。
浏览 0提问于2018-10-04得票数 0
2回答
我想要创建一个新的EMR集群，运行一个PySpark作业并销毁它。理想情况下，我希望通过在创建集群时添加一个步骤来做到这一点。在本地运行以启动作业的命令如下所示：
spark-submit calculate.py --input x.csv --output output
我不明白的是如何确保calculate.py已经在主节点上可用。我看到了从S3桶中读取python脚本的引用，但我无法做到这一点。
现在，我有了单独的命令来创建集群，将脚本放在主节点上并添加步骤。这方面的问题是，集群在作业步骤完成后继续运行。
浏览 2提问于2015-09-28得票数 6
回答已采纳
我正在运行一个AWS EMR集群，使用纱线作为主和集群部署模式。我阅读的所有教程都使用AWS在所谓的“Steps”中使用类似于以下命令的命令运行Spark submit：
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
我的教授
浏览 4提问于2017-05-17得票数 4
回答已采纳
在EMR集群的主节点上提交EMR步骤与运行火花提交步骤有什么区别？
EMR step
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
火花提交
spark-submit --master yarn --deploy-mode c
浏览 5提问于2021-11-09得票数 1
回答已采纳
1回答
我启动了一个EMR集群，其规格如下：
1个主节点m4.4xsize，EBS存储32 GB
10个核心节点m4.4xsize，EBS存储1024 GB
上一次工作完成后自动终止
星火作业是相关的。它从S3读取数据，并将输出数据保存在S3中。
经过几次尝试后，似乎每次火花作业大约在1小时零15分钟内终止(我可以在Spark中看到完成的作业，我可以在S3中看到很好的输出)。但是EMR集群在关闭前挂在20到30分钟之间。所以，总的来说，它需要1小时45分钟。
为什么EMR集群在上一次作业完成后要花费这么多时间才能终止？
浏览 3提问于2018-05-18得票数 0
我正在尝试使用Amazon Data-Pipeline在Amazon EMR集群上运行spark scala应用程序。在EMRActivity中添加的步骤如下所示：
command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.demo.GettingStarted,s3://myBucket/sampleApps/HelloWorld.jar
查看EMR日志后，作业始终失败，并显示以下堆栈跟踪：
线程“主”应用程序中出现异常:org.apache.spark.SparkException
application_15170
浏览 1提问于2018-01-28得票数 1
有人能帮帮忙吗？我正试图做到这一点；我无法从AWS控制台的Data Pipeline配置中创建带有Spark安装的EMR环境。我选择“在EMR集群上运行作业”，EMR集群总是默认使用Pig和Hive创建，而不是Spark。
我知道我可以像这里说的那样选择Spark作为引导程序操作，但当我这样做时，我会收到这样的消息: Name: xxx.xxxxxxx.processing.dp
使用模板构建:在弹性MapReduce集群上运行作业
参数: EC2密钥对(可选)：xxx_xxxxxxx_emr_key EMR步骤：
spark-submit --deploy-mode集群s3://xxx.xx
浏览 1提问于2017-01-13得票数 1
1回答
AWS EMR多作业依赖争用
、、、、
问题
我试图运行两个电火花步骤，在电子病历，这两个阅读从运动使用KinesisUtils。这需要依赖库，火花流-运动-asl_2.11.
我使用Terraform来支持EMR集群并使用args调用这些步骤：
-包裹org.apache.spark:spark-streaming-kinesis-asl_2.11:2.4.5
启动时似乎存在争议，这两个步骤都从maven下载jar并导致校验和失败。
图谋
我尝试使用：将jar下载到引导bash脚本
数独火花-外壳-包org.apache.spark:spark-streaming-kinesis-asl_2.11:2.4.5
这会导致问题，因为火
浏览 1提问于2020-07-01得票数 4
回答已采纳
我有一个周期性挂起的spark作业，使我的AWS EMR集群处于一个应用程序正在运行但实际上集群被卡住的状态。我知道，如果我的工作没有停滞不前，它将在5小时或更短的时间内完成。如果在那之后它仍然在运行，这是作业被卡住的迹象。Yarn和Spark UI仍然是响应式的，只是执行器被任务卡住了。 背景:我使用的是一个短暂的EMR集群，它在终止之前只执行一个步骤，所以如果我注意到此作业挂起，将其终止也不是问题。 在这种情况下，终止任务、作业或集群的最简单方法是什么？理想情况下，这不涉及设置一些额外的服务来监视作业--理想情况下，我可以使用某种spark / yarn / emr设置。 注意:我已经尝
浏览 26提问于2019-01-10得票数 1
我在AWS EMR上运行spark集群。如何在不使用spark UI的情况下获取在AWS EMR上运行的作业和执行器的所有详细信息。我将使用它来进行监控和优化。
浏览 0提问于2016-12-08得票数 4
斯帕克有在使用EMR web界面创建新集群时，可以添加一个自定义步骤，在集群启动时执行Spark应用程序，基本上是在集群启动后自动执行spark-submit。
我一直在想，在启动EMR集群并通过指定的EMR步骤提交jar文件时，如何在应用程序中指定SparkConf的主节点？
事先不可能知道集群主机的IP，如果我手动启动集群，然后在调用spark-submit之前使用这些信息构建我的应用程序，就会出现这种情况。
代码片段：
SparkConf conf = new SparkConf().setAppName("myApp").setMaster("spark:\\?
浏览 1提问于2016-12-09得票数 4
我是spark的新手，我们需要设置一个动态spark集群来运行多个作业。通过参考一些文章，我们可以使用EMR (Amazon)服务来实现这一点。有没有什么方法可以在本地完成相同的设置？一旦Spark集群可用于在不同服务器上的不同端口上运行的服务，如何为每个作业将迷雾指向新的spark集群。提前谢谢。
浏览 9提问于2020-03-16得票数 0
1回答
我正在AWS EMR集群上运行spark作业，从客户端主机提交它们。客户端机器只是一个EC2实例，它以集群模式向EMR提交作业。
问题是- spark可以保存200 is的临时文件，如下所示：
/tmp/spark-456184c9-d59f-48f4-9b0560b7d310655/__spark_conf__6943938018805427428.zip
Tmp文件夹很快就会被这样的文件填满，我开始用错误得到失败的作业：
No space left on device
我尝试将spark.local.dir配置为在spark-defaults.conf中指向我的s3桶，但它在路径中添加了用
浏览 2提问于2018-10-01得票数 0
回答已采纳
1回答
我在Amazon EMR上运行Spark作业；我希望从程序本身中持续报告集群的总内存和可用内存。Spark API中有没有什么方法可以提供关于集群内存的信息？
浏览 3提问于2018-06-06得票数 0
1回答
我正在使用aws cli在EMR上运行一个火花作业。
我想要的是让服务器启动，运行作业，并终止。
我可以作为一个两步进程(首先启动服务器，然后运行作业)来完成这个任务，但是当我发送一个命令时，我会得到一个错误。
错误：
Error: Cannot load main class from JAR file:/home/hadoop/spark/bin/spark-submit
Run with --help for usage help or --verbose for debug output
Command exiting with ret '1'
所以看起来它找不到jar
浏览 1提问于2017-05-02得票数 2
1回答
我正在尝试使用pip install在所有从机器上更新正在运行的EMR集群。我该怎么做呢？
我不能使用bootstrap步骤来完成它，因为它是一个长时间运行的EMR，我不能将其删除。
EMR集群正在运行Spark & Yarn，所以我通常会使用spark slaves.sh，但我在主节点上找不到该脚本。是不是安装在我找不到的地方？或者有什么方法可以安装它吗？
我见过其他问题，说使用yarn分布式shell，但我找不到如何做到这一点的工作示例。
顺便说一句，我相信集群使用的是EMR 4.8.0，Spark 1.6.1。
浏览 0提问于2016-12-01得票数 9
我在一个EMR集群上运行了一个火花作业，具有以下集群配置：
主：1: m4.2xlarge: 32 GiB内存，8个vCPU。
核心：2: m4.2xlarge: 32 GiB内存，8个vCPU。
任务节点：最多52 : r4.2xlarge: 61 GiB的内存，8个vCPU。
下面是基于这个博客的spark提交配置：
： .
spark.yarn.executor.memory=19g
spark.executor.cores=3
spark.yarn.driver.memoryOverhead=2g
spark.executor.memoryOverhead=2g
spark.dyna
浏览 2提问于2020-05-04得票数 0
2回答
我们使用python和pyspark在星火集群上运行简单的代码。
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('appName').setMaster('spark://clusterip:7077')
sc = SparkContext(conf=conf)
rdd = sc.parallelize([1, 2, 3, 4])
rdd.map(lambda x: x**2).collect()
当我们在本地和dockers中设置星火集群时，它就可以工作了。
浏览 3提问于2019-12-11得票数 3
1回答
我对气流完全陌生。我有一个要求，我必须运行两个电子病历作业。。目前，我有一个依赖于某些输入文件的python脚本，如果它存在，将触发一个EMR作业。
我的新要求是，我必须有不同的输入文件(相同类型)，这两个文件将输入到emr作业，在这两种情况下火花将做相同的事情，但只有输入文件是不同的。
create_job_workflow = EmrCreateJobFlowOperator(
task_id='some-task',
job_flow_overrides=job_flow_args,
aws_conn_id=aws_conn,
emr_co
浏览 3提问于2020-09-28得票数 0
回答已采纳
我在AWS EMR集群上运行了HBase Spark作业。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。现在，我在Dataproc中运行相同的Spark - Java/Scala作业。Spark作业失败，因为它正在查看spark.hbase.zookeeper.quorum设置。
请让我知道，如何在不更改代码的情况下，让我的spark作业在BigTable上成功运行。
你好，Neeraj Verma
浏览 2提问于2018-05-27得票数 0
我最近在JupyterHub上使用了Spark和JupyterHub。我知道在创建EMR之前，我可以将引导程序设置为在每个集群中设置环境，比如Python包/库。但是，如果我已经启动了EMR，那么如何在不重新启动EMR的情况下安装更多的Python包/库？
我搜索并得到了一些答案，我可以通过木星中心的手机安装它。例如,
%%spark
sc.install_pypi_package("matplotlib")
我试着犯了个错误
RuntimeError: install_pypi_packages can only use called when spark.pyspark.v
浏览 12提问于2020-05-22得票数 4
我在AWS EMR集群上使用JupyterHub。我使用的是EMR版本5.16
我用pyspark3笔记本提交了一份spark申请。我的应用程序正在尝试将1TB数据写入s3。我正在使用EMR的自动缩放功能来缩放任务节点。
硬件配置:1.主节点:32 GB内存16核2.核心节点:32 GB内存16核3.任务节点:16 GB，8核。(任务节点扩展到15个)
我观察到Spark应用程序在运行50到60分钟后被终止。我试着调试: 1.我的集群仍然有扩展的余地。因此，这不是一个资源短缺的问题。2. Livy session也会被杀死。3.在作业日志中，我看到错误消息RECVD TERM SIGNAL &
浏览 3提问于2018-09-08得票数 3
1回答
运行星火作业-在整个集群中提交
、、、、
我最近在亚马逊的EMR上建立了一个星火群，有一个主人和两个奴隶。
我可以运行pyspark，并使用spark-submit提交作业。
但是，当我创建一个独立的作业(如job.py )时，我创建了一个SparkContext，如下所示：
sc=SparkContext("local", "App Name")
这似乎不对，但我不知道该放什么。
当我提交这份工作时，我确信它没有利用整个集群。
如果我想对我的整个集群运行一个作业，假设每个从属程序有4个进程，那么我必须做什么？
a.)作为参数传递给spark-submit
b.)在脚本本身中作为参数传递给SparkCo
浏览 1提问于2016-04-01得票数 3
回答已采纳
1回答
是否有可能等到EMR集群被终止？
、、、、
我正在尝试编写一个组件，它将启动一个EMR集群，在该集群上运行一个Spark管道，然后在管道完成后关闭该集群。
我已经创建了集群，并设置了允许主集群的工作机器启动EMR集群的权限。但是，我很难调试创建的集群，并等待管道完成。这是我现在的代码。注意，我使用的是Spark，但这非常接近标准Java代码：
val runSparkJob = new StepConfig()
.withName("Run Pipeline")
.withActionOnFailure(ActionOnFailure.TERMINATE_CLUSTER)
.withHadoopJarStep
浏览 0提问于2019-06-13得票数 2
回答已采纳
以下是我的目标:使用EMR5.3.0或EMR5.4.0与Spark2.1.0通过AWS创建按需Hadoop集群(需要指定的节点数)，同时将输入和输出数据存储在S3中，而不必担心管理用于数据存储的24*7集群或HDFS。
以下是我的挑战/问题：( a)我可以使用'aws创建-集群‘命令来完成上面的工作，并指定节点的数量？对吗？例如，如果我指定了参数
--instance-count 10
这将创建一个主节点和9个核心节点？
( b)如果我使用'aws创建-集群‘，我是否可以动态添加更多的工作节点(我猜这称为任务节点)，以便使用CLI来加快作业速度？
( c)如果我在集群上
浏览 0提问于2017-03-16得票数 2
2回答
我在一个木星笔记本上运行了一个本地Python脚本，它在我的机器上运行我的本地Spark集群上的作业：
sc = pyspark.SparkContext(appName="test")
sqlCtx = pyspark.SQLContext(sc)
如何将此更改为连接字符串，以便在AWS中运行我的EMR集群上的作业？
这是可能的，还是当SSH‘’ing进入远程集群时，我必须使用spark-submit函数？
浏览 0提问于2018-11-02得票数 0
回答已采纳
因此，我使用SSH连接到EMR集群的主节点。这是主节点中的文件结构：
|-- AnalysisRunner.scala
|-- AutomatedConstraints.scala
|-- deequ-1.0.1.jar
|-- new
| |-- Auto.scala
| `-- Veri.scala
|-- VerificationConstraints.scala
`-- wget-log
现在，我首先运行spark-shell --conf spark.jars=deequ-1.0.1.jar
一旦我到达scala提示符，我就会使用:load new/Auto.scala运行我
浏览 2提问于2021-02-15得票数 0
回答已采纳
我已经在亚马逊EC2上建立了一个Hadoop集群，提供了NameNode/DataNode和其他一些服务。我的摄取作业将数据带入EC2 HDFS集群(比方说hdfs://ec2-hdfs/)。
现在我有了一个以每周批处理的方式运行的管道。我正在启动一个新的Amazon EMR集群来运行我的计算。一旦处理完成，我将终止EMR集群。
我需要在EMR中运行的spark作业的输入是在EC2 HDFS (hdfs://ec2-hdfs/)中。如何从新创建的EMR集群访问？我相信在EMR集群启动期间应该会有一些选项(引导/VPC/子网)可用。
浏览 10提问于2019-07-16得票数 0
1回答
长话短说：如何在EMR上增加火花中执行者的数量？
短篇小说长篇：
我正在EMR6.3(Spark3.1.1)上运行一个纯计算scala火花作业(Monte方法来估计Pi)。纯计算的目标是不具有S3/parquet依赖关系，并且能够在没有问题的情况下进行测试。
val count = spark.sparkContext.parallelize(1 to 2147483647).filter { _ =>
val x = math.random
val y = math.random
x*x + y*y < 1
}.count()
println(s"
浏览 0提问于2021-07-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
