无法在EMR spark群集中运行python作业
EMR（Elastic MapReduce）是亚马逊AWS提供的一项云计算服务，用于处理大规模数据集的分布式处理框架。它基于Apache Hadoop和Apache Spark等开源技术构建，可以快速、高效地处理大规模数据。
对于无法在EMR Spark集群中运行Python作业的问题，可能有以下几个原因和解决方案：
- Python环境配置问题：EMR集群默认安装了Java和Scala等语言的环境，但可能没有预装Python环境。解决方法是在创建EMR集群时选择安装Python环境，或者在集群启动后手动安装Python。
- Python版本不兼容：EMR集群可能默认安装的是较旧的Python版本，而您的Python作业可能需要较新的Python版本。解决方法是在集群启动后，使用适当的方式更新Python版本，例如使用Anaconda或pip命令安装所需的Python版本。
- 作业提交方式问题：EMR集群可以通过多种方式提交作业，例如使用EMR控制台、AWS CLI或AWS SDK等。确保您使用的作业提交方式正确，并按照正确的方式提交Python作业。
- 作业依赖问题：如果您的Python作业依赖于特定的Python库或模块，需要确保这些依赖在EMR集群中可用。可以通过在集群启动时安装所需的依赖，或者在作业提交前手动安装依赖来解决这个问题。
总结起来，要在EMR Spark集群中运行Python作业，需要确保正确配置Python环境、解决版本兼容性问题、使用正确的作业提交方式，并处理好作业所需的依赖关系。具体的操作步骤和命令可能因不同的情况而异，建议参考EMR官方文档或咨询相关技术支持获取更详细的指导。
腾讯云提供了类似的云计算服务，可以使用Tencent Cloud EMR来处理大规模数据集。您可以在腾讯云官方网站上查找相关产品和文档，了解如何在Tencent Cloud EMR中运行Python作业的详细信息。
相关·内容
我试图在EMR上运行一个(py)Spark作业，它将处理大量的数据。当前，我的工作失败了，有以下错误消息：
Reason: Container killed by YARN for exceeding memory limits.
5.5 GB of 5.5 GB physical memory used.
Consider boosting spark.yarn.executor.memoryOverhead.
因此，我谷歌了如何做到这一点，并发现我应该传递带有--conf标志的spark.yarn.executor.memoryOverhead参数。我就是这样做的：
aws emr add
浏览 4提问于2016-06-29得票数 13
回答已采纳
1回答
在本地模式下运行spark作业时，我的Spark有一个sql选项卡。
当在AWS EMR上运行相同的作业时，Spark的SQL作业不再存在？
我已经挖了隧道
设置FoxyProxy设置
可以在浏览器中查看各种EMR
可以在浏览器中查看Spark
在亚马逊的EMR版本的Spark中，是否有这样的代码原因呢？
浏览 3提问于2016-03-03得票数 0
回答已采纳
1回答
运行星火作业-在整个集群中提交
、、、、
我最近在亚马逊的EMR上建立了一个星火群，有一个主人和两个奴隶。
我可以运行pyspark，并使用spark-submit提交作业。
但是，当我创建一个独立的作业(如job.py )时，我创建了一个SparkContext，如下所示：
sc=SparkContext("local", "App Name")
这似乎不对，但我不知道该放什么。
当我提交这份工作时，我确信它没有利用整个集群。
如果我想对我的整个集群运行一个作业，假设每个从属程序有4个进程，那么我必须做什么？
a.)作为参数传递给spark-submit
b.)在脚本本身中作为参数传递给SparkCo
浏览 1提问于2016-04-01得票数 3
回答已采纳
我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。 我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...") 现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"table not found“错误。看起来Glue作业不像在EMR中运行Spark SQL那样使用Glue目录。 我可以通过使用Glue API并将数据帧注册为临时视图来解决此问题： create_dynamic_fr
浏览 29提问于2019-02-09得票数 1
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
1回答
是否有人有使用Pycharm调试在AWS EMR上运行的Pyspark的经验？ 我找不到任何好的指南或现有的线程重新评级这一点。 我知道如何在EMR上使用Intellij调试Scala-Spark，但我没有使用Python进行调试的经验。 我知道能够连接到远程服务器使用ssh (EMR Master)，也许与专业版我可以使用远程部署功能来运行我的spark作业使用Pycharm，但我不确定它是否会工作，我想知道是否有人已经尝试过，然后我将与Pycharm Pro。
浏览 13提问于2021-01-11得票数 6
我正在尝试设置R解释器运行在齐柏林飞艇上，它目前运行在EMR上。齐柏林飞艇运行得很好，我可以用Scala和Python编写脚本。当我使用%r、%sparkR或%found时，我会收到一个错误：“未找到r解释器”。
我在emr-4.7.2集群中运行的应用程序是: Hive 1.0.0，齐柏林飞艇-Sandbox 0.5.6，Spark1.6.2，Pig 0.14.0
在翻译中没有提到R，所以我遗漏了一些东西，但不知道是什么。
任何指点都很感激。
浏览 3提问于2016-09-06得票数 2
回答已采纳
我已经创建了一个Spark EMR集群。我希望在本地主机或EMR集群上执行作业。
假设我在本地计算机上运行spark-shell，我如何告诉它连接到Spark EMR集群，要运行的确切配置选项和/或命令是什么？
浏览 2提问于2016-06-06得票数 5
有人能帮帮忙吗？我正试图做到这一点；我无法从AWS控制台的Data Pipeline配置中创建带有Spark安装的EMR环境。我选择“在EMR集群上运行作业”，EMR集群总是默认使用Pig和Hive创建，而不是Spark。
我知道我可以像这里说的那样选择Spark作为引导程序操作，但当我这样做时，我会收到这样的消息: Name: xxx.xxxxxxx.processing.dp
使用模板构建:在弹性MapReduce集群上运行作业
参数: EC2密钥对(可选)：xxx_xxxxxxx_emr_key EMR步骤：
spark-submit --deploy-mode集群s3://xxx.xx
浏览 1提问于2017-01-13得票数 1
我们使用一个引导脚本在EMR集群节点上安装python库，用于我们的Spark作业。该脚本如下所示：
sudo python3 -m pip install pandas==0.22.0 scikit-learn==0.21.0
一旦集群运行完毕，我们就使用气流的SparkSubmitHook将作业提交给EMR。我们使用配置来将pyspark绑定到python3。问题是，偶尔，当作业开始运行时，我们会得到ModuleNotFoundError: No module named 'sklearn'错误。这样的堆栈跟踪如下所示：
return self.loads(obj)
Fi
浏览 3提问于2019-08-13得票数 0
回答已采纳
在emr上运行spark-submit作业时，我如何指定希望jvm使用MarkSweep gc？我可以与作业(即spark-submit -- conf...)一起提交它吗?如果可以，命令是什么？这是否必须在spark启动时设置，如果是，我如何在emr配置中指定？
谢谢!
浏览 5提问于2019-03-26得票数 0
回答已采纳
2回答
我在一个木星笔记本上运行了一个本地Python脚本，它在我的机器上运行我的本地Spark集群上的作业：
sc = pyspark.SparkContext(appName="test")
sqlCtx = pyspark.SQLContext(sc)
如何将此更改为连接字符串，以便在AWS中运行我的EMR集群上的作业？
这是可能的，还是当SSH‘’ing进入远程集群时，我必须使用spark-submit函数？
浏览 0提问于2018-11-02得票数 0
回答已采纳
我有一个实时spark作业，它在EMR集群中运行，我还有另一个批处理作业，它在另一个EMR集群中运行，该作业在特定时间触发。如何在一个EMR集群中同时运行这两个作业？
有什么建议吗。
浏览 2提问于2020-05-04得票数 0
我用Scala编写了在EMR中运行集群的代码。另外，我还有一个用Scala编写的Spark应用程序。我想在EMR集群上运行此Spark应用程序。但我可以在第一个脚本(启动EMR集群)中执行此操作吗？我想用SDK完成所有这些操作，而不是通过控制台或CLI。它必须是一种自动化，而不是单一的手工作业(或最小化手动作业)。
基本上；
启动电子病历群集->在电子病历->上运行Spark作业完成后终止
如果可能的话，我该怎么做？谢谢。
浏览 1提问于2020-03-23得票数 0
我正在emr-5.4.0集群上运行齐柏林飞艇0.7.0。我将使用默认设置启动群集。%spark.dep解释器不通过EMR进行配置。
我从下面编辑了文件/etc/zeppelin/conf/interpreter.json：
"2ANGGHHMQ": {
"id": "2ANGGHHMQ",
"name": "spark",
"group": "spark",
"properties": {
"spark.yarn.jar": &
浏览 3提问于2017-03-27得票数 4
我有一个火花作业，它使用一些外部库来工作。当我通过IntelliJ的main方法在本地运行作业时，作业运行时不会出现任何问题。但是，当我将作业组装到一个jarfile (我使用sbt创建一个UberJAR )并试图在EMR上运行它时，它会抛出一个ClassNotFoundException。
我已经检查了这个类确实在jarfile中，所以它应该可以让作业运行。我还尝试过spark-submit options spark.driver.extraClassPath、spark.driver.extraLibraryPath、spark.executor.extraClassPath和spark
浏览 2提问于2015-11-02得票数 2
回答已采纳
在EMR5.14集群上通过oozie工作流运行时，我面临以下错误：
在实例化pyspark.sql.utils.IllegalArgumentException: u“错误时，我的'org.apache.spark.sql.hive.HiveExternalCatalog'"脚本在作为普通火花作业执行时运行良好，但没有通过Oozie程序执行：-
spark = SparkSession.builder.appName("PysparkTest").config("hive.support.quoted.identifiers",
浏览 10提问于2020-04-15得票数 0
1回答
我正在考虑使用AWS来针对存储在S3上的非常大的Parquet文件运行一个Spark应用程序。这里的总体流程是一个Java进程将这些大型文件上传到S3，我想自动触发在这些文件上运行一个Spark作业(注入了上传的文件的S3密钥名)。
理想情况下，会有某种基于S3的EMR触发器可供连接；也就是说，我将EMR/Spark配置为“侦听”一个S3桶，并在上端人员到达该桶时启动一个火花作业。
如果不存在这样的触发器，我可能会将一些东西拼凑在一起，比如从S3事件中启动Lambda，并让Lambda以某种方式触发EMR作业。
然而，我的理解(如果我错了，请纠正我)是启动火花工作的唯一方法是：
将作业打包
浏览 7提问于2020-03-14得票数 1
回答已采纳
我正在尝试使用AWS Data PipeLine在电子病历集群中设置一个运行spark作业的流程。我们的流程按“随需应变”计划运行。
作为本活动的一部分，我们首先在管道中创建一个EMR集群，然后希望在一个emr集群上并行运行多个spark作业。
有没有一个我们可以用“随需应变”的时间表在数据管道上运行并行作业。
浏览 0提问于2017-09-22得票数 1
我在AWS EMR上运行spark集群。如何在不使用spark UI的情况下获取在AWS EMR上运行的作业和执行器的所有详细信息。我将使用它来进行监控和优化。
浏览 0提问于2016-12-08得票数 4
我在AWS EMR集群上运行了HBase Spark作业。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。现在，我在Dataproc中运行相同的Spark - Java/Scala作业。Spark作业失败，因为它正在查看spark.hbase.zookeeper.quorum设置。
请让我知道，如何在不更改代码的情况下，让我的spark作业在BigTable上成功运行。
你好，Neeraj Verma
浏览 2提问于2018-05-27得票数 0
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark作业是在“客户端”模式下运行还是在“集群”模式下运行。我该如何确定呢？
摘录自/etc/spark/conf/spark-default.conf
sp
浏览 0提问于2020-01-27得票数 0
1回答
因此，我使用EKS部署一个EMR应用程序，遵循AWS的EMR研讨会，声明Fargate配置文件。
我尝试了所有的东西都是没有服务器的，所以即使我的EKS集群也运行在Fargate上(kube，default等等)。
我创建了一个带有Fargate配置文件的自定义命名空间，并提交了一个Spark作业。这份工作仍处于待定状态。
当我添加一些托管节点组时，作业已成功提交。
我尝试提交非常轻的作业，当我移除托管节点组时，激发作业处于待定状态。
Events:
Type Reason Age From Mes
浏览 10提问于2021-09-29得票数 1
我有一个在EMR上运行的Spark java应用程序。当我尝试在本地运行spark作业登录到EMR实例时，我从控制台上的EC2应用程序获得了我的Logger信息。
/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.paramet
浏览 0提问于2019-05-29得票数 0
我正在尝试使用AWS控制台向AWS EMR集群提交一个spark作业。但它失败了，因为：
Cannot load main class from JAR。当我在AWS > Add中将主类指定为--class in Arguments选项时，作业将成功运行。
在本地机器上，如果未按以下方式指定主类，则作业似乎非常正常：
./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
我已经使用run配置将主类设置为jar。避免像--class那样传递主类的主要原因是，我必须使用EMRAcivity在AWS中运行此作业。在AWS Da
浏览 2提问于2018-01-23得票数 6
回答已采纳
我在AWS EMR上运行Spark，但spark作业有时会抛出org.apache.spark.rpc.RpcTimeoutException: Futures timed out after 120秒“
浏览 399提问于2021-07-31得票数 0
我有一个周期性挂起的spark作业，使我的AWS EMR集群处于一个应用程序正在运行但实际上集群被卡住的状态。我知道，如果我的工作没有停滞不前，它将在5小时或更短的时间内完成。如果在那之后它仍然在运行，这是作业被卡住的迹象。Yarn和Spark UI仍然是响应式的，只是执行器被任务卡住了。 背景:我使用的是一个短暂的EMR集群，它在终止之前只执行一个步骤，所以如果我注意到此作业挂起，将其终止也不是问题。 在这种情况下，终止任务、作业或集群的最简单方法是什么？理想情况下，这不涉及设置一些额外的服务来监视作业--理想情况下，我可以使用某种spark / yarn / emr设置。 注意:我已经尝
浏览 26提问于2019-01-10得票数 1
2回答
在此结构中，我有一个分布在多个代码文件中的pyspark作业：
flexible_clendar
- Cache
- redis_main.py
- Helpers
- helpers.py
- Spark
- spark_main.py
- main.py
在“main.py”中，我使用了来自'helpers.py‘、'redis_main.py’等的函数。
“flexible_calendar”文件夹被上传到S3桶中，以便EMR可以从它运行代码。
Iv'e创建了一个EMR集群，它使用所有所需的包引导，
浏览 15提问于2022-09-09得票数 0
我注意到在将EMR笔记本附加到带有Hadoop、Spark和Livy的EMR 6.1.0集群上时，出现了一些奇怪的情况。 您知道，我在主节点上安装的包在缺省的Python3内核中不可用，但在缺省的PySpark内核中可用。 当我在PySpark内核上获得主机名时，我可以看到它与我的主节点的私有DNS名相匹配。然而，当我运行Python3或终端内核时，我得到了一个不同的主机名，该主机名与我的集群上的任何节点都不匹配。 当我使用Python3内核时，Python3代码从哪里运行？当我选择一个终端内核时，我使用的是什么EC2机器终端？我检查过了，我的主计算机上也没有运行docker容器 有没有可能
浏览 12提问于2020-09-18得票数 0
1回答
我们目前正在使用Datapipeline中的HadoopActivity任务在EMR集群上运行并行Spark作业。默认情况下，较新版本的EMR集群将spark dynamic allocation设置为true，这将根据负载增加/减少所需的执行器数量。那么，我们是否需要在spark-submit中设置任何其他属性，例如内核数量、执行器内存等，或者最好是让EMR集群动态处理它？
浏览 2提问于2017-11-27得票数 1
1回答
我正在使用aws cli在EMR上运行一个火花作业。
我想要的是让服务器启动，运行作业，并终止。
我可以作为一个两步进程(首先启动服务器，然后运行作业)来完成这个任务，但是当我发送一个命令时，我会得到一个错误。
错误：
Error: Cannot load main class from JAR file:/home/hadoop/spark/bin/spark-submit
Run with --help for usage help or --verbose for debug output
Command exiting with ret '1'
所以看起来它找不到jar
浏览 1提问于2017-05-02得票数 2
例如，如果我使用Spark Connector从客户端(在EMR -1上运行)运行一个查询，以从Snowflake (在EMR -2上运行)获取数据，那么该查询实际上是在哪里执行的？它是在Snowflake本身上处理，然后返回结果，还是在客户端EMR上作为spark作业处理？当我看到Snowflake上的查询历史时，它也显示了执行的查询。这是否意味着它也会消耗那里的资源？
浏览 0提问于2020-02-25得票数 1
我需要在AWS EMR中运行结构化流spark作业。作为弹性需求，如果spark作业由于某些原因而失败，我们希望spark作业可以在EMR中重新创建。类似于ECS中的任务编排，如果健康检查失败，可以重启任务。然而，EMR更多是一个计算引擎，而不是编排系统。 我正在寻找一些大数据工作流程编排工具，例如Airflow。但是，它不能支持DAG中的循环。如何实现如下所示的一些功能？ step_adder (EmrAddStepsOperator) >> step_checker (EmrStepSensor) >> step_adder (EmrAddStepsOperato
浏览 44提问于2020-07-13得票数 1
回答已采纳
2回答
我想要创建一个新的EMR集群，运行一个PySpark作业并销毁它。理想情况下，我希望通过在创建集群时添加一个步骤来做到这一点。在本地运行以启动作业的命令如下所示：
spark-submit calculate.py --input x.csv --output output
我不明白的是如何确保calculate.py已经在主节点上可用。我看到了从S3桶中读取python脚本的引用，但我无法做到这一点。
现在，我有了单独的命令来创建集群，将脚本放在主节点上并添加步骤。这方面的问题是，集群在作业步骤完成后继续运行。
浏览 2提问于2015-09-28得票数 6
回答已采纳
我尝试从mrjob运行此示例，了解如何在AWS EMR上运行字数统计MapReduce作业。 这是来自mrjob的单词计数代码示例 from mrjob.job import MRJob
class MRWordFrequencyCount(MRJob):
def mapper(self, _, line):
yield "chars", len(line)
yield "words", len(line.split())
yield "lines", 1
def reduc
浏览 21提问于2021-07-20得票数 0
回答已采纳
Hi正在搜索web和amazon文档，以了解如何在aws上现有的emr纱线集群上运行spark作业。
我被困在下面。我已经设置了一个本地* spark集群进行测试；现在我想在aws emr上测试它。
因此，到目前为止，我已经在aws上创建了一个emr集群，无法找到运行以下代码的文档。这在以下情况下在本地工作：
"spark.master.url" is set as local[*]
班级代码：
public class SparkLocalImpl implements DataMapReduce{
private static SparkConf conf;
privat
浏览 0提问于2019-02-10得票数 1
回答已采纳
2回答
如何在EMR集群背景下运行定期作业？我有带有cron作业的script.sh和s3中的application.py，并且希望使用以下命令运行集群：
aws emr create-cluster
--name "Test cluster"
–-release-label emr-5.12.0
--applications Name=Hive Name=Pig Name=Ganglia Name=Spark
--use-default-roles
--ec2-attributes KeyName=myKey
--instance-type m3.xlarge
--inst
浏览 5提问于2018-02-24得票数 0
回答已采纳
1回答
我正尝试在EMR Spark上运行多个yarn应用程序，但我无法同时运行超过5个应用程序。
我正在为Spark Cluster使用以下配置：
Master = r5.2xlarge
Worker = r5.12xlarge 384 GB RAM 48个虚拟核心部署模式=群集
JSON
{
"Classification":"spark-defaults",
"ConfigurationProperties":{
"spark.executor.extraJavaOptions":
浏览 7提问于2019-07-11得票数 0
回答已采纳
1回答
我对气流完全陌生。我有一个要求，我必须运行两个电子病历作业。。目前，我有一个依赖于某些输入文件的python脚本，如果它存在，将触发一个EMR作业。
我的新要求是，我必须有不同的输入文件(相同类型)，这两个文件将输入到emr作业，在这两种情况下火花将做相同的事情，但只有输入文件是不同的。
create_job_workflow = EmrCreateJobFlowOperator(
task_id='some-task',
job_flow_overrides=job_flow_args,
aws_conn_id=aws_conn,
emr_co
浏览 3提问于2020-09-28得票数 0
回答已采纳
我正在使用一个安装了一些库的虚拟环境在aws上运行一些作业。我跟着这个，也是。但是当我运行作业时，我有一个错误：
Job execution failed, please check complete logs in configured logging destination. ExitCode: 1. Last few exceptions: Caused by: java.io.IOException: error=2, No such file or directory Exception in thread "main" java.io.IOException: Ca
浏览 44提问于2022-07-18得票数 1
回答已采纳
我正在为AWS EMR上长期运行的Spark Job设计CI/CD。spark作业作为一个步骤添加到EMR集群中。我正在考虑对CI/CD使用取消步骤和添加步骤。因此，我在CI/CD管道中集成了一个linux shell脚本，即取消并添加步骤。可以取消该步骤。但是，相应的spark应用程序仍在运行。正常吗？为CI/CD停止正在运行的spark应用程序的正确方法是什么？谢谢!
浏览 41提问于2020-08-25得票数 0
4回答
我在AWS EMR上运行一个非常简单的Spark作业，似乎无法从我的脚本中获得任何日志输出。
我试过用印刷术：
from pyspark import SparkContext
import sys
if __name__ == '__main__':
sc = SparkContext(appName="HelloWorld")
print('Hello, world!', file=sys.stderr)
sc.stop()
并使用火花记录器(如所示)
from pyspark import SparkContext
浏览 1提问于2017-03-06得票数 22
回答已采纳
1回答
我正在AWS EMR集群上运行spark作业，从客户端主机提交它们。客户端机器只是一个EC2实例，它以集群模式向EMR提交作业。
问题是- spark可以保存200 is的临时文件，如下所示：
/tmp/spark-456184c9-d59f-48f4-9b0560b7d310655/__spark_conf__6943938018805427428.zip
Tmp文件夹很快就会被这样的文件填满，我开始用错误得到失败的作业：
No space left on device
我尝试将spark.local.dir配置为在spark-defaults.conf中指向我的s3桶，但它在路径中添加了用
浏览 2提问于2018-10-01得票数 0
回答已采纳
在我们的应用程序中，我们使用spark master创建单个spark上下文，并使用它执行多个spark作业。我们在EKS上使用EMR的方式也是如此。有没有一种方法来执行它，或者它支持这种方式，或者EMR只适用于提交作业。
浏览 42提问于2021-10-26得票数 0
我在一个PySpark作业中使用Psycopg2，并且在一个包含所有依赖项的压缩文件中提供它。构建脚本执行以下操作：
python -m pip install -t build/dependencies -r src/requirements.txt
requirements.txt在哪里
SQLAlchemy
psycopg2
然后压缩dependencies，我通过--py-files将其提供给spark-submit。当我在电子病历上运行作业时，SQLAlchemy被导入得很好，但我得到了这个错误：
ImportError: No module named 'psycopg2.
浏览 3提问于2018-04-19得票数 4
1回答
我已经在EMR上运行了spark，并且我一直在尝试使用JDBC hive驱动程序从SQLWorkbench连接到spark-SQL，但都是徒劳的。我已经在EMR上启动了thrift服务器，并且能够从Tableau/SQL Workbench连接到端口10000(默认)上的Hive。当我试图运行一个查询时，它会触发一个Tez/Hive作业。但是，我想使用Spark运行查询。在电子病历框中，我可以使用beeline连接到SparkSQL，并将查询作为spark作业运行。资源管理器显示，beeline查询正在作为spark作业运行，而通过SQLWorkbench运行的查询正在运行hive/Tez作业
浏览 1提问于2016-11-19得票数 1
我想基于S3上的文件上传事件在AWS EMR集群上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件，但我不知道如何从Lambda函数在EMR集群上提交spark提交作业。
我搜索的大多数答案都涉及到在EMR集群中添加一个步骤。但我不知道是否可以添加add any step来在添加的步骤中触发"spark submit --with args“。
浏览 34提问于2017-08-21得票数 16
1回答
我有四个python文件，在四个文件中，有一个文件定义了火花条目代码，该文件驱动和调用rest其他python文件。到目前为止，我已经提供了四个python文件，其中有-py- file选项，在submit命令中，但是我不想以这种方式提交，而是创建zip文件，打包这四个python文件，然后用submit提交。虽然我尝试搜索一点，但我知道我可以创建zip文件，比方说myfile.zip，并将所有四个python文件打包到这个zip文件中，然后使用-py- file myfile.zip提交火花作业。但是，使用这种方法，我还在多个地方看到过，我需要在主python文件中添加一行代码sc.addf
浏览 1提问于2020-10-01得票数 2
我是spark的新手。我想从本地向远程EMR集群提交一个spark作业。我将通过此处的链接设置所有先决条件：
命令如下：
spark-submit --class mymain --deploy-mode client --master yarn myjar.jar
问题: sparksession创建无法在没有错误的情况下完成。看起来是个访问问题。
从aws文档中，我们了解到，通过将主服务器与yarn一起提供，yarn使用我从EMR复制的配置文件来了解主服务器和从服务器在哪里(yarn-site.xml)。由于我的EMR集群位于VPC中，需要特殊的ssh配置才能访问，我如何将此信息添加到ya
浏览 1提问于2019-06-26得票数 0
2回答
我想在EMR spark集群上设置一系列spark步骤，如果花费的时间太长，则终止当前步骤。但是，当我ssh进入主节点并运行hadoop job -list时，主节点似乎认为没有作业在运行。我不想终止集群，因为这样做会迫使我为我正在运行的任何集群购买一个全新的小时。有没有人可以帮我在不终止整个集群的情况下终止EMR中的spark-step？
浏览 2提问于2016-01-27得票数 14
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
