我正在尝试使用uber jvm profiler来分析我的spark应用程序(spark 2.4，在EMR5.21上运行) 以下是我的集群配置 [ "spark.memory.fraction我运行以下引导脚本
浏览 36提问于2019-12-08得票数 2
回答已采纳
我正在尝试在AWS EMR控制台(Amazon Web Services)上运行Spark应用程序。","1g")但是，在上传jar并设置集群时，我不知道如何将Master-URL参数和其他参数传递给jar。需要明确的是，我知道如果我运行的是Spark-Shell，我会用另一种方式来做这件事，但我是一名Windows用户
浏览 3提问于2015-04-15得票数 0
我有一个运行pyspark应用程序(或在AWS EMR中称为steps )的aws emr集群。我想为pyspark应用程序设置环境变量，并将其放入集群配置中(在googling搜索之后)： [ "Classification": "spark-defaults", "spark.executorEnv.MY_ENV": "some
浏览 14提问于2020-09-21得票数 0
回答已采纳
我在AWS EMR上运行了spark应用程序。我们在亚马逊网络服务上有不同的环境，如prod，uat，dev等。如何将不同的配置文件传递给spark-submit，以便在部署期间不必为每个环境更改application.conf文件？
浏览 2提问于2017-04-18得票数 1
1回答
EMR群集上未安装火花
、、、
我在EMR集群上使用Spark已经有几个星期了，没有问题--设置是使用AMI 3.8.0和Spark1.3.1，我将'-x‘作为一个参数传递给Spark (没有这个参数，它似乎没有安装)。我想升级到一个最新版本的星火，今天推出了一个带有EMR-4.1.0AMI的集群，其中包含了Spark1.5.0。当集群启动时，它声称已经成功地安装了Spark (至少在AWS上的集群管理页面上)，但是当我将ssh安装到'hadoop@IP地址‘时，
浏览 3提问于2015-11-09得票数 0
回答已采纳
我正在尝试使用以下命令从AWS EMR emr-5.20.0主节点提交Spark申请： spark-submit --executor-memory 4g --deploy-mode clusterin thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem如何正确地将属性文件传递到AWS <em
浏览 142提问于2019-02-28得票数 0
回答已采纳
在安装了应用软件(例如: spark)之后，是否有一种方法可以运行引导操作？我的目的是用我的定制火花罐替换一个AWS火花罐，这必须在AWS安装原始火花后完成。
浏览 2提问于2021-05-23得票数 2
在EMR主节点上运行我的应用程序时遇到了一个问题。它需要访问版本1.11中添加的一些AWS SDK方法。所有必需的依赖项都被捆绑到一个胖jar中，应用程序在我的dev box上按预期工作。但是，如果在电子病历主节点上执行应用程序，则在调用方法时会失败，并出现NoSuchMethodError异常，在AWS SDK版本1.11+中添加，例如
java.lang.NoSuchMethodErrorcom.amazonaws.services.sqs.model.SendMessageRequest.withMessageDed
浏览 11提问于2017-01-17得票数 3
回答已采纳
1回答
AWS管理自动标度吗？
、、、
我正在使用Sagemaker进行预处理和生成培训数据，我遵循的是文档，但我目前看不到如何在EMR集群中指定自动标度。我应该在传递给spark_processor run()对象的spark_processor参数中包含什么？我不应该包括什么？
)
对于这些类型的任务，我习惯于通过Python更直接地与EMR进行交互。这样我就可以同时指定整个<e
浏览 3提问于2021-04-01得票数 0
2回答
我在EMR上使用Spark、Zeppelin、Hue等配置了一个小的、长期运行的集群。我已经配置了色调用户，我在Zeppelin中有几个我正在使用的笔记本。一切都运行良好。但是，我运行的是emr-4.3.0，我想升级到emr-4.5.0映像。我不想重新创建集群，因为我需要重新配置所有应用程序，并弄清楚如何传输用户数据(保存的笔记本、色调保存的查询等)。如何将已运行的群集升级到最新的EMR映像？
浏览 3提问于2016-04-12得票数 2
我的用例是从Spark应用程序写入DynamoDB。由于我对DynamoDB的写入容量有限，并且不想因为成本问题而增加它，我如何将Spark应用程序限制为以规定的速度写入？编辑:当Spark应用程序在多节点EMR集群上运行时，需要实现这一点。
浏览 1提问于2018-05-18得票数 2
我想在输出文件的路径中使用"Step ID“，这样我就可以知道EMR (Spark)应用程序每次运行的输出。如何在我的Scala Spark应用程序中访问它？
浏览 0提问于2020-05-05得票数 0
我在AWS EMR上运行Spark2.2和Scala (齐柏林/火花壳)。
我试图计算非常简单的计算:加载、过滤、缓存和计算一个大数据集。当我查看Spark和Ganglia时，我发现应用程序加载了80%以上的数据后，驱动节点变得太忙，而执行器停止工作(CPU使用率很低)，直到崩溃。AFAIK只有执行者在加载和处理任务，数据不应该传递给主程序。原因是什么？emrfs/lib/*:/usr/share/aws/emr&#x
浏览 2提问于2017-11-29得票数 6
1回答
我刚刚将k8s迁移到1.22，使用这个版本的spark操作符:1.2.3没有工作。我在互联网上跟踪了这些信息，升级到1.3.3，但是我所有的星火应用程序都失败了，同样的错误是：Caused by: java.io.FileNotFoundException: /etc/metrics<init>(JmxCollector.java:78) at io.prometheus.jmx.shaded.io.prometheus.jmx.JavaAgent.premain(JavaAgent.jav
浏览 13提问于2022-07-14得票数 0
我很难让我的火花应用程序忽略Log4j，以便使用Logback。我尝试使用logback的原因之一是它所支持的日志附加器。<dependency> <artifactId>spark-core_2.12</artifactId>
<version>${spark.version}</version&
浏览 7提问于2020-10-08得票数 1
2回答
因此，我尝试在EMR上运行Spark管道，并创建一个步骤，如下所示： // Build the Spark job submission request .withMainClass("com.example.SparkApp")
) 问题是，当我运行这段代码时，我遇到了一个异常，如下所示： org.apache.spark.SparkException我是在设置管道运行步骤时指定它
浏览 19提问于2019-07-03得票数 1
回答已采纳
我希望能够使用javaagent运行Play Framework2.0服务器。网络上的一些资源(参见和 )建议，这可以通过简单地将-javaagent:/path/to/agent.jar附加到play run来完成，但它似乎对我不起作用。
有什么线索吗？
浏览 2提问于2012-06-13得票数 5
回答已采纳
我在亚马逊弹性地图减少(EMR)上运行Apache的一项工作。目前，我正在运行emr-4.1.0，其中包括AmazonHadoop2.6.0和Spark1.5.0。我将神奇的"maximizeResourceAllocation“属性设置为"true"，set属性"spark.dynamicAllocation.enabled”也设置为"true“。但是，如果我通过向工人机器的核心池中添加节点来调整emr集群的大小，那么纱线只会将一些新的节点添加到火花作业
浏览 0提问于2015-11-26得票数 23
回答已采纳
1回答
我想将配置文件传递给我的spark应用程序。此配置文件托管在HDFS中。例如；spark { master: "", etc.. host: "", timeout: 2000,
checkpointLocation: "hd
浏览 1提问于2019-05-07得票数 1
回答已采纳
是否可以将选项从azkaban工作流传递到底层作业代码？from azkaban import Job, Projectimport os
'start.date' : today.strftime('%Y-%m-%d'), # Can we pass this as an arg
浏览 1提问于2015-05-08得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
