Amazon EMR集群matplotlib错误
Amazon EMR（Elastic MapReduce）是亚马逊云计算服务中的一项托管的大数据处理服务。它基于Apache Hadoop和Apache Spark等开源框架，旨在帮助用户轻松地处理和分析大规模数据集。
Matplotlib是一个Python的数据可视化库，用于创建各种静态、动态和交互式的图表和图形。它提供了丰富的绘图选项，可以用于数据探索、数据分析和数据展示等领域。
在使用Amazon EMR集群时，可能会遇到Matplotlib的错误。这些错误可能与环境配置、依赖项安装或代码编写有关。以下是一些常见的Amazon EMR集群中Matplotlib错误及其解决方法：
- ImportError: No module named 'matplotlib' 这个错误表示在集群中找不到Matplotlib模块。解决方法是在集群中安装Matplotlib模块。可以通过在启动集群时使用自定义脚本或在集群中运行命令来安装。例如，可以使用以下命令安装Matplotlib：
- ImportError: No module named 'matplotlib' 这个错误表示在集群中找不到Matplotlib模块。解决方法是在集群中安装Matplotlib模块。可以通过在启动集群时使用自定义脚本或在集群中运行命令来安装。例如，可以使用以下命令安装Matplotlib：
- ImportError: libpng12.so.0: cannot open shared object file: No such file or directory 这个错误表示缺少libpng12.so.0库文件。解决方法是安装libpng12.so.0库文件。可以通过在集群中运行以下命令来安装：
- ImportError: libpng12.so.0: cannot open shared object file: No such file or directory 这个错误表示缺少libpng12.so.0库文件。解决方法是安装libpng12.so.0库文件。可以通过在集群中运行以下命令来安装：
- RuntimeError: Python is not installed as a framework 这个错误表示Matplotlib无法在非框架模式下运行。解决方法是在Matplotlib的配置文件中进行修改。可以在Python脚本的开头添加以下代码：
- RuntimeError: Python is not installed as a framework 这个错误表示Matplotlib无法在非框架模式下运行。解决方法是在Matplotlib的配置文件中进行修改。可以在Python脚本的开头添加以下代码：
以上是一些常见的Amazon EMR集群中Matplotlib错误及其解决方法。在使用Amazon EMR集群时，建议参考Amazon EMR文档和Matplotlib官方文档以获取更详细的信息和解决方案。
腾讯云提供了类似的大数据处理服务，可以使用腾讯云的Tencent Cloud EMR来处理和分析大规模数据集。Tencent Cloud EMR提供了与Amazon EMR类似的功能和特性，可以满足用户在大数据处理方面的需求。更多关于Tencent Cloud EMR的信息可以在腾讯云官方网站上找到：https://cloud.tencent.com/product/emr
相关·内容
3回答
我在Amazon中创建了一个集群，并使用-emr-4.0.0。Hadoop发行版:Amazon2.6.0和Hive1.0.0。需要安装Sqoop以便我可以在Hive和Redshift之间进行通信吗？在EMR集群中安装Sqoop的步骤是什么？请求提供步骤。谢谢!
浏览 5提问于2015-08-13得票数 1
回答已采纳
嗨，当我创建EMR集群时。状态说明它正在创建，但是58分钟后，它抛出错误，表示Master - 1: Error provisioning instances。错误消息(附错截图)我多次尝试，但所有尝试都失败了。
我正在跟踪AWS关于如何创建EMR集群的文档。
https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs.html
在AWS上创建电子病历集群(从所附文件中获取的图片)
我哪里出错了？我想成功地创建EMR星系团，并将木星笔记本附在星系团上。是否有文档可以成功创建群集并使群集在58分钟后不被终止而运行？
请建议我该做些什
浏览 0提问于2022-01-15得票数 0
回答已采纳
下面的图像来自AWS本身，显示了EMR集群是如何在私有子网中配置的。很好。
子网之外的唯一通信是Amazon 。
有趣的是，我总是使用Amazon图标来表示附图中的集群，我认识的其他人也会这样做。我在这里错过了什么？AWS EMR服务是什么？
浏览 6提问于2021-06-26得票数 0
回答已采纳
下面是我的Dag:我正在尝试旋转一个EMR集群，并尝试在添加步骤时使用它的集群id。用例是:想要旋转一个集群并将其集群id保存在s3中的某个地方。但是xcom_pull显示出了错误。
from datetime import timedelta
from airflow import DAG
from airflow.contrib.operators.emr_add_steps_operator import EmrAddStepsOperator
from airflow.providers.amazon.aws.operators.emr_create_job_flow import E
浏览 3提问于2021-12-02得票数 1
1回答
我已经在amazon web服务中设置了EMR集群，有1个主服务器和2个从服务器。我不知道是否应该使用start-all.sh命令来启动集群上的节点。或者，如何启动EMR集群节点？
浏览 2提问于2016-04-25得票数 0
2回答
在创建了Amazon，my_bucket之后，我通过cli创建了一个弹性地图减少集群：
创建-集群-名为"Hive测试“--ami-version 3.3 --应用程序Name=Hive --使用默认角色--实例类型m3.xlarge -实例-count 3-steps Type=Hive，Name="Hive Program"，Args=-d，emr =s3://my_bucket/input，d.OUTPUT=S3://my_bucket/input，-d-LIBS=s3://my_bucket/serde_libs
注意，我没有指定hive *.q文件。生
浏览 0提问于2015-01-14得票数 11
回答已采纳
我已经在亚马逊EC2上建立了一个Hadoop集群，提供了NameNode/DataNode和其他一些服务。我的摄取作业将数据带入EC2 HDFS集群(比方说hdfs://ec2-hdfs/)。
现在我有了一个以每周批处理的方式运行的管道。我正在启动一个新的Amazon EMR集群来运行我的计算。一旦处理完成，我将终止EMR集群。
我需要在EMR中运行的spark作业的输入是在EC2 HDFS (hdfs://ec2-hdfs/)中。如何从新创建的EMR集群访问？我相信在EMR集群启动期间应该会有一些选项(引导/VPC/子网)可用。
浏览 10提问于2019-07-16得票数 0
1回答
我正在尝试按照Kyle Mulka的博客"“中描述的步骤在Amazon EMR集群上安装Sqoop。
在将所需的文件上传到S3位置后，我尝试通过命令行界面运行以下EMR作业。
./elastic-mapreduce --create --name SQOOP-INSTALL --jar s3://<YOUR-REGION>.elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOUR-BUCKET>/sqoop-install/install_sqoop.sh。
我可以看到一个名为S
浏览 3提问于2013-11-04得票数 2
在“使用AWS指定Amazon管理的安全组”一节中写道：
使用创建集群命令和--emr管理-主安全组和--emr管理-从安全-组参数。
当我使用这些参数运行aws emr create-cluster命令时，会得到以下错误：
Unknown options: --emr-managed-master-security-group,--emr-managed-slave-security-group
我的aws cli版本如下：
$ aws --version
aws-cli/1.11.59 Python/2.7.10 Darwin/16.4.0 botocore/1.5.22
对于这些
浏览 5提问于2017-03-09得票数 0
1回答
EMR中的持久化、安装和共享卷
、、、、
AWS是否提供满足以下条件的存储解决方案？
可以将电子病历集群中的主节点作为OS目录安装在例如/mnt下
如果群集被终止或删除，其寿命将超过电子病历群集。
可以由多个EC2实例同时访问(在电子病历中)
在我看来，-like卷应该满足这三个方面，但我不知道EBS、EFS和/或EMRFS是否可以这样使用。至少我在寻找给我(1)和(2)的东西。
背景: EBS
在上述问题的上下文中，我研究了EBS，但在这个主题上找到了。
EMR文档指出，EBS卷在EMR中是短暂的：
Amazon在Amazon中的工作方式与常规的Amazon实例不同。附加在EMR集群上的Amazon卷是临时
浏览 2提问于2018-03-29得票数 3
我想使用EMRFS S3优化提交器本地没有EMR集群。我设置了"fs.s3a.impl“= "com.amazon.ws.emr.hadoop.fs.EmrFileSystem”而不是"org.apache.hadoop.fs.s3a.S3AFileSystem“，并引发了以下异常：
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found
尝试使用来自maven的下列软件包，但没有成功：
浏览 2提问于2021-09-23得票数 0
回答已采纳
2回答
我正在尝试访问EMR上的hbase，以便从运行在EMR集群节点之外的java应用程序中进行读写。在ECS集群/EC2实例上运行的坞应用程序。hbase根文件夹类似于s3://<bucketname/。我需要获得hadoop和hbase配置对象，以便使用core-site.xml、hbase-site.xml文件访问hbase数据进行读写。如果hbase数据存储在hdfs中，我可以访问相同的数据。
但是，当它是hbase在S3上，并试图实现同样的，我得到了以下例外。
Caused by: java.lang.RuntimeException: java.lang.ClassNotFound
浏览 3提问于2021-03-29得票数 0
回答已采纳
2回答
EMR引导失败
、、、
我正尝试在AWS EMR中运行以下引导程序脚本，但它失败了，没有提供错误消息。我已经为应用程序设置了EMR集群: Spark、Hive、Ganglia和Livy。
!/bin/bash
sudo pip-3.6安装-U \ matplotlib \ pandas \ spark-nlp
我使用的是EMR版本6。之前我们只使用"pip“而不是"pip- 3.6”，但它仍然出错，因此我们决定尝试使用"pip-3.6“，因为我们假设EMR 6有python 3.6。
请让我知道这可能有什么问题。
谢谢!
浏览 12提问于2020-05-21得票数 0
1回答
是否有可能等到EMR集群被终止？
、、、、
我正在尝试编写一个组件，它将启动一个EMR集群，在该集群上运行一个Spark管道，然后在管道完成后关闭该集群。
我已经创建了集群，并设置了允许主集群的工作机器启动EMR集群的权限。但是，我很难调试创建的集群，并等待管道完成。这是我现在的代码。注意，我使用的是Spark，但这非常接近标准Java代码：
val runSparkJob = new StepConfig()
.withName("Run Pipeline")
.withActionOnFailure(ActionOnFailure.TERMINATE_CLUSTER)
.withHadoopJarStep
浏览 0提问于2019-06-13得票数 2
回答已采纳
成功启动aws EMR集群，但任何提交都失败：
19/07/30 08:37:42 ERROR UserData: Error encountered while try to get user data
java.io.IOException: File '/var/aws/emr/userData.json' cannot be read
at com.amazon.ws.emr.hadoop.fs.shaded.org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:296)
at co
浏览 0提问于2019-07-30得票数 6
回答已采纳
我想了解是否可以使用连接到Amazon EMR中实现的Spark master节点的flask应用程序。目标是从web应用程序调用Flask来检索spark输出。端口在amazon EMR集群的安全组中是开放的，但我无法从他的端口外部访问它。 你觉得那个怎么样？还有其他的解决方案吗？
浏览 17提问于2020-07-06得票数 0
回答已采纳
1回答
禁用EMR上的多部分上载
、、、、
目标是禁用Amazon上的多部分上传。
说在创建EMR集群时，在编辑软件设置中输入classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]。
我的问题是：
我们可以修改，现有的 EMR集群的配置吗？如果是的话，怎么做？
我们能否通过将sparkSession.sparkContext.hadoopConfiguration.set("fs.s3.multipart.uploads.enabled","false")放在要在EMR上执行的jar中来实现相同的目标？
浏览 3提问于2017-11-29得票数 0
回答已采纳
3回答
在Amazon EMR集群上运行spark作业后，我直接从s3中删除了输出文件，并再次尝试重新运行该作业。在尝试使用sqlContext.write在s3上写入拼图文件格式时，我收到以下错误：
'bucket/folder' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:455)
我试着跑步
emrfs syn
浏览 1提问于2016-10-03得票数 14
回答已采纳
我正在尝试用Lambda (NodeJS-12)中的脚本启动一个EMR集群。
var AWS = require('aws-sdk');
var emr = new AWS.EMR({apiVersion: '2009-03-31', region: 'ap-northeast-1'});
exports.handler = (event, context, callback) => {
var params = {
"Name": "LaunchEMR",
"
浏览 0提问于2019-12-02得票数 1
回答已采纳
如何在Amazon EMR集群上获取MIN_CONTAINER_SIZE的默认设置？由于我想使用以下公式计算EMR上每个节点的内存使用量
RAM-per-container = max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))
谢谢!
浏览 0提问于2015-11-21得票数 1
我最近在JupyterHub上使用了Spark和JupyterHub。我知道在创建EMR之前，我可以将引导程序设置为在每个集群中设置环境，比如Python包/库。但是，如果我已经启动了EMR，那么如何在不重新启动EMR的情况下安装更多的Python包/库？
我搜索并得到了一些答案，我可以通过木星中心的手机安装它。例如,
%%spark
sc.install_pypi_package("matplotlib")
我试着犯了个错误
RuntimeError: install_pypi_packages can only use called when spark.pyspark.v
浏览 12提问于2020-05-22得票数 4
2回答
电子病历上的用例HBase
、、、、
我读过关于AWS的文档，但是有一点还不清楚。
S3是EMR集群的主要存储区吗？或者数据是在EC2中，而S3只是一个副本？
在医生里：
HBase on Amazon提供了将您的HBase数据直接备份到(亚马逊S3)的能力
运行在Amazon上的Hadoop集群使用EC2实例作为主节点和从节点的虚拟Linux服务器，使用 S3作为输入的大容量存储.
“提供启动新集群并使用以前的备份的数据填充它的的能力”
我的用例:使用HBASE存储TB数据。通过启动emr集群，每月只更新我的表三到两次。表存储在S3上。
浏览 1提问于2015-06-12得票数 0
回答已采纳
2回答
我在EMR (emr-5.20.0)上有一个集群，其中一个m5.2xlarge作为Node Master，两个m4.large作为核心，三个m4.large作为节点工作节点。这个集群的内存ram总和是62 in，但在YARN UI中显示的总内存是30 in。 有人能帮我理解这个值是如何计算的吗？ 我已经检查了Yarn-site.xml和spark-default.conf中的配置，它们是根据亚马逊网络服务的建议进行配置的：https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-hadoop-task-config.html#
浏览 41提问于2019-05-22得票数 0
我已经使用Amazon EMR启动了一个集群，并要求gcc至少使用版本5才能编译XGBoost。 然而，由于某些原因，Amazon Linux附带的默认版本的gcc显然不支持OpenMP。 那么，有没有什么方法可以在Amazon Linux上安装g++ >5，以便它也支持OpenMP编译？
浏览 11提问于2019-09-24得票数 2
回答已采纳
2回答
我有一个EMR (emr-5.30.0)集群，我试图从S3中的一个引导文件开始。引导文件的内容如下：
#!/bin/bash
sudo pip3 install --user \
matplotlib \
pandas \
pyarrow \
pyspark
我的stderr文件中的错误是：
WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Command "pytho
浏览 8提问于2020-05-14得票数 3
回答已采纳
我正在创建火花会话使用下面的代码片段在python笔记本上的AWS EMR集群。
spark = SparkSession.builder \
.config("spark.jars.packages","org.apache.hadoop:hadoop-aws:2.7.0") \
.getOrCreate()
然后从S3桶中读取数据，如下所示
df_songs = spark.read.option("recursiveFileLookup","true
浏览 10提问于2022-10-10得票数 0
回答已采纳
1回答
我在Amazon EMR上运行Spark作业；我希望从程序本身中持续报告集群的总内存和可用内存。Spark API中有没有什么方法可以提供关于集群内存的信息？
浏览 3提问于2018-06-06得票数 0
3回答
我创建了一个Amazon EMR集群，其中已经包含Spark。当我从终端运行pyspark时，当我ssh进入我的集群时，它进入pyspark终端。
我使用scp上传了一个文件，当我尝试使用python FileName.py运行它时，我得到了一个导入错误：
from pyspark import SparkContext
ImportError: No module named pyspark
我该如何解决这个问题？
浏览 0提问于2015-08-13得票数 11
我正在尝试使用amazon aws控制台创建一个集群，默认的role.The集群会被创建，它有时会保持启动状态，然后终止，错误如下：-无法提供ec2实例，因为‘请求的实例配置文件EMR_EC2_DefaultRole无效’
我尝试编辑默认角色的用户信任关系，但再次显示不是authorized.ALso，我已以根帐户登录。
浏览 0提问于2016-11-08得票数 4
1回答
我使用的是带有Hadoop + Spark + Hive + Zeppelin的AWS集群EMR 5.3.1
当我使用Zeppelin并键入命令时：
%python
import matplotlib.pyplot as plt
plt.plot([1, 2, 3])
我得到了错误：
ImportError: Gtk3 backend requires pygobject to be installed.
如何解决？
浏览 3提问于2017-02-27得票数 4
我正在尝试使用Amazon Data-Pipeline在Amazon EMR集群上运行spark scala应用程序。在EMRActivity中添加的步骤如下所示：
command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.demo.GettingStarted,s3://myBucket/sampleApps/HelloWorld.jar
查看EMR日志后，作业始终失败，并显示以下堆栈跟踪：
线程“主”应用程序中出现异常:org.apache.spark.SparkException
application_15170
浏览 1提问于2018-01-28得票数 1
1回答
当我使用%%local在托管木星笔记本实例上运行代码时，如何使用EMR集群的Python实例中定义的变量
具体来说，我想使用matplotlib，如所示，并显示使用spark.sql()生成的数据图。使用%%sql可以轻松地使用%%local中的数据结果，但我仍然需要从EMR实例中将参数传递给%%sql
示例：
ln[1]: parameter = 'Hello parameter'
ln[2]: %%local
print(parameter)
我不断地收到没有定义变量的错误。
浏览 0提问于2019-10-22得票数 1
回答已采纳
我想要创建一个通过亚马逊EMR上的气流触发的emr集群。emr集群显示在Amazon的UI中，但是出现了一个错误：：VPC/子网配置无效:需要子网:指定的实例类型m5.xlarge只能在VPC"中使用
下面是在气流脚本中使用的用于此任务的json格式的代码片段和配置详细信息。
我的问题是如何将有关VPC和子网的信息(id代码)合并到json中(如果可能的话)？目前还没有明确的例子。
提示:已经创建了网络和EC2子网。
JOB_FLOW_OVERRIDES = {
"Name": "sentiment_analysis",
"Rel
浏览 4提问于2021-04-23得票数 3
1回答
上下文
我在Amazon集群上运行spark应用程序。
这些应用程序是由Yarn策划的。
从AWS控制台，我能够使用集群详细信息页的Application History选项卡获取纱线应用程序状态。(请参阅)
期望/问题
我希望从java或scala程序获得相同的信息(应用程序状态)。
那么，可以从AWS EMR获得纱线应用状态吗？
在我的应用程序中，我管理一些EMR对象实例，例如：
提前谢谢。
浏览 2提问于2017-11-13得票数 2
1回答
我试图使用简单的包Segue ()在EMR上运行我的R代码。
但是，当我尝试执行函数时，我会得到一个与S3相关的404错误(如下所示)。有人能推测一下这意味着什么或者我会怎么解决吗？我没有S3的知识和很少的电子病历经验。
谢谢！！
#Setup R Environment
setwd("/home/jmiller/")
install.packages("rJava")
install.packages("caTools")
install.packages("segue_0.05.tar.gz", repos = NULL,
浏览 4提问于2013-10-30得票数 1
我在Amazon AWS上创建了一个服务器EC2，并安装了用于使用HBASE的HappyBase python库。另外，我在EMR中创建了一个工作集群Hbase。然后我尝试在EC2上的第一个服务器上运行该脚本：
import happybase
connection = happybase.Connection('….us-west-2.compute.amazonaws.com')
connection.open ()
print connection.tables ()
但我得到一个错误，服务器找不到。作为主机，我有Hbase集群公共dns。使用python happyba
浏览 0提问于2013-11-24得票数 1
1回答
我正在尝试运行hadoop-streaming命令示例：
hadoop-streaming -files streamingCode/wordSplitter.py \
-mapper wordSplitter.py \
-input s3://elasticmapreduce/samples/wordcount/input \
-output streamingCode/wordCountOut \
-reducer aggregate
但是我一直收到这个错误：
Exception in thread "main" com.amazon.ws.emr.hadoop.fs.sh
浏览 1提问于2016-08-02得票数 5
当我在Amazon EMR上生成一个集群时，它需要一些时间才能启动。如果我在创建集群之前终止它，我会被收费吗？集群也需要一些时间才能终止。假设我在58分钟终止集群，而集群需要额外的5分钟才能终止。是按1小时收费还是按2小时收费？
浏览 24提问于2017-03-01得票数 0
编辑:这个问题是关于您应该如何定义python/jupyetr-notebook文件的参数，以便在EMR Amazon Spark Cluster上进行spark-submit ...
之前:我为我愚蠢的问题感到抱歉，但我是一个新手，我被这个问题困了几天，似乎在网络上没有好的指南。我正在学习Udacity Spark课程。我已经在Amazon AWS (EMR)上创建了Spark Yarn集群，有一个主服务器和3个从服务器。我在上面创建了一个jupyter笔记本(并且能够使用PySpark内核运行和查看输出)。我已经使用PuttY连接到集群(我猜是连接到主节点)，我已经将jupyter笔记本下
浏览 1提问于2020-07-10得票数 1
1回答
我正试图在EMR及以下安装java 11，这是我的docker文件。
FROM 711395599931.dkr.ecr.us-east-2.amazonaws.com/spark/emr-6.2.0:latest
ARG GIT_COMMIT=unspecified
LABEL git_commit=$GIT_COMMIT
USER root
CMD apt-get update && \
apt-get install -y java-11-amazon-corretto && \
apt-get install -y ant &&
浏览 10提问于2022-08-01得票数 1
我使用的是Amazon的EMR集群，但我没有使用add steps。我想要一种方法来关闭集群，例如，它已经闲置了3天。
如果我要构建它，我很可能只会在集群上运行一个历史命令，并查找最后一个spark-submit命令。有没有更好的方法？
浏览 5提问于2017-03-10得票数 0
回答已采纳
1回答
下面是我设置EMR集群的代码：
public void createCluster(){
AWSCredentials credentials = new BasicAWSCredentials("xxx","xxx");
AmazonElasticMapReduceClient emr = new AmazonElasticMapReduceClient(credentials);
StepFactory stepFactory = new StepFactory();
StepConfig
浏览 0提问于2015-12-16得票数 1
4回答
我有一个EMR火花作业，需要从一个帐户从S3读取数据，然后写到另一个帐户。
我把工作分成两步。
从S3读取数据(不需要凭据，因为我的EMR集群位于同一个帐户中)。
读取由步骤1创建的本地HDFS中的数据，并将其写入另一个帐户的S3桶中。
我尝试过设置hadoopConfiguration
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "<your access key>")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAcce
浏览 5提问于2016-11-01得票数 15
回答已采纳
5回答
我对HIVE以及AWS-EMR都很陌生。根据我的要求，我需要在群集外部创建配置单元元存储(从AWS EMR到AWS RDS)。我听从了“
我在hive-site.xml中进行了更改，并能够将hive metaStore设置为Amazon RDS mysql服务器。为了使更改生效，目前我正在重启整个集群，以便hive开始将元数据存储到AWS-RDS。这就是它的工作方式。
但是我想避免重启集群，有什么方法可以重启服务吗？
浏览 1提问于2015-08-11得票数 6
尝试将公开可用的AWS DL AMI应用于EMR集群时，我遇到以下错误(emr-6.2.0，spark 3.0.1) 在应用程序阶段的puppet.log文件中： ERROR: An NVIDIA kernel module 'nvidia' appears to already be loaded in your kernel. This may be because it is in use (for example, by an X server, a CUDA program, or the NVIDIA Persistence Daemon), but this m
浏览 344提问于2021-03-18得票数 0
我正在尝试将Hive f1的数据导出到s3://mubucket/exported.csv的csv文件中。我在Amazon中创建了一个集群，并使用emr-4.0.0。Hadoop发行版：Amazon 2.6.0和Hive 1.0.0。如何将数据从Hive表导出到s3桶的csv文件？
浏览 2提问于2015-08-12得票数 0
我在一个有三个服务器的小型Amazon EMR 5 (Spark 2.0)集群上运行Spark作业。我的作业运行了一个小时左右，失败了，错误如下。我可以手动重新启动，它可以工作，处理更多的数据，最终再次失败。
我的Spark代码相当简单，没有直接使用任何亚马逊或S3 API。我的Spark代码将S3文本字符串路径传递给Spark，而Spark在内部使用S3。
我的Spark程序只是在循环中执行以下操作:从S3加载数据，->进程->将数据写入S3上的不同位置。
我的第一个怀疑是，某些Amazon或Spark内部代码没有正确处理连接，连接池变得耗尽。
com.amazon.ws.emr
浏览 5提问于2016-08-28得票数 17
2回答
我正在尝试在Amazon EMR集群中提交一个简单的spark作业。我的集群有5个M4.2xlarge实例(1个主实例，4个从实例)，每个实例都有16个vCPU和32 of内存。
这是我的代码：
def main(args : Array[String]): Unit = {
val sparkConfig = new SparkConf()
.set("hive.exec.dynamic.partition", "true")
.set("hive.exec.dynamic.partition.mode", "nonstric
浏览 1提问于2017-08-31得票数 8
1回答
我无法在AWS EMR Hadoop集群中重新启动Hue。我已经修改了hue.ini文件，并希望重新启动apply.When色调，因为我运行了“服务色调重新启动”，它发出的是“命令未找到”错误。我可以理解，这一定是因为色调没有添加到环境路径中。但是，当我运行bin/hue时，它不会将重新启动作为输入。有办法重新启动色调吗？
我使用的是Hue 3.7.1-amzn-7，emr-4.8.4和Amazon2.7.3 Hadoop发行版.
提前谢谢。
浏览 1提问于2017-05-01得票数 1
回答已采纳
如何在Ubuntu中通过命令行创建Amazon EMR集群？我有私钥、访问密钥和pem file?....Can，任何人可以指导我如何从命令行运行单词计数示例。
浏览 1提问于2014-12-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
