在BigInsights hadoop群集中使用spark-submit提交SparkR作业(R脚本)失败
在BigInsights Hadoop群集中使用spark-submit提交SparkR作业（R脚本）失败可能有多种原因。以下是一些可能的原因和解决方法：
- 版本兼容性问题：确保SparkR版本与BigInsights Hadoop群集版本兼容。可以查阅SparkR和BigInsights Hadoop的官方文档来确认版本兼容性。
- 环境配置问题：检查SparkR的环境配置是否正确。确保SparkR的路径正确设置，并且相关的环境变量和配置文件正确配置。
- 依赖项问题：检查SparkR作业所需的依赖项是否正确安装和配置。确保所有必要的库和依赖项都已正确安装，并且版本匹配。
- 资源配置问题：检查SparkR作业所需的资源配置是否正确。确保分配给SparkR作业的内存、CPU和其他资源足够，并且没有被其他作业占用。
- 日志和错误信息：查看SparkR作业提交失败时的日志和错误信息，以便确定具体的失败原因。根据错误信息进行适当的调整和修复。
- 网络通信问题：检查网络通信是否正常。确保Hadoop群集和SparkR作业所在的节点之间的网络连接正常，并且没有任何防火墙或网络配置问题。
- 权限问题：检查SparkR作业所需的文件和目录的权限是否正确设置。确保SparkR作业可以访问所需的文件和目录，并且具有执行权限。
- 配置参数问题：检查SparkR作业提交命令中的参数是否正确设置。确保所有必要的参数都已正确设置，并且与Hadoop群集的配置相匹配。
如果以上解决方法都无法解决问题，建议向BigInsights Hadoop群集的支持团队寻求帮助，提供详细的错误信息和日志，以便他们能够更好地理解和解决问题。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云大数据平台：https://cloud.tencent.com/product/tcaplusdb
- 腾讯云云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iot
- 腾讯云移动开发：https://cloud.tencent.com/product/mobapp
- 腾讯云存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/vr
相关·内容
我已经使用5个节点的hadoop集群(包括带有SparkR的Apache Spark )创建了IBM服务。我尝试使用SparkR连接cloudant数据库，获取一些数据并进行一些处理。在BigInsights hadoop群集中使用spark-submit提交SparkR作业(R脚本)失败。我
浏览 11提问于2016-08-08得票数 1
我正在按照的指示在一台红帽子机上安装火花。我想在RStudio使用星火。我已经下载了spark-1.6.1-bin-hadoop2.6，并遵循了说明，并在RStudio中的脚本中放入了以下一行：Sys.setenv(SPARK_HOME"SPARK_HOME"), "R", "lib"), .libPaths()))
# creat
浏览 5提问于2016-06-23得票数 0
回答已采纳
我正在使用 spark version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的spark群集正在作为独立群集spark配置运行 spark.master${SPARK_HOME}/sbin/start-master.sh 从启动脚本为${SPARK_HOME}/sbin/start-slave.sh spark://localhost:7077 -c1 -m 50M 我想在
浏览 31提问于2021-04-17得票数 0
在RStudio中尝试使用SparkR连接到星火集群时： Sys.setenv(SPARK_HOME = "/usr/lib/spark/spark-2.1.1-bin-hadoop2.6")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "
浏览 4提问于2017-05-25得票数 1
2回答
我有一个AWS EMR集群运行火花，我想提交一个PySpark作业从我的笔记本电脑(-主纱)，以集群模式运行。我知道我需要在笔记本电脑上设置一些配置，但我想知道最低配置是什么。或者我需要在本地机器上安装hadoop或纱线？
我已经搜索了相当多的答案，但我还不能确定我读到的内容是指从集群的主人或一些任意的笔记本电脑上启动一项工作……
浏览 0提问于2018-06-07得票数 1
回答已采纳
spark-submit command--driver-memory "2g"中找到: C:\rtools40\usr\bin\make.exe“
下载了最后一个预构建版本，并在c:\spark中使用所有者权限进行解压缩(文件夹名中没有空格！)，为了安全起见，我已经将文件夹名中的所有标点符号替换为下划线_，正如您在上面的<
浏览 4提问于2020-11-08得票数 0
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。我可以从集群节点上的shell中spark-submit该作业，例如：spark-submit<
浏览 1提问于2016-11-30得票数 2
我想从hdfs系统中读取sparkR shell中的parquetFile。所以我这样做： path<-"hdfs://year=2015/month=1/day=9"错误：No such file or directory
浏览 0提问于2015-07-20得票数 0
我尝试执行一个非常基本的火花操作(head())来收集我从R数据帧创建的火花DataFrame的输出。我想在yarn-client部署模式下这样做。我在集群的所有节点上安装了R。当我从RStudio运行此应用程序时：library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "<em
浏览 0提问于2016-01-21得票数 0
谁能告诉我，在Windows7环境下，是否可以使用R studio从SparkR导入spark-csv包？我应该安装这个包(.jar文件)并放在某个文件夹中吗？下面是我的脚本：Sys.setenv(SPARK_HOME = 'C:/Users/***/spark-1.6.1-bin-hadoop2.6')
Launching java with
浏览 2提问于2016-04-22得票数 1
1回答
如何处理依赖关系在(交互式) sparkR作业的情况下？但是我需要一些外部包，例如连接到数据库(Mongo，Cassandra)或读取csv文件。在本地模
浏览 4提问于2016-04-07得票数 0
回答已采纳
1回答
我已经将用python编写的ML作业代码包含到一个码头容器中，并能够使用Amazon作为码头服务运行。我想使用星星之火以分布式方式运行，并在亚马逊EMR.Can上部署，建立ECS和EMR之间的连接？
浏览 3提问于2017-05-25得票数 9
回答已采纳
我使用了datapipeline定义，其中的步骤很简单，如下所示：现在，当我激活任务时，我会得到一个错误，类似于：
线程"main“中的异常:错误打开作业jar: /mnt/
浏览 7提问于2016-06-21得票数 2
1回答
我试图在scala应用程序中使用sbt，而不是直接使用spark-submit。 val sc = new SparkConte
浏览 1提问于2015-11-16得票数 6
回答已采纳
我已经使用bdutil一年了，与hadoop和火花，这是相当完美的！现在，我遇到了一个小问题，试图让SparkR作为HDFS与一起工作。下面是我的设置：- bdutil 1.2.1 -我已经部署了一个集群，其中包括一个主服务器和一个工作人员，安装了Spark1.3.0，在主服务器和工作人员上都安装了R和SparkR。当我在主节点上运行SparkR时，我试图在我的GS桶服务器上指向一个目录：> fi
浏览 1提问于2015-05-27得票数 2
回答已采纳
2回答
我有一个pyspark代码，它既存储在AWS集群的主节点上，也存储在一个s3桶中，该桶从MySQL数据库中获取超过1.4亿行，并将列的总和存储在s3上的日志文件中。当我在主节点上提交电火花代码时，作业成功完成，输出存储在S3桶上的日志文件中。但是，当我使用这些-(在SSH-ing之后在终端上使用下面的命令向主节点提交</
浏览 15提问于2020-07-02得票数 0
我部署Hadoop-Spark集群并运行我的作业。通过提交脚本bin/ spark - submit，我可以成功提交spark作业。现在，我想像捕获一样捕获跟踪URL，并在我的其他scala项目中使用它。我该怎么做呢？我尝试重定向spark-submit输出，但它似乎不起作用，就像
.另外，我尝试使用scala.sys.process.ProcessIO来捕获spark-submit输出，它不起作用，因为我
浏览 1提问于2015-11-05得票数 2
我有一个脚本，填充多个火花提交作业的参数。当我将它们复制并粘贴到shell中时，作业可以工作，但是当我将字符串放在反号中并从Ruby中执行它时，作业就失败了。spark-submit --master yarn-cluster \ --files ... \ -otherflagsRuby返回
sh: 1: spark-sub
浏览 0提问于2016-08-18得票数 0
2回答
我构建了一个星星之火应用程序来计算一个文件中的单词数。我在cloudera快速启动VM上运行应用程序，当我使用cloudera用户目录时一切正常，但是当我想在另一个用户目录中写入或读取时，就拒绝了hadoop的权限。我想知道如何改变hadoop用户的火花。import org.apache.spark.
浏览 0提问于2014-12-11得票数 3
回答已采纳
我们已经成功地完成了关于在SparkR实例上设置它并在RStudio中运行基本程序的所有EC2教程。我们现在无法弄清楚的是，如何创建一个带有SparkR作为依赖项的项目，编译/jar它，并在其中运行任何不同的R程序。
我们来自Scala和Java，因此我们可能以错误的心态来处理这个问题。这在R中是可能的吗?或者Java的构建文件和jar所做的是不同的，还是您只需要单独运行每个R脚本而不需要打包jar？
浏览 0提问于2016-01-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
