我已经使用5个节点的hadoop集群(包括带有SparkR的Apache Spark )创建了IBM服务。我尝试使用SparkR连接cloudant数据库，获取一些数据并进行一些处理。在BigInsights hadoop群集中使用spark-submit提交SparkR作业(R脚本)失败。我
浏览 11提问于2016-08-08得票数 1
我正在按照的指示在一台红帽子机上安装火花。我想在RStudio使用星火。我已经下载了spark-1.6.1-bin-hadoop2.6，并遵循了说明，并在RStudio中的脚本中放入了以下一行：Sys.setenv(SPARK_HOME"SPARK_HOME"), "R", "lib"), .libPaths()))
# creat
浏览 5提问于2016-06-23得票数 0
回答已采纳
我正在使用 spark version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的spark群集正在作为独立群集spark配置运行 spark.master${SPARK_HOME}/sbin/start-master.sh 从启动脚本为${SPARK_HOME}/sbin/start-slave.sh spark://localhost:7077 -c1 -m 50M 我想在
浏览 31提问于2021-04-17得票数 0
在RStudio中尝试使用SparkR连接到星火集群时： Sys.setenv(SPARK_HOME = "/usr/lib/spark/spark-2.1.1-bin-hadoop2.6")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "
浏览 4提问于2017-05-25得票数 1
2回答
我有一个AWS EMR集群运行火花，我想提交一个PySpark作业从我的笔记本电脑(-主纱)，以集群模式运行。我知道我需要在笔记本电脑上设置一些配置，但我想知道最低配置是什么。或者我需要在本地机器上安装hadoop或纱线？
我已经搜索了相当多的答案，但我还不能确定我读到的内容是指从集群的主人或一些任意的笔记本电脑上启动一项工作……
浏览 0提问于2018-06-07得票数 1
回答已采纳
spark-submit command--driver-memory "2g"中找到: C:\rtools40\usr\bin\make.exe“
下载了最后一个预构建版本，并在c:\spark中使用所有者权限进行解压缩(文件夹名中没有空格！)，为了安全起见，我已经将文件夹名中的所有标点符号替换为下划线_，正如您在上面的<
浏览 4提问于2020-11-08得票数 0
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。我可以从集群节点上的shell中spark-submit该作业，例如：spark-submit<
浏览 1提问于2016-11-30得票数 2
我想从hdfs系统中读取sparkR shell中的parquetFile。所以我这样做： path<-"hdfs://year=2015/month=1/day=9"错误：No such file or directory
浏览 0提问于2015-07-20得票数 0
我尝试执行一个非常基本的火花操作(head())来收集我从R数据帧创建的火花DataFrame的输出。我想在yarn-client部署模式下这样做。我在集群的所有节点上安装了R。当我从RStudio运行此应用程序时：library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "<em
浏览 0提问于2016-01-21得票数 0
谁能告诉我，在Windows7环境下，是否可以使用R studio从SparkR导入spark-csv包？我应该安装这个包(.jar文件)并放在某个文件夹中吗？下面是我的脚本：Sys.setenv(SPARK_HOME = 'C:/Users/***/spark-1.6.1-bin-hadoop2.6')
Launching java with
浏览 2提问于2016-04-22得票数 1
1回答
如何处理依赖关系在(交互式) sparkR作业的情况下？但是我需要一些外部包，例如连接到数据库(Mongo，Cassandra)或读取csv文件。在本地模
浏览 4提问于2016-04-07得票数 0
回答已采纳
1回答
我已经将用python编写的ML作业代码包含到一个码头容器中，并能够使用Amazon作为码头服务运行。我想使用星星之火以分布式方式运行，并在亚马逊EMR.Can上部署，建立ECS和EMR之间的连接？
浏览 3提问于2017-05-25得票数 9
回答已采纳
我使用了datapipeline定义，其中的步骤很简单，如下所示：现在，当我激活任务时，我会得到一个错误，类似于：
线程"main“中的异常:错误打开作业jar: /mnt/
浏览 7提问于2016-06-21得票数 2
1回答
我试图在scala应用程序中使用sbt，而不是直接使用spark-submit。 val sc = new SparkConte
浏览 1提问于2015-11-16得票数 6
回答已采纳
我已经使用bdutil一年了，与hadoop和火花，这是相当完美的！现在，我遇到了一个小问题，试图让SparkR作为HDFS与一起工作。下面是我的设置：- bdutil 1.2.1 -我已经部署了一个集群，其中包括一个主服务器和一个工作人员，安装了Spark1.3.0，在主服务器和工作人员上都安装了R和SparkR。当我在主节点上运行SparkR时，我试图在我的GS桶服务器上指向一个目录：> fi
浏览 1提问于2015-05-27得票数 2
回答已采纳
2回答
我有一个pyspark代码，它既存储在AWS集群的主节点上，也存储在一个s3桶中，该桶从MySQL数据库中获取超过1.4亿行，并将列的总和存储在s3上的日志文件中。当我在主节点上提交电火花代码时，作业成功完成，输出存储在S3桶上的日志文件中。但是，当我使用这些-(在SSH-ing之后在终端上使用下面的命令向主节点提交</
浏览 15提问于2020-07-02得票数 0
我部署Hadoop-Spark集群并运行我的作业。通过提交脚本bin/ spark - submit，我可以成功提交spark作业。现在，我想像捕获一样捕获跟踪URL，并在我的其他scala项目中使用它。我该怎么做呢？我尝试重定向spark-submit输出，但它似乎不起作用，就像
.另外，我尝试使用scala.sys.process.ProcessIO来捕获spark-submit输出，它不起作用，因为我
浏览 1提问于2015-11-05得票数 2
我有一个脚本，填充多个火花提交作业的参数。当我将它们复制并粘贴到shell中时，作业可以工作，但是当我将字符串放在反号中并从Ruby中执行它时，作业就失败了。spark-submit --master yarn-cluster \ --files ... \ -otherflagsRuby返回
sh: 1: spark-sub
浏览 0提问于2016-08-18得票数 0
2回答
我构建了一个星星之火应用程序来计算一个文件中的单词数。我在cloudera快速启动VM上运行应用程序，当我使用cloudera用户目录时一切正常，但是当我想在另一个用户目录中写入或读取时，就拒绝了hadoop的权限。我想知道如何改变hadoop用户的火花。import org.apache.spark.
浏览 0提问于2014-12-11得票数 3
回答已采纳
我们已经成功地完成了关于在SparkR实例上设置它并在RStudio中运行基本程序的所有EC2教程。我们现在无法弄清楚的是，如何创建一个带有SparkR作为依赖项的项目，编译/jar它，并在其中运行任何不同的R程序。
我们来自Scala和Java，因此我们可能以错误的心态来处理这个问题。这在R中是可能的吗?或者Java的构建文件和jar所做的是不同的，还是您只需要单独运行每个R脚本而不需要打包jar？
浏览 0提问于2016-01-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
