在windows上安装sparkR

文章/答案/技术大牛

发布

2回答

使用SparkR安装install_github包时出错

r、apache-spark、sparkr

我试图在R中使用SparkR包，我有所有依赖的包，比如devtools、Rtools.exe等等。当我尝试以下命令时：我得到以下错误：Error in function (type, msg, asError = TRUE ) : Re

浏览 3提问于2015-06-02得票数 0

回答已采纳

0回答

r、windows、apache-spark、sparkr

我在安装Apache sparkR时遇到了一个问题。要安装这种类型的程序，您必须使用命令提示符，并按照这里的请求运行(对我来说) sparkR：Le chemin d’accès spécifié est introuvable. // Translate: The specified path was not found(我想留在windows上) 非常感谢

浏览 8提问于2016-07-07得票数 0

3回答

安装Spark1.4附带的SparkR

r、apache-spark、sparkr

最新版本的火花(1.4)现在与SparkR。有人知道如何在Windows上安装SparkR实现吗？当前，sparkR.R脚本位于C:/spark-1.4.0/R/pkgs/R/ 似乎是朝着正确的方向迈出了一步，但是这些指令并不适用于sparkR，因为没有与之相关的sparkR目录。

浏览 4提问于2015-06-16得票数 2

回答已采纳

1回答

R安装sparkR时出错

r、sparkr

我正试图在我的Windows7RStudio版本上安装SparkR软件包。之后，我首先安装"devtools“和Rtools (3.3)。但是现在我没有任何进展了。当我试着用那些 install_github("amplab-extras.github.io/S

浏览 2提问于2015-06-29得票数 0

回答已采纳

1回答

我们将在运行在S3桶上的AWS上托管一个EMR集群(带有spot实例)。数据将以ORC格式存储在此桶中。但是，我们希望使用R以及某种沙箱环境，读取相同的数据。我在网上发现的两个选项是- SparkR - dataconnector (vertica) 由于在Windows上安装dataconnector是个问题，所以我安装了SparkR，现在我能够读取本地orc.file(在我的机器上读取一个本地文件，在</

浏览 4提问于2017-03-22得票数 2

7回答

无法在SparkR中启动RStudio

r、windows、apache-spark、rstudio、sparkr

在SparkR漫长而困难的安装过程中，我遇到了启动SparkR的新问题。我的设置RStudio 0.98.1103 Spark 1.4.0SparkR 1.4.0现在，我尝试在R中使用以下代码：library(SparkR) Sys.setenv(SPARK_MEM=&quo

浏览 12提问于2015-06-29得票数 14

回答已采纳

1回答

如何在R中更新到SparkR* 2.0.0包*

r、apache-spark、sparkr

我想从SparkR 1.4.0更新到SparkR 2.0.0，但得到以下错误：这是因为SparkR 2.0.0在CRAN上不可用。类似地，从SparkR 1.6.2到SparkR 2.0.0，我们得到：package ‘SparkR’ is not available(for R version 3.3.0) 如何从那里安装</em

浏览 1提问于2016-08-29得票数 4

回答已采纳

2回答

如何在64位模式下运行sparkR

r、apache-spark、sparkr、rhadoop

我安装了Spark-1.4.1(有R3.1.3版本)。目前正在测试SparkR以运行统计模型。) 接下来，我要将rJava包安装到SparkR中。但它没有安装。给出以下错误。cannot open compressed file 'rJava/DESCRIPTION', probable reason 'No such file or directory' 同样，当我在shell上<

浏览 2提问于2015-08-28得票数 2

回答已采纳

1回答

无法调用sparkRSQL.init函数

sparkr

我对星火很陌生，并试图运行SparkR页面中提到的示例。经过一些努力，我能够将sparkR安装到我的机器上，并能够运行基本的wordcount示例。但是，当我试图运行时：它说，没有一个名为根据文档，sparkRSQL.init是sparkR包中的一个函数。如果我遗漏了什么，请告诉我。提前谢谢。

浏览 2提问于2015-06-25得票数 1

4回答

SparkR:无法创建火花会话

r、apache-spark、sparkr

我正试图在Windows机器上运行SparkR。我在R中运行了以下命令：成功地运行了。我在创建火花会话时遇到了错误： sparkR.session(master = "local[*]", sparkConfig =

浏览 0提问于2018-07-16得票数 1

回答已采纳

7回答

SparkR vs sparklyr

r、apache-spark、sparkr、sparklyr

有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。

浏览 0提问于2016-09-14得票数 53

1回答

无法在“SparkR”包中加载R代码

r、sparkr

我在我的Ubuntu机器上安装了sparkR和R。当我试图通过终端启动sparkR时，会出现以下错误：未能找到函数".getNamespace“错误:在启动时无法在包‘SparkR’中加载R代码-警告消息:找不到选项中的包‘SparkR’(”defaultPackages

浏览 0提问于2018-05-05得票数 2

1回答

将SparkR连接到spark集群

apache-spark、sparkr

我有一个spark集群，运行在10台机器(1 - 10)上，主机在机器1上。所有这些都运行在CentOS 6.4上。我正在尝试使用sparkR将jupyterhub安装(由于在CentOS上安装时出现问题而在ubuntu docker中运行)连接到集群，并获取spark上下文。我使用的代码是 Sys.setenv(SPARK_HOME="/usr/local/spark-1.4.1-bin-ha

浏览 0提问于2015-07-24得票数 0

4回答

安装SparkR

r、apache-spark、sparkr

现在，在执行以下操作之后，我想在R上安装SparkR：我回来了：(as ‘lib’ is unspecified) package ‘SparkR’

浏览 6提问于2015-07-02得票数 52

回答已采纳

1回答

使用SparkR运行R模型

r、apache-spark-mllib、sparkr

我已经开发了一个R模型(在本地使用R)，并希望部署在安装了R的hadoop集群上。我想使用SparkR来利用高性能的计算。我只想在这里了解SparkR的角色.SparkR是否允许R模型在Hadoop集群上的SparkR中运行该算法？SparkR是否只启用数据处理，而ML算法仍将在Hadoop集群上的R上下文中运行？谢谢你的意见。

浏览 2提问于2017-11-14得票数 5

1回答

在R中启动spark会话

r、apache-spark、sparkr

我可以在SPARK_PATH中使用sparkR命令成功启动spark session。但这确实给了我一个警告 In SparkR::sparkR.session() : Version mismatch between Spark JVM and SparkR package.JVM version was 2.3.0.xxxx , while R package version was 2.3.0 安装的spark版本是2.3.0.xxxx，其中xxxx是我们公司自己部署的看起来我

浏览 25提问于2019-05-31得票数 0

1回答

使用sparkr连接到远程独立spark

r、apache-spark、sparkr

我可以像这样在我的遥控器上使用我的独立Spark安装： library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "libSpark安装。所以我现在试着： library(SparkR) sparkR.session(master = "spark://NameOfVM:7077", sparkConf

浏览 18提问于2019-05-06得票数 0

1回答

安装sparkR时出错

r、apache-spark、sbt、sparkr

我在试着安装SparkRinstall_github("amplab-extras/SparkR-pkg", subdir="pkg") 从sbt/sbt启动-0.13.6.jar无效或损坏的jarfile sbt/sbt-0.13.6.jar使：*目标/scala-2.10/SparkR程序集-0.1.jar错误1错误:编译失败的包‘SparkR<

浏览 1提问于2016-02-28得票数 3

回答已采纳

1回答

如何设置和运行SparkR项目和脚本(如jar文件)？

r、apache-spark、sparkr

我们已经成功地完成了关于在SparkR实例上设置它并在RStudio中运行基本程序的所有EC2教程。我们现在无法弄清楚的是，如何创建一个带有SparkR作为依赖项的项目，编译/jar它，并在其中运行任何不同的R程序。我们来自Scala和Java，因此我们可能以错误的心态来处理这个问题。

浏览 0提问于2016-01-07得票数 1

回答已采纳

2回答

在SparkR中使用Jupyter notebook

sparkr、jupyter-irkernel

我想在SparkR上使用Jupyter笔记本，我想在我的Spark集群上安装Jupyter上的IR内核。我可以找到在pySpark中使用Jupyter的帮助，但在SparkR中找不到帮助。我已经在AWS-EMR集群上创建了我的Spark集群。

浏览 1提问于2016-05-25得票数 0

点击加载更多

使用SparkR安装install_github包时出错