我对R和Spark都是新手。我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr包在Databricks Spark平台上工作。我目前对这些值的正确性不感兴趣(我使用的是虚拟值-例如。init = 10是任意的)。我
浏览 25提问于2019-11-08得票数 1
回答已采纳
2回答
函数将R类型转换为星点类型。
、、、、
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。我想通过编写一个函数来编程地将数据帧中使用
浏览 0提问于2019-03-28得票数 0
回答已采纳
这个问题的要点是，我有一些R代码，它在本地数据帧上工作得很好，但在Spark数据帧上失败了，即使在其他情况下两个表是相同的。在R中，给定所有字符列的数据帧，可以动态地将所有列类型转换为numeric，然后使用以下代码将其安全地转换为numeric： require(dplyr)require(sparklyr</em
浏览 16提问于2020-08-18得票数 0
回答已采纳
我使用以下代码在databricks上创建了sql表CREATE TABLE data OPTIONS (header "true", inferSchema "true") 下面的代码将该表分别转换为sparkr和r dataframe：library(SparkR)
data_spark <- sql("SELECT*
浏览 10提问于2018-07-25得票数 3
在使用sparklyr进行所有操作之后，它被简化为1,880,573 rows和629 columns。当我尝试使用sdf_collect()为Factor Analysis收集它时，它给出了这个内存错误：
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB).The average r
浏览 4提问于2020-09-30得票数 0
我在一个8核64 am内存的本地实例上运行带R的sparklyr。我的工作是使用[50 000 000, 12]数据帧对[20 000 000, 3]数据帧进行left_join，我和Spark一起运行。: Java heap space而失败。" = "50g")
config["sparklyr.shell.driver-memory"] <
浏览 19提问于2021-09-06得票数 2
我有下面的代码，它使用包装器函数对数据集进行SQL转换，并使用Sparklyr调用spark SQL API。然后，我使用"invoke("createOrReplaceTempView"，"name")“将Spark环境中的表保存为spark数据帧，以便在将来的函数调用中调用。然而，要做到这一点，我似乎必须使用sparklyr中的"copy_to“
浏览 0提问于2017-06-07得票数 3
1回答
火花DataFrame的元数据
、、、、
我正在通过"sparklyr“和"SparkR”对spark in R进行基准测试。我在不同的Testdata上测试不同的函数。在两种特殊的情况下，我计算了一列中的零的数量和一列中的NA的数量，我意识到无论数据有多大，在不到一秒的时间内就能得到结果。所有其他计算都会随着数据的大小而变化。所以我不认为Spark在那里计算任何东西，但那些案例存储在元数据</
浏览 0提问于2017-03-24得票数 1
我想使用spark和hadoop并行处理mp4视频帧。我不想在处理之前提取所有帧。我正在寻找的是一种顺序读取帧数据w.r.t的方法。视频时间，然后在帧到达使用yarn的hadoop集群上的spark executors时馈送帧。mp4视频文件可以在本地文件系统上，也可以在HDFS上。我可以使用ffmpeg创建一个管道，然后读取原始帧</e
浏览 11提问于2019-07-13得票数 2
我正在尝试测试是否可以运行prophet和sparklyr来对集群中的数据进行预测。但是当我使用spark_apply时，程序就卡住了。在连接到带有spark 2.2.0的纱线客户端的edgenode上运行sparklyr。数据是过去4年按地点划分的销售额。我们的计划是创建一个包含所有数据的数据帧，并按位置对数据进行分区，然后在每个位置调用prophet，并获得未
浏览 14提问于2019-05-09得票数 1
3回答
import SQLContext
df = sqlContext.read.format("com.github.saurfang.sas.sparko878.load.
: java.lang.ClassNotFoundException: Failed to find data source: com.github.saurfang.sas.sparkPlease find packages at http://spark.apache.org&#
浏览 2提问于2018-08-21得票数 2
回答已采纳
我有一个星火数据帧SDF.data被划分为6分区。根据表df.SplitNames.，我试图生成一个由SDF.data中的某些列的产品组成的数据框架。spark_apply函数如下所示：library(data.table)df.prod <- df[ ,当我使用top检查每个节点中的进程时，我看
浏览 1提问于2017-11-14得票数 1
1回答
我想得到一些关于合并以下R包的方法的解释：-sparklyr：用于计算独立星团上的数据-on我的客户端计算机，我使用dbConnect()函数从ODBC R包连接到一个现有的ODBC数据库。此Oracle数据库托管在windows服务器上。我使用位于同一个本地网络但与windows服务器隔离的一些计算机分别实现了一个Spar
浏览 4提问于2018-03-11得票数 1
回答已采纳
1回答
sparklyr spark_apply非常慢/根本没有响应。当签入spark时，正在执行的阶段是在utils.scala:204上收集。它正在执行0/1(1正在运行)任务。应用spark_apply的数据帧有30个分区。这个任务没有进展，也没有执行单个任务的原因。library(sparklyr)config=spark_config()
config=c(con
浏览 0提问于2019-04-25得票数 1
回答已采纳
0回答
即使是在相当小的数据集上，我也会得到堆空间错误。我可以确定我没有耗尽系统内存。例如，考虑一个包含大约20M行和9列的数据集，这将占用1 1GB的磁盘空间。我在一个内存为30 of的Google Compute节点上使用它。library(sparklyr)
sc <- spark_connect(master
浏览 7提问于2016-12-30得票数 5
回答已采纳
2回答
唯一值的个数(闪烁)
、、、、
下面的示例描述了如何在不使用dplyr和sparklyr聚合行的情况下计算不同值的数量。更普遍的情况是，如何在sparklyr数据帧上使用类似sql的窗口函数。, 1, 10)), vals = rnorm(10)
## copying to Sparkdf.spark <- copy_to(sc,
浏览 1提问于2018-03-28得票数 3
回答已采纳
我已经创建了一个名为"iris“的星火数据库，使用下面的library(dplyr)iris_tbl<- copy_to(sc, iris)
现在我想删除星火数据“虹膜”(不是R中的数据)，我该怎么做呢？
浏览 1提问于2018-08-15得票数 1
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= "/home/your/path/spark-2.0.0-bin-hadoop2.7")
library(SparkR
浏览 0提问于2016-09-08得票数 3
1回答
我已经创建了一些方法来将数据帧转换为所需的格式，并根据错误规则过滤多个错误检查和更新数据帧。 我是一个在intelliJ上用scala编写单元测试的新手。我必须编写单元测试来将实际数据帧与预期结果进行比较。 下面是我为数据帧的pivot功能编写的单元测试用例。类似地，我必须将获得的数据集与预期的数据帧进行比较。，即使两个数据帧是
浏览 4提问于2021-09-13得票数 1
我想对存储在Hadoop集群中的数据运行Java工具。我正在尝试使用sparklyr中的spark_apply函数来实现，但我对语法感到有点困惑。让我们以虹膜数据为例：library(tidyverse)data(iris)
config <- spark_config(/r_env.zip/r_env/b
浏览 0提问于2018-10-18得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
