EMA函数在R数据帧上有效，但在spark数据帧上失败- Sparklyr
EMA函数是指指数移动平均函数（Exponential Moving Average），它是一种常用的时间序列分析方法，用于平滑数据并捕捉趋势。在R数据帧上，EMA函数可以有效地计算并得出结果。然而，在spark数据帧上使用sparklyr包时，EMA函数可能会失败。
Sparklyr是一个用于在R中操作Apache Spark的包，它提供了一套接口来连接和操作Spark集群。由于Sparklyr是基于Spark的，而Spark是一个分布式计算框架，与传统的单机计算框架不同，它的数据处理方式和计算模型有所不同。
在Spark中，数据被分布式存储和处理，数据帧（DataFrame）是一种常用的数据结构，类似于R中的数据帧。然而，由于Spark的分布式计算特性，EMA函数在spark数据帧上可能会失败。
解决这个问题的方法是使用Spark提供的内置函数来实现指数移动平均。Spark提供了一系列的内置函数，包括平均函数、滑动窗口函数等，可以用来处理时间序列数据。通过使用这些内置函数，可以在spark数据帧上实现类似EMA函数的功能。
腾讯云提供了一系列的云计算产品和服务，包括云数据库、云服务器、云原生应用平台等。对于处理大数据和分布式计算的需求，腾讯云提供了TencentDB for TDSQL、云服务器CVM、腾讯云原生应用平台TKE等产品，可以满足用户在云计算领域的需求。
关于EMA函数在Spark数据帧上的失败问题，腾讯云目前没有特定的产品或解决方案来解决这个问题。建议用户在使用Sparklyr包时，参考Spark官方文档和社区讨论，寻找其他解决方案或使用Spark内置函数来实现类似的功能。
参考链接：
相关·内容
我对R和Spark都是新手。我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr包在Databricks Spark平台上工作。
我已经写了一个在普通R数据帧上工作的函数。然而，当应用于Spark数据帧时，它会失败。
我目前对这些值的正确性不感兴趣(我使用的是虚拟值-例如。init = 10是任意的)。我更感兴趣的是让它在Spark数据帧上工作
library(sparklyr)
library(dplyr)
library(stats)
sc <- spark_connect(method = "databricks")
set.seed(
浏览 25提问于2019-11-08得票数 1
回答已采纳
2回答
函数将R类型转换为星点类型。
、、、、
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。
我想通过编写一个函数来编程地将数据帧中使用的R列类型传递到新的spark数据框架，该函数返回一个命名向量，我可以在spark_read_csv()中的spark_read_csv()参数中使用该向量。
浏览 0提问于2019-03-28得票数 0
回答已采纳
我在一个8核64 am内存的本地实例上运行带R的sparklyr。我的工作是使用[50 000 000, 12]数据帧对[20 000 000, 3]数据帧进行left_join，我和Spark一起运行。 # Load packages
library(tidyverse)
library(sparklyr)
# Initialize configuration with defaults
config <- spark_config()
# Memory
# Set memory allocation for whole local Spark instance
# Sys.s
浏览 19提问于2021-09-06得票数 2
这个问题的要点是，我有一些R代码，它在本地数据帧上工作得很好，但在Spark数据帧上失败了，即使在其他情况下两个表是相同的。 在R中，给定所有字符列的数据帧，可以动态地将所有列类型转换为numeric，然后使用以下代码将其安全地转换为numeric： require(dplyr)
require(varhandle)
require(sparklyr)
checkNumeric <- function(column)
{
column %>% as.data.frame %>% .[,1] %>% varhandle::check.numeric(.) %>
浏览 16提问于2020-08-18得票数 0
回答已采纳
我使用以下代码在databricks上创建了sql表
%sql
CREATE TABLE data
USING CSV
OPTIONS (header "true", inferSchema "true")
LOCATION "url/data.csv"
下面的代码将该表分别转换为sparkr和r dataframe：
%r
library(SparkR)
data_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_spark
浏览 10提问于2018-07-25得票数 3
我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？
浏览 11提问于2020-08-18得票数 0
回答已采纳
在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢
目前我正在做floor(a / b)，但我想知道是否有一个简单的运算符。
浏览 0提问于2018-06-05得票数 1
3回答
我有一个可以使用spark_read_csv加载的数据帧。我使用最新版本的sparklyr和Spark (2.1.1)
# Source: table<df> [?? x 32]
# Database: spark_connection
NAME Date
<chr> <chr>
1 ABA 08-JUL-2016 00:00:02.075
现在这个时间戳是GMT格式的，我想把它转换成EST格式。
在"normal“R中，我会使用lubridate来做这件事，但它似乎不适用于sparkl
浏览 0提问于2017-06-16得票数 2
1回答
在Azure环境中，我发现了包SparkR和sparklyr。
在使用SparkR的笔记本中，我设法连接到一个数据库：
library(SparkR)
DW <- sql("select * from mydb.sometable")
它运行良好，但SparkR语法似乎与经典的R语法相去甚远(据我所知)。
所以我想试试sparklyr，但是我不能访问同一个数据库：
library(sparklyr)
sc <- spark_connect(method="databricks")
test <- spark_read_table(sc,
浏览 5提问于2022-01-11得票数 0
回答已采纳
我在R中有一个代码，它需要缩放以使用大数据。我使用Spark来做这件事，似乎最方便的包是sparklyr。但是，我无法从Spark数据帧创建TermDocument矩阵。任何帮助都是最好的。
input_key是具有以下模式的数据帧。
ID Keywords
1 A,B,C
2 D,L,K
3 P,O,L
我在R中的代码如下。
mycorpus <- input_key
corpus <- Corpus(VectorSource(mycorpus$Keywords))
path_matrix <- TermDocumentMatrix(corpus)
浏览 12提问于2017-02-17得票数 2
我想对存储在Hadoop集群中的数据运行Java工具。我正在尝试使用sparklyr中的spark_apply函数来实现，但我对语法感到有点困惑。
在运行spark代码之前，我已经按照这里的说明设置了一个conda环境：。我不能访问包裹，所以我需要使用本文中描述的第二个选项。conda环境还包含我想要使用的Java工具。
让我们以虹膜数据为例：
library(sparklyr)
library(tidyverse)
library(datasets)
data(iris)
config <- spark_config()
config[["spark.r.command"
浏览 0提问于2018-10-18得票数 1
我试图遵循关于SparklyR的简单指南，但它从一开始就给我带来了错误。我安装了SparklyR和Spark的本地版本，如指南中所写：
library("sparklyr")
spark_install(version="1.6.2")
然后打开一个连接，这里是错误发生的地方：
sc <- spark_connect(master="local")
我得到"R代码执行错误“，如下所示：
使用Spark: 2.2.0错误(代码)：在initialize_connection: java.lang.ExceptionInInitiali
浏览 4提问于2017-09-15得票数 0
回答已采纳
我对集群计算还很陌生，所以我甚至不确定这是否可能。
我成功地在Rstudio中创建了一个spark_context (使用sparklyr)来连接到我们本地的Spark集群。使用copy_to我可以将数据帧从R上传到Spark，但我正在尝试使用spark_read_csv将本地存储的CSV文件直接上传到Spark集群，而无需先将其导入R环境(这是一个5 5GB的大文件)。它不工作(甚至用file:///)，作为位置前缀，并且它似乎只能上传已经存储在集群中的文件。
如何将本地文件直接上传到spark，而无需先将其加载到R？
任何建议都很感谢。
浏览 21提问于2017-01-25得票数 1
回答已采纳
强制错误(代码)：连接到sessionid (2044)的端口(8880)时失败:端口(8880)中的网关没有响应。路径: C:\Users\user1\AppData\Local\rstudio\spark\Cache\spark-1.6.2-bin-hadoop2.6\bin\spark-submit2.cmd参数：-- "D:\Users\user1\R\R-3.3.1\library\sparklyr\java\sparklyr-1.6-2.10.jar"，，sparklyr.Backend，--packages，"com.databricks:spark-cs
浏览 0提问于2016-11-03得票数 1
我正在使用sparklyr库与“spark”进行交互。存在用于将数据帧放入spark上下文中的函数。这样的函数是'dplyr::copy_to‘和'sparklyr::sdf_copy_to’。有什么不同?什么时候建议使用一种而不是另一种？
浏览 53提问于2019-05-15得票数 5
1回答
我正在尝试使用R中的sparklyr包连接到spark，我得到了以下错误：
library(sparklyr)
> library(dplyr)
> config <- spark_config()
> config[["sparklyr.shell.conf"]] <- "spark.driver.extraJavaOptions=-XX:MaxHeapSize=4g"
> sc <- spark_connect(master = "local",version = "1.6.2&
浏览 13提问于2017-01-25得票数 0
我正在尝试从hdfs读取R中的数据。我在使用sparklyr时遇到的一件事就是破译错误消息，...because我不是java程序员。
考虑这个例子：
在R中执行此操作
创建鲍鱼数据帧-鲍鱼是用于机器学习示例的数据集
load pivotal R package #contains abalone data and create dataframe
if (!require(PivotalR)){
install.packages(PivotalR) }
data(abalone)
#sample of data
head(abalone)
#export data to a CS
浏览 1提问于2017-05-31得票数 0
我使用下面的命令连接到来自rstudio的星星之火：
sc <- spark_connect(master = "local"，version = "2.0.0")
我尝试过更改java版本/路径，但仍然遇到了同样的问题。有人能帮忙吗？
生效错误(代码)：当连接到sparklyr到端口(8880)时失败，用于会话did (5308)：端口中的网关(8880)没有响应。
Path: C:\Users\....\Local\rstudio\spark\Cache\spark-2.0.0-bin-hadoop2.7\bin\spark-submit2.c
浏览 2提问于2017-07-10得票数 0
1回答
Introduction
R代码是通过使用Sparklyr包来创建数据库模式来编写的。给出了可复制的代码和数据库。
现有结果
root
|-- contributors : string
|-- created_at : string
|-- entities (struct)
| |-- hashtags (array) : [string]
| |-- media (array)
| | |-- additional_media_info (struct)
| | | |-- description : string
|
浏览 1提问于2018-09-06得票数 14
回答已采纳
概述：
Azure HDInsight
集群类型: ML服务(R服务器)
版本:R Server 9.1 (HDI 3.6)
我正在尝试将csv文件从Azure数据存储blob导入R服务器环境。但这显然不像我想象的那么容易，也不像本地那么容易。
我尝试的第一件事是安装sparklyr包并设置连接。
#install.packages("devtools")
#devtools::install_github("rstudio/sparklyr")
install.packages("sparklyr")
library(sparklyr)
sc
浏览 1提问于2019-08-14得票数 0
2回答
我试着用Sparklyr把R和火花连接起来。
我遵循了rstudio博客的教程
我试着安装sparklyr
install.packages("sparklyr")运行良好，但在另一篇文章中，我发现sparklyr_0.4版本中有一个bug。因此，我按照下面的说明下载开发版本，使用
devtools::install_github("rstudio/sparklyr")也很好，现在我的sparklyr版本是sparklyr_0.4.16。
我按照rstudio教程下载并安装spark
spark_install(version = "1.
浏览 9提问于2016-10-17得票数 5
回答已采纳
1回答
我想得到一些关于合并以下R包的方法的解释：
-odbc：用于连接现有的Oracle数据源
-sparklyr：用于计算独立星团上的数据
以下是我所做的：
-on我的客户端计算机，我使用dbConnect()函数从ODBC R包连接到一个现有的ODBC数据库。此Oracle数据库托管在windows服务器上。
我使用位于同一个本地网络但与windows服务器隔离的一些计算机分别实现了一个Spark独立集群:通过使用这个Spark集群，我希望使用sparklyr包的sparklyr函数将我的客户端计算机(连接到我的Oracle数据库)连接到Spark集群。作为简历，我的目标是使用火花独立集群来执行
浏览 4提问于2018-03-11得票数 1
回答已采纳
1回答
sparklyr spark_apply非常慢/根本没有响应。当签入spark时，正在执行的阶段是在utils.scala:204上收集。它正在执行0/1(1正在运行)任务。应用spark_apply的数据帧有30个分区。这个任务没有进展，也没有执行单个任务的原因。
library(sparklyr)
library(dplyr)
config=spark_config()
config=c(config, list("spark.files"="hdfs:///bundle/packages.tar","spark.dynamicAllocation.
浏览 0提问于2019-04-25得票数 1
回答已采纳
1回答
我正在尝试使用sparklyr加载一个包含一百万行和1000列的数据集。我在工作中的一个非常大的集群上运行Spark。尽管如此，数据的规模似乎太大了。我尝试了两种不同的方法：
这是数据集：(train_numeric.csv)
1) -将路径放入hdfs - spark_read_csv(spark_context，.csv )
2) -将csv文件作为常规R dataframe读取- spark_frame<-copy_to(sc，R-dataframe)
这两种方法在数据集的子集上都工作得很好，但当我尝试读取整个数据集时，这两种方法都会失败。
有没有人知道适用于大型数据集的方法？
浏览 2提问于2017-05-30得票数 0
我正在尝试为sparklyr数据帧创建最小、最大和平均列。我只想在计算中按行使用该大型数据帧中的5列。列中有许多NaN值，这些值可能是计算对象。在标准R中，使用的代码是： df_train$MinEncoding <- spark_apply(df_train,f=min ,columns=[,EncodingFeatures], 1, FUN=min,na.rm=TRUE)
df_train$MaxEncoding <- spark_apply(df_train[,EncodingFeatures], 1, FUN=max,na.rm=TRUE)
df_train$Mean
浏览 13提问于2019-10-15得票数 1
我正在尝试使用Quantmod和TTR计算R中的溢价随机数，但我一直收到以下错误：
>tmp=EMA(EMA(((marketdata$Close-LL)/(HH-LL)*100-50)*0.1,5),5)
Error in EMA(((marketdata$Close - LL)/(HH - LL) * 100 - 50) * 0.1, 5) :
Invalid 'n'
marketdata是包含OHLC数据的数据帧。当使用csv文件时，它工作得很好，但在将雅虎金融数据导入到数据帧中时，它似乎具有不同的列长度。我该如何解决这个问题？
浏览 2提问于2016-02-04得票数 0
我有下面的代码，它使用包装器函数对数据集进行SQL转换，并使用Sparklyr调用spark SQL API。然后，我使用"invoke("createOrReplaceTempView"，"name")“将Spark环境中的表保存为spark数据帧，以便在将来的函数调用中调用。然后，我使用dplyr代码"mutate“调用一个配置单元函数"regexp_replace”，将字母转换为数字(0)。我需要再次调用SQL函数。
然而，要做到这一点，我似乎必须使用sparklyr中的"copy_to“函数。在大型数据集上，"co
浏览 0提问于2017-06-07得票数 3
我正在尝试测试是否可以运行prophet和sparklyr来对集群中的数据进行预测。但是当我使用spark_apply时，程序就卡住了。 在连接到带有spark 2.2.0的纱线客户端的edgenode上运行sparklyr。数据是过去4年按地点划分的销售额。 我们的计划是创建一个包含所有数据的数据帧，并按位置对数据进行分区，然后在每个位置调用prophet，并获得未来7天的预测。 在这里，我试图拉取一个位置的数据并应用prophet，但sparklyr被卡住了。 library("sparklyr")
library("prophet")
sc <-
浏览 14提问于2019-05-09得票数 1
0回答
即使是在相当小的数据集上，我也会得到堆空间错误。我可以确定我没有耗尽系统内存。例如，考虑一个包含大约20M行和9列的数据集，这将占用1 1GB的磁盘空间。我在一个内存为30 of的Google Compute节点上使用它。
假设我将这些数据放在一个名为df的数据帧中。下面的代码运行得很好，尽管速度有点慢：
library(tidyverse)
uniques <- search_raw_lt %>%
group_by(my_key) %>%
summarise() %>%
ungroup()
下面的代码抛出了java.lang.OutOfMem
浏览 7提问于2016-12-30得票数 5
回答已采纳
1回答
S3桶中的对象大小为5.3GB。为了将对象转换为数据，我使用了get_object("link to bucket path")。但这会导致记忆问题。
因此，我在RStudio中安装了Spark2.3.0，并试图将该对象直接加载到Spark中，但是直接将对象加载到Spark中的命令不为人所知。library(sparklyr) library(dplyr) sc <- spark_connect(master = "local")
如果我将对象转换为可读的数据类型(例如数据帧/tbl(R中的data.framework/tbl))，我将使用copy_to将
浏览 2提问于2018-07-30得票数 0
回答已采纳
我正在运行R Studio和R 3.5.2。 我已经使用来自S3a的sparklyr::spark_read_parquet加载了大约250个parquet文件。 我需要从Spark (由sparklyr安装)收集数据： spark_install(version = "2.3.2", hadoop_version = "2.7") 但由于某些原因，这项工作需要很长时间才能完成。有时将任务分配给所有CPU，有时只有一个CPU工作： ? 请建议您如何解决dplyr::collect或sparklyr::sdf_collect的“运行年龄”问题。 也请理解，我
浏览 39提问于2019-01-28得票数 1
回答已采纳
1回答
我有一个星火数据框架(带有R中的"sparklyr“包)，其中包含来自3个数据源(新闻、博客和twitter)的单词计数。我试图使用collect()将数据从Spark复制到R的内存中。
在使用sparklyr计算了几个具有文本挖掘功能的单词之后，我有以下内容：
> word_count
# Source: spark<?> [?? x 3]
# Groups: dataset
# Ordered by: desc(n)
dataset word n
<chr> <chr> <int&g
浏览 2提问于2021-04-18得票数 1
希望使用类似于逐行范围的tail function来打印下面数据的最后50行，使用sparklyr，没有arrange或collect --我的一些帧很大，没有连续的列。
library(sparklyr)
library(dplyr)
library(Lahman)
spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting"); battin
浏览 3提问于2016-12-12得票数 1
回答已采纳
我安装了一个带有Rstudio的production集群。用户在R服务器上负载平衡，并在那里编写代码。我还有一个单独的星盘集群，它有4个节点。使用sparklyr，我可以通过以下方式轻松地连接到我的星体集群：
sc <- sparklyr::spark_connect("spark://<my cluster>:7077")
唯一的一点是，我注意到，当我这样做时，R生产服务器上有一些Spark应用程序的使用。我相信这引起了一些问题。我在R生产服务器和星火集群上都安装了/var/lib/Spark的同一个/var/lib/Spark位置。
我想避免在我的R服务器
浏览 1提问于2018-05-24得票数 0
回答已采纳
在关闭连接时，以以下方式复制到spark的数据帧会发生什么情况？
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
iris_tbl <- copy_to(sc, iris)
spark_disconnect(sc)
如果它们不是自动删除的，除了通过下面的方法删除每个数据帧之外，有什么简单的方法可以删除在会话期间创建的所有数据帧吗？
sc %>% spark_session() %>% invoke("catalog") %>% invoke
浏览 5提问于2018-08-24得票数 0
回答已采纳
1回答
在Linux服务器上使用相同的代码安装SparklyR时遇到了一些问题，这些代码直到昨天都工作得很顺利。我尝试过使用安装/卸载的DBI、jsonlite和dplyr的各种组合。
在此之前，一切似乎都运行得很好：
* installing *source* package ‘sparklyr’ ...
** package ‘sparklyr’ successfully unpacked and MD5 sums checked
** R
** inst
** preparing package for lazy loading
Note: the specification for S3 cl
浏览 0提问于2017-03-09得票数 1
2回答
唯一值的个数(闪烁)
、、、、
下面的示例描述了如何在不使用dplyr和sparklyr聚合行的情况下计算不同值的数量。
有没有一项不破坏命令链的工作？
更普遍的情况是，如何在sparklyr数据帧上使用类似sql的窗口函数。
## generating a data set
set.seed(.328)
df <- data.frame(
ids = floor(runif(10, 1, 10)),
cats = sample(letters[1:3], 10, replace = TRUE),
vals = rnorm(10)
)
## copying to Spark
df.spark &
浏览 1提问于2018-03-28得票数 3
回答已采纳
我正在使用sparklyr与spark进行交互。我正在尝试仅替换一列中的NaN值。
是否可以使用sparklyr函数replace.na()，但仅将其应用于一列？我检查了文档，但它对我没有帮助。
此类似，但答案更改了整个数据帧中的所有NaN值。
浏览 0提问于2019-05-15得票数 0
我正在运行Sparklyr和SparkR。当我试图使用由schema()创建的数据表调用spark_read_csv()函数时，会收到以下错误(以及select()和lapply()函数上的类似错误)：
错误in (函数(类、fdef、mtable)：
无法找到用于签名“tbl_spark”的函数“schema”的继承方法
以下是我的版本信息：
R版本3.5.3 (2019-03-11)
平台:x86_64-W64-mingw32 32/x64(64位)
运行于: Windows >= 2012 x64 (build 9200)
..。其他随附包裹:1
sparklyr
浏览 1提问于2019-04-14得票数 0
1回答
我的总体目标是使用sparklyr在一个R木星笔记本在我的天云服务木星实验室。我创建了一个新的conda环境，其中包含了R、sparklyr和Java 8(因为这个版本是sparklyr支持的版本)，如下所示：
conda create -n r_spark r=3.6 r-essentials r-irkernel openjdk=8 r-sparklyr
source activate r_spark
R
> IRkernel::installspec(user=TRUE, name="rspark", displayname="R (Spark)")
浏览 2提问于2019-11-15得票数 2
回答已采纳
R未检测到为使用sparklyr软件包而安装的最新Java版本(1.8)。
config <- spark_config()
config$sparklyr.gateway.port = 10000
config$sparklyr.gateway.connect.timeout = 1
config$sparklyr.gateway.start.wait = 1000
library(sparklyr)
library(dplyr)
library(DBI)
sc <- spark_connect(master="yarn-client", method =
浏览 0提问于2017-04-02得票数 2
我尝试了以下方法来行绑定两个Spark数据帧，但我给出了一个错误消息
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
iris_tbl <- copy_to(sc, iris)
iris_tbl1 <- copy_to(sc, iris, "iris1")
iris_tbl2 = bind_rows(iris_tbl, iris_tbl1)
将两个Spark数据帧绑定在一起最有效的方法是什么？
浏览 3提问于2018-08-16得票数 3
回答已采纳
我在Sparklyr上以本地模式使用以下配置：
conf <- spark_config()
conf$`sparklyr.cores.local` <- 28
conf$`sparklyr.shell.driver-memory` <- "1000G"
conf$spark.memory.fraction <- 0.9
sc <- spark_connect(master = "local",
version = "2.1.1",
config =
浏览 4提问于2017-10-19得票数 1
1回答
将sd()应用于星火数据帧中的单个值(通过R中的sparklyr包)将导致一个缺失值，而该值不能被过滤掉，因为它是一个缺失值。
有人能解释一下这个/提供一个好的解决方案吗？
下面的例子。
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
#> * Using Spark: 2.1.0
x <- data.frame(grp = c("a", "a", "c"), x = c(1, 2, 3))
copy_to(sc,
浏览 3提问于2017-12-19得票数 1
回答已采纳
我试图实现的是在${SPARK_HOME}/bin/spark-submit执行期间将记录到控制台的所有信息静默。 我已经通过更改${SPARK_HOME}/conf/log4j.properties中的适当行更改了spark本身的日志级别，但当我提交R-sparklyr脚本和sparklyr.jar以作为一种独立作业执行时，我仍然会获得以下信息： # 用户@主机${SPARK_HOME}/bin/spark-submit --class sparklyr.Shell 'sparklyr.jar‘脚本。R 21/07/01 16:12:25信息sparklyr:会话(999991)在
浏览 27提问于2021-07-02得票数 0
我有一个星火数据帧SDF.data被划分为6分区。
我的Sparklyr (0.6.4)运行在3执行器上。
根据表df.SplitNames.，我试图生成一个由SDF.data中的某些列的产品组成的数据框架。spark_apply函数如下所示：
spark_apply(SDF.data,function(df){
library(data.table)
setDT(df)
df.prod <- df[ , mget( as.character(df.SplitNames$X1[df.SplitNames$Interact]) )] *
df[ ,mget(as.character(
浏览 1提问于2017-11-14得票数 1
我正在转换我的原始R代码，使其适用于使用sparklyr包的火花。我使用lubridate包来计算两个日期之间的持续时间。在R中，这将导致duration数据类型，然后可以将其转换为numeric数据类型，如下面的示例所示。
# Load packages
library(sparklyr)
library(dplyr)
library(lubridate)
# Create dataframe with start and end date
df <- tibble(start = ymd("20210101"),
end = ymd(&#
浏览 23提问于2021-02-17得票数 1
1回答
Note -我已经引用了，但是虽然数据是不嵌套的，但我无法将数据转换为csv文件格式。
--我想通过使用功能来平平不同数据类型的数据。数据集包含数组和结构。我想爆炸的数据，以便我可以进一步转换为CSV文件格式。
Introduction
R代码是通过使用Sparklyr包来创建数据库模式来编写的。给出了可复制的代码和数据库。
现有结果
root
|-- contributors : string
|-- created_at : string
|-- entities (struct)
| |-- hashtags (array) : [string]
| |-- media
浏览 0提问于2018-10-06得票数 4
1回答
Sparklyr未连接到数据库
、、、、
我正在尝试使用sparklyr或SparkR连接到数据库。
现在我正在尝试使用sparklyr。
这就是我安装sparklyr的方法
install.packages("sparklyr")
sparklyr::spark_install() #installing spark
sprk <- spark_connect(master = "local") # this code works perfectly and it connects to the spark, and i can work further
sc <- spar
浏览 0提问于2018-11-27得票数 1
2回答
我需要在sparklyr数据帧的列上使用qchisq函数。
问题是，似乎qchisq函数没有在Spark中实现。如果我没有读错下面的错误信息，sparklyr试图执行一个叫做"QCHISQ“的函数，但是这在Hive SQL和Spark中都不存在。
一般来说，有没有办法用sparklyr运行在Hive或Spark中没有实现的任意函数？我知道spark_apply，但还不知道如何配置它。
> mydf = data.frame(beta=runif(100, -5, 5), pval = runif(100, 0.001, 0.1))
> mydf_tbl = copy_to(
浏览 1提问于2018-05-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
