腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
DataFrame
到
Dataset
的
转换
(
scala
)
、
、
我正在尝试将Kafka消息值解包
到
case类实例中。(我把消息放在另一边。)| |-- pressureTendency: float (nullable = false) at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.
scala
浏览 40
提问于2019-03-24
得票数 1
回答已采纳
2
回答
星星之火:如果
DataFrame
有一个模式,
DataFrame
如何成为
Dataset
[Row]?
、
、
、
声称Spark中
的
DataFrame
等同于
Dataset
[Row],但是显示
DataFrame
有一个模式。以博客文章中关于将RDD
转换
为
DataFrame
的
例子:如果
DataFrame
与
Dataset
[Row]相同,那么将RDD
转换
为
DataFrame
应该是一样简单
的
。= sparkSession.createDataFrame(rddStringToRowRDD,dfschema
浏览 0
提问于2016-10-07
得票数 6
回答已采纳
1
回答
根据自定义对象创建
scala
数据格式
、
、
、
我是斯卡拉
的
新手。.) // some values here, many session objects grouped in a
dataset
collection i.e.
Dataset
[Sessions] 如何从仅包含自定义对象"a“
的
数据会话中创建数据帧。
浏览 0
提问于2018-09-05
得票数 0
回答已采纳
2
回答
Spark将数据集
转换
为RDD
、
、
我有一个DatasetString,需要
转换
为RDDString。多么? 注意:我最近从spark 1.6迁移到了spark 2.0。我
的
一些客户期待RDD,但现在Spark给我提供了数据集。
浏览 4
提问于2016-08-06
得票数 13
2
回答
将Spark
DataFrame
转换
为Pojo对象
、
、
persons); SQLContext sQLContext = new SQLContext(javaSparkContext); personDataFrame.select("name").show();
DataFrame
result = sQLContext.sql("S
浏览 6
提问于2015-12-10
得票数 5
1
回答
当方法以函数作为参数时,Mockito验证失败。
、
、
我有一个
Scala
测试,它使用Mockito来验证某些
DataFrame
转换
是否被调用。我把它分解成了一个简单
的
有问题
的
例子import org.scalatest.funsuite.AnyFunSuite orderVerifier.verify(mockDF).transform(withGreeting)
浏览 0
提问于2020-05-30
得票数 1
回答已采纳
1
回答
将
dataframe
转换
为
dataset
会保留额外
的
列
、
、
、
在Spark 2.11中,当将
Dataframe
转换
为
Dataset
时,spark会保留甚至在
dataset
的
类中都没有引用
的
额外列。
scala
> case class F(x: String, y: String)import spark.implicits._
scala
> val df = Seq(("
浏览 32
提问于2021-07-02
得票数 1
1
回答
为什么有些操作符返回
DataFrame
,而另一些操作符返回数据集?
、
这将像我预期
的
那样返回一个DF: Person(0, "AgataZ", 0), Person(71, "Gloria",222), df:org.apache.spark.sql.
DataFrame
= [k: integer, n: strin
浏览 0
提问于2018-08-20
得票数 1
回答已采纳
1
回答
星火
DataFrame
与数据集
的
编码器差异
、
、
当阅读Spark
的
DataFrame
(它是
Dataset
[Row]
的
别名)和
Dataset
之间
的
区别时,经常会提到
Dataset
利用Encoders高效地将JVM对象
转换
为Spark
的
内部数据表示。在
scala
中,有为case类和基元类型提供
的
隐式编码器。但是,我相信还有一个,它实现了Row在DataFrames中
的
编码。我
的
问题是 在JVM对象和Spark内部
浏览 1
提问于2020-08-02
得票数 0
回答已采纳
3
回答
如何将数据集
转换
为
Scala
Iterable?
、
有没有办法把org.apache.spark.sql.
Dataset
转换
成
scala
.collection.Iterable?看起来这应该足够简单了。
浏览 0
提问于2017-04-21
得票数 3
2
回答
如何在Java中将
DataFrame
转换
为
Dataset
?
、
、
、
我可以很容易地在
Scala
中将
DataFrame
转换
为
Dataset
:val df = ctx.read.json("/tmp/persons.json")ds.printSchema
浏览 9
提问于2016-01-07
得票数 16
回答已采纳
1
回答
星火数据集与java.sql.Date
、
、
、
假设我有一个像这样
的
火花
Dataset
:
scala
> case class Event(id: Int, date: Date, name: String), "ev2")).toDS 我想要创建一个只有名称和日期字段
的
新
Dataset
。据我所见,我可以在TypedColumn中使用TypedColumn,也可以在Column中使用ds.select(),然后将
DataFrame
<
浏览 1
提问于2016-08-05
得票数 8
回答已采纳
2
回答
如何在不从
DataFrame
转换
和访问数据集
的
情况下向
Dataset
添加列?
、
我知道使用.withColumn()向星火.withColumn()添加新列
的
方法,以及返回
DataFrame
的
UDF。我还知道,我们可以将结果
DataFrame
转换
为
DataSet
。我
的
问题是:
scala
> case cl
浏览 1
提问于2016-11-15
得票数 11
回答已采纳
1
回答
转换
后,我可以将一个分区器放回PairRDD中吗?
、
在大多数
转换
(例如,pairRDD,或toDF() )之后,似乎将values()
的
“分区器”重置为无。但是,我
的
理解是,对于这些
转换
,分区可能并不总是被更改。由于cogroup和其他示例在分区已知为共分区时执行效率更高,所以我想知道是否有一种方法可以判断rdd仍然是共分区
的
。请参见下面的简单示例,其中我创建了两个共分区
的
rdd,然后将它们
转换
为DFs并对结果
的
rdd执行cogroup。一个类似的例子可以用值来完成,然后再添加正确
的
对
浏览 0
提问于2016-06-18
得票数 1
回答已采纳
1
回答
如何将GroupedDataset保存到拼板或将其
转换
为toDF
、
、
、
我用
的
是火花1.6.1。 是否有任何API可用于将GroupDataset保存到拼花文件。或者将其
转换
为
DataFrame
。例如,我有一个自定义对象“过程”,我已经将
Dataframe
转换
为过程对象。在此之后,我将在patientID上做小组活动。我想将pass分组
到
parquet文件,或者将它作为
Dataframe
传递给其他函数。我没有获得任何用于存储
的
API,也没有将其
转换
为
Dataframe
。val proce
浏览 1
提问于2017-10-09
得票数 1
回答已采纳
3
回答
使用
scala
删除长字符串中
的
重复单词
、
、
我很想了解如何删除
dataframe
列中包含
的
字符串中
的
重复单词。我想用
scala
来实现它。作为示例,您可以在下面找到我想要
转换
的
数据帧。数据帧: val
dataset
1 = Seq(("66", "a,b,c,a", "4"), ("67", "a,f,g,t", "0"), ("70", "b,b,b,d"
浏览 0
提问于2018-10-03
得票数 1
1
回答
分别对列类型Array[Int]
的
内容进行哈希处理
、
我有一个Int, Array[Int]
的
DataFrame
,其值为 +---+------++---+------+| 1| [2]|+---+------+ 我想返回
DataFrame
of +---+------+------------------+ | _1| _2|
转换
为
dataset
并映射该
dataset
。简而言之,我不能复制https://github.com
浏览 5
提问于2019-01-24
得票数 0
回答已采纳
1
回答
除非我将“.as(‘别名)”添加到两者中,否则为什么加入两个星火数据访问失败?
、
、
、
toDF("agent", "in_count")可以使用这样
的
代码来完成| 1| A| 2|+-----+--------+-----+---------+ 现在,我不明白
的
是v
浏览 0
提问于2018-03-28
得票数 0
回答已采纳
3
回答
将
scala
列表
转换
为
DataFrame
或
DataSet
、
、
、
、
我是
Scala
的
新手。我正在尝试将
scala
列表(保存源
Dataframe
上
的
一些计算数据
的
结果)
转换
为
Dataframe
或
Dataset
。我没有找到任何直接
的
方法来做到这一点。但是,我尝试了以下过程将我
的
列表
转换
为
DataSet
,但似乎不起作用。我提供了下面的3种情况。import org.ap
浏览 4
提问于2016-09-09
得票数 9
回答已采纳
1
回答
Dataset
到
DataFrame
的
转换
、
、
我需要帮助将以下数据集代码
转换
为
DataFrame
。任何帮助都将不胜感激。def validateMember(raw:
Dataset
[Member], config: Array[Map[String, Any]]) :
Dataset
[ExtMember] = {
浏览 146
提问于2021-10-26
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Dataiku DSS Code Recipe 介绍
Spark SQL DataFrame与RDD交互
教程:Apache Spark SQL入门及实践指南!
Spark之SparkSQL
将dataframe数据中的月份的英文名转换为数字月份,比如 ‘July’ 转换为'07?
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券