我有一个Spark Dataframe，它看起来像这样： +-----------+-----++-----------+-----+| 2| 4305|
+-----------+-----+ 并且它具有以下模式 org.apache.spark.sql.types.StructType = StructType当我尝试的时候 val fooStr = df.first.getAs[String](0) 我得到了强
浏览 125提问于2020-06-27得票数 2
回答已采纳
UDF1 someudf = new UDF1<Row,String>(){ return some_str; };
spark.udf().register不能将<em
浏览 2提问于2017-08-25得票数 4
回答已采纳
2回答
从Row提取值应该并不比从Scala列表中提取值更困难；但是在实践中，您必须知道列的确切类型才能提取它。您甚至不能将列转换为字符串；对于一个伟大的框架(如Spark )来说，这有多荒谬呢？, col2: int]
java.lang.ClassCastException: java.lang.Integercannot be cast to java.lang.String<
浏览 0提问于2018-03-23得票数 1
回答已采纳
我正在读入一个带有权重的有向边(源节点和目标节点)的文件；第一部分似乎工作得很好：import org.apache.spark.SparkContext._import org.apache.spark.sql.SQLContext
import org.apache.spark<
浏览 0提问于2018-03-11得票数 1
def calculateVariables(row: Row):HashMap[String, Float] = {在这个映射函数中，我试图将行
浏览 0提问于2018-12-13得票数 2
回答已采纳
1回答
我有一个问题:可以从spark.sql.Row获得自定义对象吗？ JavaDStream<Tuple2<String, Event>> events = ..., Event>) row -> row.element from stream }); 这是我正
浏览 8提问于2017-08-29得票数 0
2回答
我已经使用了大量的案例类，用于将数据保存为拼板，例如： technographic: Option[Technographicdevices: Seq[Device], major: Option[String] = None,
language
浏览 2提问于2015-12-03得票数 2
回答已采纳
是否可以将Java时间戳数据类型转换为Scala TimestampType，反之亦然？asInstanceOf[TimestampType]java.lang.ClassCastException: java.sql.Timestamp cannot be cast to org.apache.spark.sql.types.TimestampType
浏览 25提问于2020-07-31得票数 0
有没有一种简单的方法可以将给定的Row对象转换为json？ 找到了关于将整个数据帧转换为json输出的内容：Spark Row to JSON 但我只想把one Row转换成json。我的问题是，编写此函数的最简单方法是什么: convertRowToJson() def convertRowToJson(row: Row): String = ???def transformVenueTry(row: Ro
浏览 150提问于2017-01-12得票数 10
回答已采纳
= sqc.sql("SELECT entities.hashtags FROM tweets LIMIT 3")
结果是：
import org.apache.spark.sql._row(0)
r
浏览 1提问于2015-05-22得票数 1
回答已采纳
由于我预测的数据帧具有超过100个特征，因此我使用以下函数将数据帧行转换为h2o的RowData格式(来自)： val prediction = easyModel.predictBinomial(rData).label
(r.getAs[String$apache$spark$rdd$RDD$$depende
浏览 1提问于2018-01-03得票数 0
我让sqc.sql(sqlcmd).collect()返回了Array[org.apache.spark.sql.Row]不起作用：java.lang.ClassCastException: java.lang.String cannot be
浏览 0提问于2015-01-20得票数 15
回答已采纳
我的问题是，当我将代码转换为流模式并将数据帧放入foreach循环时，数据帧会显示空表！我不填！我也不能将它放入assembler.transform()中。这是我的代码：import org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.mllib.regress
浏览 3提问于2017-05-25得票数 0
回答已采纳
).stripLineEnd.split(',')在接收端，我不希望将表(由stringMessages(0)指示)每个列类型转换为实际的表类型。eachGDNRdd,getSchemaAsStructField)java.lang.ClassCastException: java.lang.S
浏览 2提问于2016-09-29得票数 0
collectionAsScalaIterableConverter(columns).asScala().toSeq();List(org.apache.spark.OneToOneDependency@17f43f4a))
- field (class: org.apache.spark.rdd.RDD$
浏览 1提问于2017-08-09得票数 0
回答已采纳
Parameters text : String ------- Output string with replacement of placeholder.inputPath = getClass.getResource("/input_data/placeholder_replacement.
浏览 28提问于2019-04-05得票数 1
基本上，应用程序读取序列文件，并将键/值转换为具有某些列的行对象，执行一些排序，最后转换回rdd以写入序列文件。
如果row对象很小-大约20k字节的数据-一切都很好。在第二次运行中，row objects包含大约2mb的数据，而spark运行时遇到内存不足的问题。我测试了几个选项，更改了分区大小和数量，但应用程序运行不稳定。似乎任何从dataFrame到rdd的转换都会绑定许多内存资源，并强制将所有结果发送回驱动程序。我在崩溃之前创建了一个堆转储，看到了一个很大的scala数
浏览 1提问于2018-07-27得票数 0
10回答
如何枢轴星火DataFrame？
、、、、
在烫伤中有内置的功能，我相信Python中的Pandas，但是我无法为新的Spark找到任何东西。
我想我可以写一些自定义函数来实现这一点，但我甚至不知道如何开始，特别是因为我是一个星火新手。
浏览 14提问于2015-05-14得票数 86
回答已采纳
我希望将数据帧的字符串列转换为列表。我从Dataframe API中可以找到的是RDD，所以我尝试先将它转换回RDD，然后将toArray函数应用于RDD。在本例中，长度和SQL工作得很好。我想知道是否有一种将列转换为列表的适当方法，还是删除方括号的方法。
如有任何建议，将不胜感激。谢谢!
浏览 18提问于2015-08-14得票数 109
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号