带有其他列最后一个字符的Spark Dataframe列
Spark Dataframe是Apache Spark中的一种数据结构，它类似于关系型数据库中的表格，可以进行类似于SQL的查询和操作。带有其他列最后一个字符的Spark Dataframe列是指在Spark Dataframe中，某一列的值的最后一个字符与其他列的值的最后一个字符相同的情况。
这种情况可能出现在数据清洗、数据分析等场景中，我们可以使用Spark Dataframe的函数和操作来处理这种情况。以下是一些常用的处理方法：
- 使用Spark Dataframe的withColumn函数和substring函数，可以提取列的最后一个字符，并创建一个新的列。然后使用Spark Dataframe的filter函数，筛选出满足条件的行。
import org.apache.spark.sql.functions._
val df = // 你的Spark Dataframe
val lastChar = substring(col("columnName"), -1, 1)
val newDf = df.withColumn("lastChar", lastChar)
val result = newDf.filter(col("lastChar") === substring(col("otherColumnName"), -1, 1))- 使用Spark Dataframe的select函数和expr函数，可以在选择列的同时进行表达式计算。可以使用正则表达式来匹配最后一个字符，并进行筛选。
import org.apache.spark.sql.functions._
val df = // 你的Spark Dataframe
val result = df.selectExpr("*", "CASE WHEN columnName rlike '.*(.).*' AND otherColumnName rlike '.*(.).*' THEN 1 ELSE 0 END AS match")
.filter(col("match") === 1)以上是两种常见的处理方法，具体的处理方式可以根据实际情况进行调整。在使用Spark Dataframe处理带有其他列最后一个字符的情况时，可以考虑使用Spark Dataframe的函数和操作来实现数据的筛选和处理。
腾讯云相关产品和产品介绍链接地址：
相关·内容
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。
我尝试过以下几种方法，但都没有成功：
type(randomed_hours) # => list
# Create in Python and transform to RDD
new_col = pd.DataFrame(randomed_hours, columns=['new_col'])
spark_new_col = sqlContext.createDataFrame(new_col)
my_df_spark.withColumn("hours"
浏览 13提问于2015-11-12得票数 179
回答已采纳
5回答
我正在尝试将dataframe写到text文件中。如果一个文件包含单个列，那么我就可以用文本文件编写。如果文件包含多列，那么我将面临一些错误。
文本数据源只支持一个列，并且有两个列。
object replace {
def main(args:Array[String]): Unit = {
Logger.getLogger("org").setLevel(Level.ERROR)
val spark = SparkSession.builder.master("local[1]").appName("Decimal
浏览 4提问于2017-06-14得票数 5
回答已采纳
1回答
迭代的列并更新指定的值
、、、
为了迭代从Hive表创建的Spark列并更新所有所需的列值，我尝试了以下代码。
import org.apache.spark.sql.{DataFrame}
import org.apache.spark.sql.functions._
import org.apache.spark.sql.functions.udf
val a: DataFrame = spark.sql(s"select * from default.table_a")
val column_names: Array[String] = a.columns
val required
浏览 0提问于2018-05-06得票数 0
回答已采纳
我有一个包含字符串的列的dataframe。当我调用函数时：
df = spark.read.csv(path, header=True).show()
但是，当我打印时，我得到了正确的“视图”
print("dataframe as a RDD object (list of Row objects):\n\t", df.collect())
结果是带有unicode符号字符串，如u'mystring'
我该如何解决这个问题呢？
浏览 11提问于2019-12-02得票数 1
回答已采纳
1回答
我一直在尝试将RDDs转换为DataFrames格式，然后再转换回来。首先，我有一个类型为(Int，Int)的RDD，名为dataPair。然后，我使用以下命令创建了一个带有列标题的DataFrame对象：
val dataFrame = dataPair.toDF(header(0), header(1))
然后，我使用以下命令将其从DataFrame转换回RDD：
val testRDD = dataFrame.rdd
它返回org.apache.spark.sql.Row类型的RDD (不是(整数，整数))。然后我想用.toDF把它转换回RDD，但是我得到了一个错误：
error: va
浏览 1提问于2016-05-04得票数 11
回答已采纳
3回答
我使用的是Spark 1.3.1。
我正在尝试查看Python中Spark dataframe列的值。有了Spark dataframe，我可以使用df.collect()来查看数据帧的内容，但在我看来，Spark dataframe列还没有这样的方法。
例如，数据帧df包含一个名为'zip_code'的列。所以我可以做df['zip_code']，它会变成一个pyspark.sql.dataframe.Column类型，但是我找不到一种方法来查看df['zip_code']中的值。
浏览 1提问于2015-06-30得票数 43
回答已采纳
4回答
我想向dataframe添加一个新的map类型列，如下所示：
|-- cMap: map (nullable = true)
| |-- key: string
| |-- value: string (valueContainsNull = true)
我试过密码：
df.withColumn("cMap", lit(null).cast(MapType)).printSchema
错误是：
:132: error:重载的方法值转换为可选方法：
(致: String)org.apache.spark.sql.Column
( to : org.apache.sp
浏览 12提问于2017-05-28得票数 10
回答已采纳
我有一个主SQL表，我正在读取这个表，并修改它以写入CassandraDB。目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。
我见过：
.withColumn("gender", when(col("gender) === 1, "male").otherwise("female")
这将允许我继续在主表上进行方法链接，但无法让它使用两个
浏览 1提问于2017-09-11得票数 2
回答已采纳
1回答
我有一个从CSV文件导入的spark。在应用了一些操作(主要是删除列/行)之后，我尝试将新的DataFrame保存到Hadoop，这将显示一个错误消息：
ValueError:超出范围的年份
我怀疑DateType或TimestampType类型的某些列已损坏。至少在一篇专栏中，我找到了一篇带有'207‘年的条目--这似乎产生了一些问题。
**如何检查DataFrame是否遵守所需的时间范围？
我考虑编写一个函数，它接受DataFrame，并为每个DateType /TimestampType列获取值的最小值和最大值，但我无法让它工作。
有什么想法吗？
PS:据我理解，spar
浏览 1提问于2018-08-27得票数 1
回答已采纳
4回答
我在Spark 1.6中有一个dataframe，只想从中选择一些列。列名如下：
colA, colB, colC, colD, colE, colF-0, colF-1, colF-2
我知道我可以像这样选择特定的列：
df.select("colA", "colB", "colE")
但是如何一次选择"colA“、"colB”和所有的colF-*列呢？有没有像那样的方法？
浏览 3提问于2016-02-11得票数 18
回答已采纳
2回答
我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。我尝试过以下几种方法：
println(numeric_cols)
// -> Seq[String] = List(avgTkts_P1, avgTkts_P2, avgTkts_P3, avgTkts_P4)
var sum_ops = for (c <- numeric_cols) yield org.apache.spark.sql.functions.sum(c).as(c)
var result = df.g
浏览 2提问于2018-09-04得票数 0
我有一个Spark Dataframe，它通过spark-xml包含来自已解析的XML文件夹的数据。我想添加一个包含源文件的列，这可以通过input_file_name()函数轻松完成。
问题是这会返回整个路径，而我只需要文件名。因此，我尝试在spark SQL中注册一个UDF，它提取文件名，但最后得到一个空列。这个函数可以工作，但显然它得到了空值作为输入，我不明白为什么。
有没有人知道这个问题以及如何解决它？
编辑:示例
如果我通过df.selectExpr('input_file_name()')选择filename列，那么我会得到路径和文件名。但是，如果我定义一个函数，简
浏览 0提问于2016-11-10得票数 3
我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。 scala> val dtfAbnoFirs=dtfAbno.filter("AAA>='20201201' and BAQ<>'0'").
| groupBy("BAQ").agg("AAA"->"min");
dtfAbnoFirs: org.apache.spark.sql.DataFrame = [BA
浏览 34提问于2021-04-08得票数 0
回答已采纳
1回答
我正在dataframe1中读取CSV文件，然后在dataframe2中筛选一些列，在从dataframe1中选择dataframe2列时，我想将我的函数应用到列值上。喜欢
import utilities._
val Logs = sqlContext.read
.format("csv")
.option("header", "true")
.load("dbfs:/mnt/records/Logs/2016.07.17/2016.07.17.{*}.csv")
val Log = Logs.select(
&
浏览 0提问于2018-11-04得票数 0
回答已采纳
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType
import os, glob
spark = SparkSession.builder.\
config("spark.jars.packages","saurf
浏览 1提问于2019-09-06得票数 3
回答已采纳
1回答
我有一个大型csv文件(>9600万行)和七列。我想对其中一个列进行模糊搜索，并检索与输入字符串相似程度最高的记录。这个文件是由spark管理的，我通过pyspark将它加载到一些dataframe中。现在，我想使用像fuzzywuzzy这样的方法来提取与最佳匹配的行。
但是，fuzzywuzzy函数提取返回一些我无法使用的内容：
process.extract("appel", df.select(df['lowercase']), limit=10)
结果：[(Column<'lowercase'>, 44)]
df是pys
浏览 9提问于2022-09-27得票数 0
我正在尝试将一些计算列添加到SparkR数据框中，如下所示：
Orders <- withColumn(Orders, "Ready.minus.In.mins",
(unix_timestamp(Orders$ReadyTime) - unix_timestamp(Orders$InTime)) / 60)
Orders <- withColumn(Orders, "Out.minus.In.mins",
(unix_timestamp(Orders$OutTime) - unix_timestamp(Orders$InTime)) / 6
浏览 2提问于2015-12-29得票数 0
1回答
检查字符串以在中创建新列。
、、、、
我有一个带有交易对的Spark dataframe列，我需要使用它来创建一个新列，其中包含硬币的名称。
第一列" bot“包含"Polkadot/USD"，我需要一个名为”硬币“的新列，它只包含bot列的子字符串"Polkadot”。其他行也一样。基本上，新列需要删除子字符串"/USD“。
代码是如何完成这一任务的。我是一个密码交易者，而不是一个编码器，所以答案中的编码细节越多越好。谢谢。
注意:笔记本是Python笔记本
浏览 2提问于2021-07-26得票数 1
回答已采纳
我有一个Spark RDD (或Dataframe -转换成两者都不是问题)，它有以下列(每个结构的示例)：
res248: org.apache.spark.rdd.RDD[(String, Array[String])] = MapPartitionsRDD[1004] at map at <console>:246
org.apache.spark.sql.DataFrame = [id: string, list: array<string>]
我想扩展这个RDD/DF，增加一个包含列表数组大小的列。因此，输出应该是这样的(示例)：
org.apache.spa
浏览 27提问于2017-07-07得票数 0
回答已采纳
2回答
我希望向DataFrame中的Spark(Scala)中添加一个带有行id的新列。这就是我所采取的方法。我正在创建一个带有索引id的新行和一个包含了另一个StructType的新StructField。
val rdd = df.rdd.zipWithIndex().map(indexedRow => Row.fromSeq(indexedRow._2.toString ++ indexedRow._1.toSeq ))
val list = StructType(Seq(StructField("Row Number", StringType, true)).++(
浏览 4提问于2016-05-02得票数 0
回答已采纳
我使用星火与纱线簇管理器。
我从Cassandra表中创建了一个数据集，该表包含大约700行数据，其中5列包含5列，其中一列具有JSON格式的数据。数据量仅以MB为单位。
我运行spark-shell时：
spark.executor.memory=4g
spark.driver.memory=2g
我得到了这个错误：
org.apache.spark.shuffle.FetchFailedException:未能连接到bosirahtaicas02.bscuat.local 02. org.apache.spark.storage.ShuffleBlockFetcherIt
浏览 7提问于2017-05-31得票数 3
1回答
我想转换一个带有dict值的列来扩展带有值的列，如下所示：
+-------+--------------------------------------------+
| Idx| value |
+-------+--------------------------------------------+
| 123|{'country_code': 'gb','postal_area': 'CR'} |
| 456|{'cou
浏览 2提问于2019-08-02得票数 0
我希望将spark dataframe列的值从小时分钟秒转换为
例如"01:12:17.8370000“
将变成4337，谢谢你的评论。
或者"00:00:39.0390000“
会变成39秒。
我已经读过这个问题，但是我不知道如何使用这个代码来转换我的spark dataframe列。
像这样的东西
df.withColumn("duration",col("duration")....)
我使用的是scala 2.10.5和spark 1.6
谢谢
浏览 12提问于2017-07-31得票数 2
回答已采纳
下面这是一个简单的语法，用于搜索特定列中的字符串--使用类似SQL的功能。
val dfx = df.filter($"name".like(s"%${productName}%"))
问题是如何获取的每个列名，其中包含其值中的特定字符串，并为每一行生成一个包含这些“列名”列表的新列。
到目前为止，这是我采用的方法，但由于我不能在UDF中使用sql "Like“函数，所以我坚持了下来。
import org.apache.spark.sql.functions._
import org.apache.spark.sql.DataFrame
import
浏览 1提问于2019-01-11得票数 1
回答已采纳
我目前正在使用spark 2.0，我正在尝试将dataframe作为一个带有多个分区的块来编写。
我正试图在火花壳中执行下面的命令。
var partitionNames = "partition1,partition2"
var partition = partitionNames.split(",").map(elem => "\""+ elem + "\"").map(elem => elem.mkString) //"partition1","partition2
浏览 1提问于2017-07-10得票数 0
回答已采纳
有没有办法在spark Dataframe中设置字符串类型的最大长度。我正在尝试读取一列字符串，获取最大长度，并将该列的最大长度设置为字符串的最大长度。 有没有办法做到这一点？
浏览 54提问于2020-01-20得票数 1
回答已采纳
1回答
我正在尝试读取一个带有变量列表的Gzipped文件夹(没有扩展)。例如：
CSV file 1: TIMESTAMP | VAR1 | VAR2 | VAR3
CSV file 2: TIMESTAMP | VAR1 | VAR3
每个文件代表一天。列的顺序可能不同(或者在一个文件中可能缺少列)。
使用spark.read一次读取整个文件夹的第一个选项被丢弃，因为文件之间的连接考虑的是列顺序而不是列名。我的下一个选项是按文件读取：
for (String key : pathArray) {
Dataset<Row> rawData = spark.read().o
浏览 1提问于2018-02-15得票数 0
回答已采纳
我需要用脚本编写一个DataFrame到Azure事件中心。
我的解决方案基于本文。
如何将具有多列的Dataframe转换为具有名为“body”的单一列的DataFrame，并将所有列作为json？
我正在使用Scala和Spark 3
下面是我找到的一个解决方案，toJson在其中创建了一个名为“value”的列。
df.toJSON.selectExpr("value as body")
谢谢。
浏览 8提问于2022-01-11得票数 0
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。
我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv", Map("path" -> "data.csv", "header" -
浏览 0提问于2015-04-28得票数 3
回答已采纳
我正在使用下面的python代码从spark dataframe创建一个交叉表。
age_matter = df[df['y']=='yes'].stat.crosstab("age", "y").orderBy("age_y", ascending=True).show(100)
我想知道如何创建基于此代码的直方图。
另一方面，我正在基于spark dataframe中的另一列创建一个新列，我希望使用如下代码，但这是徒劳的。
if df['age']<=24:
df['group
浏览 0提问于2021-02-23得票数 0
我有三列的数据
datejsonString1jsonString2
我希望将json中的属性扩展到列中。所以我做了这样的事。
val json1 = spark.read.json(dataframe.select(col("jsonString1")).rdd.map(_.getString(0)))
val json2 = spark.read.json(dataframe.select(col("jsonString2")).rdd.map(_.getString(0)))
val json1Table = json1.selectExpr(&#
浏览 4提问于2020-02-09得票数 1
回答已采纳
我有一个项目，我有一个很大的C(100,20)个组合，每个组合集都有少量的工作。 我正在使用带有visual studio的Spark .NET作为我的技术(参见下面的设置)：https://docs.microsoft.com/en-us/dotnet/spark/tutorials/get-started Spark .NET有一个带有SQL类型命令的数据帧。我假设我需要执行一个SQL类型的命令来创建N个choose K组合，并使用一个用户定义的worker函数来处理这些组合。 问题是在DataFrame中使用Spark .NET的代码是什么样子的？如果DataFrame不支持N cho
浏览 14提问于2020-08-13得票数 0
2回答
我有一个火花数据格式: df1，如下所示：
age = spark.createDataFrame(["10","11","13"], "string").toDF("age")
age.show()
+---+
|age|
+---+
| 10|
| 11|
| 13|
+---+
我需要在dataframe中添加一个行号列以使其：
+---+------+
|age|col_id|
+---+------+
| 10| 1 |
| 11| 2 |
| 13| 3 |
+---+------+
浏览 2提问于2020-10-19得票数 0
回答已采纳
2回答
我有一个包含多个列的dataframe，其中一个列是map(string，string)类型。我能够打印这个数据，有列作为地图，给数据地图(“双关”-> "Pune")。我想要将这个dataframe写到hive表(存储为avro)，该表具有与map类型相同的列。
Df.withcolumn("cname", lit("Pune"))
withcolumn("city_code_name", map(lit("PUN"), col("cname"))
Df.show(false)
//tab
浏览 4提问于2020-02-27得票数 0
2回答
将星火数据转换为矢量
、、、
我希望使用朴素分类器模型来预测星火dataframe的输出类。我使用Spark2.1.0的结构化流功能。
当我尝试这样做的时候：
tokenizer = Tokenizer(inputCol="message", outputCol="logTokenize")
tokenizeData = tokenizer.transform(stream_df)
hashingTF = HashingTF(inputCol="logTokenize", outputCol="rawFeatures", numFeatures = 1000
浏览 5提问于2017-07-24得票数 0
我用Python训练了一个随机森林算法，并希望用PySpark在一个大数据集上应用它。
我首先加载了经过训练的sklearn模型(使用joblib)，将包含这些特性的数据加载到Spark数据框架中，然后添加了一个带有预测的列，该列具有用户定义的函数，如下所示：
def predictClass(features):
return rf.predict(features)
udfFunction = udf(predictClass, StringType())
new_dataframe = dataframe.withColumn('prediction',
udf
浏览 6提问于2017-05-31得票数 8
回答已采纳
1回答
我正在使用带有elasticsearch的apache spark 1.5数据帧，我试图从包含id列表(数组)的列中过滤id。
例如，elasticsearch列的映射如下所示：
{
"people":{
"properties":{
"artist":{
"properties":{
"id":{
浏览 0提问于2016-02-25得票数 2
回答已采纳
我正在用Scala编写一个Spark批处理作业，并且需要过滤一个dataframe ('driverTable'，带有列'date')，这样我只能将日期保持在2年前(丢弃所有其他列)。
val dayList: Seq[Date] = driverTable
.select("date")
.as[Date]
.distinct
.filter(s"date <= ... ")
.collect()
.sortBy(_.getTi
浏览 3提问于2021-05-25得票数 0
回答已采纳
2回答
我正在阅读以下csv文件：
id,hit,name
0001,00000,foo
0002,00001,bar
0003,00150,toto
作为一个带有SqlContext的spark，它提供了输出：
+--+---+----+
|id|hit|name|
+--+---+----+
|1 |0 |foo |
|2 |1 |bar |
|3 |150|toto|
+--+---+----+
我需要在Dataframe中保持领先的零值。我尝试将"allowNumericLeadingZeros“选项设置为true，但它不起作用。我看到一些帖子说这是excel问题，但我的问题是，在
浏览 1提问于2017-10-25得票数 2
回答已采纳
2回答
在创建ALS模型时，我们可以提取userFactors DataFrame和itemFactors DataFrame。这些DataFrames包含一个带有数组的列。
我想生成一些随机数据并将其合并到userFactors DataFrame。
这是我的代码：
val df1: DataFrame = Seq((123, 456, 4.0), (123, 789, 5.0), (234, 456, 4.5), (234, 789, 1.0)).toDF("user", "item", "rating")
val model1 = (new A
浏览 1提问于2018-03-13得票数 1
回答已采纳
我想将一个特定的文件列表加载到Spark中。我创建了一个UDF，它过滤了文件列表，因此我获得了一个带有我想要加载的文件的Seq<String>。我正在尝试使用org.apache.spark.sql.DatasetString)org.apache.spark.sql.DataFrame ，但出于某些原因，它告诉我“重载的方法值csv具有替代方案：(path: String*)org.apache.spark.sql.DataFrame (csvDataset: path: String)org.apache.spark.sql.DataFrame无法应用于(SeqString)”
浏览 0提问于2018-05-01得票数 2
回答已采纳
2回答
我尝试使用硬编码字符串并将其转换为1行星火DataFrame (带有类型为StringType的一列)，以便：
String fizz = "buzz"
DataFrame的结果，其.show()方法如下所示：
+-----+
| fizz|
+-----+
| buzz|
+-----+
到目前为止，我的最佳尝试是：
val rawData = List("fizz")
val df = sqlContext.sparkContext.parallelize(Seq(rawData)).toDF()
df.show()
但是，我得到了以下编译器错误：
jav
浏览 3提问于2016-10-10得票数 7
回答已采纳
1回答
是否可以使用Spark2.4将包含JSON字符串的DataFrame转换为包含JSON字符串类型化表示的DataFrame？
例如:给定下面的定义，我希望使用从JSON字符串推断的模式来转换jsonDF中的单个列。
val jsonDF = spark.sparkContext.parallelize(Seq("""{"a": 1, "b": 2}""")).toDF
浏览 0提问于2019-05-03得票数 0
回答已采纳
6回答
我使用的是Spark 1.3.1 (PySpark)，并且我已经使用SQL查询生成了一个表。我现在有一个对象，它是一个DataFrame。我想把这个表对象(我把它叫做“DataFrame”)导出到一个csv文件中，这样我就可以操作它并绘制列。如何将DataFrame“表”导出为csv文件？
谢谢!
浏览 813提问于2015-07-13得票数 92
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：
数据帧-2：
我想要的输出：
我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains等函数，但它没有给出我想要的输出。有人知道如何在spark scala SQL中或使用dataframe的spark scala函数来开发此逻辑吗？请帮我弄一下这个。
浏览 1提问于2021-02-12得票数 0
我有一个样本数据如下：
val df = Seq((Seq("abc", "cde"), 19, "red, abc"), (Seq("eefg", "efa", "efb"), 192, "efg, efz efz")).toDF("names", "age", "color")
用户定义的函数如下所示，它将df中的"color“列替换为字符串长度：
def strLength(inputString: String): Lo
浏览 0提问于2018-11-06得票数 2
回答已采纳
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。
我使用空字符串而不是NULL来避免异常和新列获取字符串数据类型。
是否有更好的方法使用spark在hive表中插入空值？
2017-12-26 07:27:59 ERROR StandardImsLogger$:177 - org.apache.hadoop.hive.ql.metadata.HiveException: jav
浏览 3提问于2017-12-27得票数 0
回答已采纳
我尝试在一个大文件上使用Apache Spark SQL dataframe的聚合函数"first“和"last”，其中有一个spark master和2个worker。当我执行"first“和" last”操作时，我希望返回文件中的最后一列；但看起来Spark返回的是worker分区中的"first“或"last”。
有没有办法在聚合函数中获得“真正的”第一个和最后一个值？
谢谢,
浏览 0提问于2016-01-23得票数 1
1回答
我试图在Dataframe中替换或更新某些特定的列值，因为我们知道dataframe是不可变的，我试图将其转换为新的dataframe，而不是更新或替换。
我尝试了dataframe.replace，正如在Spark中解释的那样，但是它给了我错误作为错误:值替换不是org.apache.spark.sql.DataFrame的成员
我尝试在option.For下面传递我要传入的数组的多个值
val new_df= df.replace("Stringcolumn", Map(array("11","17","18","10
浏览 0提问于2017-03-22得票数 0
1回答
嗨，我想在DataFrame的每一行中添加使用现有列的新列，我在Scala中尝试这样做.df是包含可变列数的dataframe，只能在运行时决定。
// Added new column "docid"
val df_new = appContext.sparkSession.sqlContext.createDataFrame(df.rdd, df.schema.add("docid", DataTypes.StringType))
df_new.map(x => {
import appContext.sparkSession.im
浏览 2提问于2017-10-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
