将Spark Dataframe列中的数据用作条件或其他列表达式中的输入
Spark Dataframe是Apache Spark中的一种数据结构，它类似于关系型数据库中的表格。Spark Dataframe列中的数据可以用作条件或其他列表达式中的输入，以进行数据处理和分析。
在Spark Dataframe中，可以使用各种函数和操作来处理列数据。以下是一些常用的操作：
- 过滤数据：可以使用
filter函数根据列中的条件筛选数据。例如，筛选出年龄大于30的用户数据：
val filteredDF = dataframe.filter(dataframe("age") > 30)- 修改数据：可以使用
withColumn函数添加新列或修改现有列的值。例如，将年龄列加1：
val modifiedDF = dataframe.withColumn("age", dataframe("age") + 1)- 聚合数据：可以使用
groupBy和聚合函数（如sum、avg、count等）对列数据进行分组和聚合操作。例如，计算每个城市的平均年龄：
val resultDF = dataframe.groupBy("city").agg(avg("age"))- 排序数据：可以使用
orderBy函数对列数据进行排序。例如，按照年龄降序排序：
val sortedDF = dataframe.orderBy(dataframe("age").desc)- 使用列数据进行条件判断：可以使用
when和otherwise函数根据列数据进行条件判断。例如，根据性别列创建新的列：
val newDF = dataframe.withColumn("gender_category", when(dataframe("gender") === "M", "Male").otherwise("Female"))对于Spark Dataframe列中的数据用作条件或其他列表达式中的输入，可以根据具体需求选择适当的操作和函数进行处理。
腾讯云提供了一系列与Spark相关的产品和服务，如腾讯云EMR（Elastic MapReduce）和腾讯云CVM（Cloud Virtual Machine）。EMR是一种大数据处理平台，可用于快速搭建和管理Spark集群，进行数据处理和分析。CVM是腾讯云提供的云服务器，可用于部署和运行Spark应用程序。
更多关于腾讯云EMR和CVM的信息，请访问以下链接：
- 腾讯云EMR产品介绍：https://cloud.tencent.com/product/emr
- 腾讯云CVM产品介绍：https://cloud.tencent.com/product/cvm
请注意，以上答案仅供参考，具体的解决方案和产品选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
我尝试使用LIKE表达式连接dataframes，其中条件(LIKE的内容)存储在列中。在PySpark 2.3中有可能吗？
Source dataframe:
+---------+----------+
|firstname|middlename|
+---------+----------+
| James| |
| Michael| Rose|
| Robert| Williams|
| Maria| Anne|
+---------+----------+
Second dataframe
+---------+----+
浏览 2提问于2022-11-24得票数 0
从一个dataframe中，我想创建一个新的dataframe，其中任何列中至少有一个值为null或空，在Spark1.5/ scala中。
我正在尝试编写一个通用函数来创建这个新的dataframe。在这里，我传递数据文件和列列表，并创建记录。
谢谢
浏览 4提问于2017-07-25得票数 4
回答已采纳
2回答
我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。我尝试过以下几种方法：
println(numeric_cols)
// -> Seq[String] = List(avgTkts_P1, avgTkts_P2, avgTkts_P3, avgTkts_P4)
var sum_ops = for (c <- numeric_cols) yield org.apache.spark.sql.functions.sum(c).as(c)
var result = df.g
浏览 2提问于2018-09-04得票数 0
1回答
我有一个脚本，它目前运行在示例dataframe中。这是我的密码：
fd_orion_apps = fd_orion_apps.groupBy('msisdn', 'apps_id').pivot('apps_id').count().select('msisdn', *parameter_cut.columns).fillna(0)
在旋转之后，parameter_cut中的某些列可能在df fd_orion_apps上不可用，它将给出如下错误：
Py4JJavaError:调用o1381.select时出错。
：org.ap
浏览 2提问于2022-07-10得票数 1
回答已采纳
3回答
当我试图连接两个数据帧时，使用
DataFrame joindf = dataFrame.join(df, df.col(joinCol)); //.equalTo(dataFrame.col(joinCol)));
我的程序抛出在异常下面
org.apache.spark.sql.AnalysisException:类型为string的联接条件'url‘不是布尔值。
在这里，joinCol值是url需要输入的，因为什么可能导致这些异常？
浏览 4提问于2016-02-19得票数 3
1回答
我有一个'type = pyspark.sql.dataframe.DataFrame‘的数据，我想从这个数据df和另一个具有相同类型的数据df1中选择所有列。我从r创建df，这是一个元组列表。
df = spark.createDataFrame(r, schema =column )
df_final = spark.sql('select * \
from df \
Inner Join df1 \
on df.a = df1.b')
我有一个错误: AnalysisE
浏览 4提问于2022-07-08得票数 0
如何使用Spark SQL过滤器作为不区分大小写的过滤器。
例如：
dataFrame.filter(dataFrame.col("vendor").equalTo("fortinet"));
只返回'vendor'列等于'fortinet'的行，但我希望'vendor'列等于'fortinet'或'Fortinet'或'foRtinet'的行...
浏览 6提问于2016-01-20得票数 16
回答已采纳
我有一个包含字符串列的数据框，我想在其中创建多个列。
这是我的输入数据，pagename是我的字符串列
我想从它创建多个列。字符串的格式是相同的- col1:value1 col2:value2 col3:value3 ... colN:valueN。在输出中，我需要多个列- col1 to colN，值作为每列的行。以下是输出-
我如何在spark中做到这一点？Scala或Python都适合我。下面的代码创建输入数据帧-
scala> val df = spark.sql(s"""select 1 as id, "a:100 b:50
浏览 23提问于2021-06-02得票数 0
回答已采纳
我在Spark DataFrame中有一个包含两个元素的数组列，我需要获取具有特定模式的第二个元素，而不是位置id。
输入DataFrame：
+---+------------+----+
| id| objectid|name|
+---+------------+----+
|100|[100, AB100]| ABC|
|200|[200, AB200]| CDE|
+---+------------+----+
DataFrame架构：
root
|-- id: integer (nullable = false)
|-- objectid: array (nullable
浏览 1提问于2021-05-10得票数 0
1回答
我试图比较两个不同列中的整数包装数组，并将分级表示为string：
import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._
import scala.collection.mutable.WrappedArray
DataFrame数据的列A和B具有包装数组，我想比较一下：
val data = Seq(
(Seq(1,2,3),Seq(4,5,6),Seq(7,8,9)),
(Seq(1,1,3),Seq(6,5,7),Seq(11,9,8))
).toDF("A"
浏览 0提问于2016-12-23得票数 1
1回答
我有下面的Regex代码，它非常适合一列。但是我想扩展代码以搜索dataframe的所有列。
df = spark.createDataFrame(
[
("Dog 10H03 ", "10H03"),
("cat 09H24 eats cba", "09H24"),
(" cat 09H24 eats cba", "09H24"),
("cba ", "09H45"),
(
浏览 1提问于2021-08-09得票数 0
回答已采纳
4回答
我在这里之前已经看到了这个问题，我已经从中吸取了教训。然而，我不确定为什么当我觉得它应该工作的时候，我会得到一个错误。
我想通过一些规则在现有的Spark DataFrame中创建一个新的列。这是我写的。iris_spark是具有分类变量iris_spark的数据框，具有三个不同的类别。
from pyspark.sql import functions as F
iris_spark_df = iris_spark.withColumn(
"Class",
F.when(iris_spark.iris_class == 'Iris-setosa
浏览 1提问于2016-08-20得票数 30
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：
数据帧-2：
我想要的输出：
我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains等函数，但它没有给出我想要的输出。有人知道如何在spark scala SQL中或使用dataframe的spark scala函数来开发此逻辑吗？请帮我弄一下这个。
浏览 1提问于2021-02-12得票数 0
我希望使用Spark DataFrame的PySpark在特定的单元格中更改一个值。
简单的例子--我创建了一个模拟Spark DataFrame
df = spark.createDataFrame(
[
(1, 1.87, 'new_york'),
(4, 2.76, 'la'),
(6, 3.3, 'boston'),
(8, 4.1, 'detroit'),
(2, 5.70, 'miami'),
(3, 6.320, '
浏览 4提问于2018-05-17得票数 7
回答已采纳
1回答
当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。
如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.
或者如何将Spark.SQL.Column转换为Spark Dataframe？或者如何在filter子句中传递多个条件？
df2 = df.filter((df.dropoff_longitude >= -65.09)&(df.dropo
浏览 1提问于2019-04-23得票数 0
1回答
我使用Spark窗口函数row_number()为具有嵌套结构的复杂DataFrame生成ID。然后，我提取DataFrame的一部分以创建多个表作为输出，其中包括这个键。
但是，Spark只会在操作被触发时物化该表，所以当提取的表保存到HDFS中时，它最终会生成ID。另一方面，在处理大型DataFrames和转换时，Spark可能会打乱数据，从而更改row_number()可能生成的值。
因为我从单个DataFrame生成多个表，所以我需要ID列在所有表中保持一致，这意味着在提取表之前需要生成一次ID列，而不是为每个输出动态生成ID列。
这个问题的原始逻辑来自，它更详细地解释了根本问题。
但
浏览 1提问于2017-11-21得票数 1
我有两个输入数据集，第一个输入数据集如下所示：
year,make,model,comment,blank
"2012","Tesla","S","No comment",
1997,Ford,E350,"Go get one now they are going fast",
2015,Chevy,Volt
第二个输入数据集：
TagId,condition
1997_cars,year = 1997 and model = 'E350'
2012_cars,year=2012 and model
浏览 1提问于2016-02-05得票数 0
回答已采纳
我正在使用Scala中的Spark，希望将现有的数据集(dataframe)转换为包含嵌套结构的新表。 示例输入: columnA columnB columnC columnD columnE 示例输出: columnA columnB columnC columnF:{columnD，columnE} (创建一个同时包含D和E作为嵌套结构的新列) 转换columnA-C很简单，因为我可以使用.withColumn()，但是我不确定如何指定新的嵌套列结构并从同一个表中填充数据。我认为定义嵌套模式需要StructType(Array(StructField1, StructField2))，
浏览 25提问于2021-08-12得票数 0
1回答
我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？
df = pd.DataFrame([[0,1,0],[1,0,0],[1,1,1]],columns = ['Foo','Bar','Baz'])
spark_df = spark.createDataFrame(df)
def get_profile():
if 'Foo'==1:
return 'Foo'
elif 'Bar' =
浏览 2提问于2018-09-26得票数 2
回答已采纳
1回答
我有以下简单的函数，在这里，我用0填充所有缺少值的列，然后计算标准偏差。我知道我可以使用描述功能，但我想用这个作为我的目的。
def stdDevAllColumns(df: DataFrame): DataFrame = {
df.select(df.columns.map(c => df.select(c).na.fill(0).agg(stddev(c))): _*)
}
这会编译，但在运行时会导致失败：
<console>:143: error: overloaded method value select with alternatives:
[U1](c1
浏览 0提问于2021-11-16得票数 0
回答已采纳
我试图使用定义为DataFrame的常量来定义星火var中的新列。我用的是齐柏林飞艇-在最初的细胞里，它从
%spark
import org.apache.spark.sql.functions._
var year : Int = 2016
spark.read.parquet("<path/to/file>")
该文件包含一个名为birth_year的列；我希望创建一个名为age的新列，该列被定义为$year - birth_year，其中birth_year是一个字符串列。当UDF的输入参数是参数时，我不太清楚如何做到这一点。我做了几个小时的搜索并创建了一个
浏览 0提问于2018-06-07得票数 2
回答已采纳
我正在从Dataframe中获取列。该列的类型为string。
x = "[{somevalues, id:1, name:'xyz'}, {address:Some Value}, {somevalue}]"等..
数据以字符串的形式存储。它可以很容易地表示为一个列表。我希望输出为：
LIST of [
{somevalues, id:1, name:'xyz'},
{address:Some Value},
{somevalue}
]
我如何使用Spark的API来实现这一点？我知道在Python中，我可以使用eval(x)函数，它将返回
浏览 3提问于2018-03-08得票数 1
4回答
我有一个只有一列的Dataframe该列的每一行都有一个字符串值数组：
Spark2.2 Dataframe中的值
["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC"]
["789", "ghi", "2017", "DEF"]
org.apache.spark.sql.DataFrame = [col: array]
root
|--
浏览 8提问于2017-12-01得票数 28
回答已采纳
让我们假设我们有一个Spark DataFrame
df.getClass
Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame
使用下面的模式
df.printSchema
root
|-- rawFV: string (nullable = true)
|-- tk: array (nullable = true)
| |-- element: string (containsNull = true)
假设Scala列的每一行都是一个字符串数组，那么如何编写一个tk函数
浏览 2提问于2016-01-05得票数 7
回答已采纳
3回答
火花:与阵列连接
、、
我需要将一个带有string列的dataframe连接到一个字符串数组中，这样如果数组中的值匹配，行就会连接起来。
我试过了，但我想这不是支持。还有别的办法吗？
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("test")
val spark = SparkSession.builder().config(sparkConf).g
浏览 1提问于2017-08-07得票数 10
回答已采纳
我正在尝试将我的应用程序从Spark 1.6.2更新到2.0.0，我的问题是从Dataframe (我读到的拼图)创建一个数据集。
我知道我可以使用case类或元组来输入Dataframe，然后有一个Dataset，但在运行之前，我不知道哪些数据将加载用户，也不知道列的类型和数量。
要加载数据，我使用SparkSession从parquet读取数据，简单如下：
spark.read.schema(schema).parquet(dataPath)
schemaOfData是由一个列表[ StructType，String]实例化的字符串，该列表包含列的名称和他的类型( else String，
浏览 2提问于2016-10-05得票数 3
1回答
我想把数据库中的org.apache.spark.sql.DataFrame 转换成 org.apache.spark.rdd.RDD[(String, String)] ，有人能帮上忙吗？
背景(更好的解决方案也是受欢迎的)：我有一个Kafka流，它(经过一些步骤)变成了一个2列数据框架。我想把它放到Redis缓存中，第一列作为键，第二列作为值。
更具体地说，输入的类型是：lastContacts: org.apache.spark.sql.DataFrame = [serialNumber: string, lastModified: bigint]。我试着按以下方式对Redis进行分析：
浏览 0提问于2019-03-25得票数 0
回答已采纳
我正在使用下面的python代码从spark dataframe创建一个交叉表。
age_matter = df[df['y']=='yes'].stat.crosstab("age", "y").orderBy("age_y", ascending=True).show(100)
我想知道如何创建基于此代码的直方图。
另一方面，我正在基于spark dataframe中的另一列创建一个新列，我希望使用如下代码，但这是徒劳的。
if df['age']<=24:
df['group
浏览 0提问于2021-02-23得票数 0
1回答
我有一个从CSV文件导入的spark。在应用了一些操作(主要是删除列/行)之后，我尝试将新的DataFrame保存到Hadoop，这将显示一个错误消息：
ValueError:超出范围的年份
我怀疑DateType或TimestampType类型的某些列已损坏。至少在一篇专栏中，我找到了一篇带有'207‘年的条目--这似乎产生了一些问题。
**如何检查DataFrame是否遵守所需的时间范围？
我考虑编写一个函数，它接受DataFrame，并为每个DateType /TimestampType列获取值的最小值和最大值，但我无法让它工作。
有什么想法吗？
PS:据我理解，spar
浏览 1提问于2018-08-27得票数 1
回答已采纳
我有一个熊猫数据，我想要过滤/选择条件，基于元素的输入列表。所以，例如，我有这样的东西：
filters = ['category', 'name']
# I am just trying to select the columns which would match as follows:
data = {'category_name_courses': ["Spark","PySpark","Python","pandas"], 'category_name_area&
浏览 9提问于2022-04-17得票数 0
回答已采纳
1回答
我正在尝试将DataFrame中的列汇总到一个新列中，该列将被添加到dataframe本身。
这是DataFrame
val input = sc.parallelize(Seq(
("r1", 1, 1),
("r2", 6, 4),
("r3", 4, 1),
("r4", 1, 2)
)).toDF("ID", "a", "b")
我只想在"a“和"b”中添加一列“one”，其中包含1的计数。
这是我想出来的Scala代码，不幸的是，它对任何一行
浏览 10提问于2018-01-10得票数 1
回答已采纳
我有一个scala对象，如下所示-
scala> f1.getClass
res20: Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame
scala> f1.printSchema
root
|-- features: vector (nullable = true)
scala> f1.take(1)
res23: Array[org.apache.spark.sql.Row] = Array([[264960.0,0.177987935285829
浏览 0提问于2017-03-24得票数 0
我使用Spark和Scala来学习。我遇到了一种情况，我需要比较火花数据的一个列中的记录的有效性。这就是我如何创建一个dataframe "dataframe1"：
import sparkSession.implicits._
val dataframe1 = Seq("AB","BC","CD","DA","AB","BC").toDF("col1")
dataframe1：
+----+
|col1|
+----+
| AB|
| BC|
| CD|
|
浏览 0提问于2018-10-28得票数 2
回答已采纳
我用的是spark 2.1.0和Scala 2.11。我需要在MapString中存储状态，每个键的任何格式。解决我的问题的合适候选者似乎是在PairDStreamFunctions中定义的mapWithState()。我要对其应用mapWithState()的DStream的类型是DStream[Row]。在应用mapWithState()之前，我这样做：
dstream.map(row=> (row.get(0), row))
现在我的DStream的类型是Tuple2[Any, Row]。在这个DStream上，我应用了mapWithState，下面是我的updatefunctio
浏览 2提问于2017-04-26得票数 2
我正在尝试将数据从Delta加载到pyspark dataframe。
path_to_data = 's3://mybucket/daily_data/'
df = spark.read.format("delta").load(path_to_data)
现在，基础数据按日期划分为
s3://mybucket/daily_data/
dt=2020-06-12
dt=2020-06-13
...
dt=2020-06-22
是否有一种方法可以优化，给定：
只需要特定的日期范围，列的子集只需要
目前，我尝试的方法是：
df.re
浏览 2提问于2020-06-23得票数 4
1回答
我正在使用带有elasticsearch的apache spark 1.5数据帧，我试图从包含id列表(数组)的列中过滤id。
例如，elasticsearch列的映射如下所示：
{
"people":{
"properties":{
"artist":{
"properties":{
"id":{
浏览 0提问于2016-02-25得票数 2
回答已采纳
我必须将数据存储在databricks中的临时视图中，使用spark将数据以逗号分隔格式存储到dataframe。因此，对于temp视图中的多个列，dataframe只需要存储一个列，并将所有数据列分开。
下面是一个例子：
Temp View: temp_class
roll name subject
111 Ram Maths
Dataframe: df
roll,name,subject
111,Ram,Maths
Below is the code without alias:
df= spark.sql("""
select concat
浏览 3提问于2019-09-25得票数 1
回答已采纳
我正在尝试构建一个递归重写ArrayType列的spark函数： import org.apache.spark.sql.{DataFrame, Column}
import org.apache.spark.sql.functions._
val arrayHead = udf((sequence: Seq[String]) => sequence.head)
val arrayTail = udf((sequence: Seq[String]) => sequence.tail)
// re-produces the ArrayType column recursivel
浏览 13提问于2019-01-31得票数 0
在spark dataframe中，我有1列，其中包含列表列表作为行。我想将字符串列表合并为一个。
INPUT DATAFRAME:
+-------+--------------------+
| name |friends |
+-------+--------------------+
| Jim |[["C","A"]["B","C"]]|
+-------+--------------------+
| Bill |[["E","A"]["F"
浏览 6提问于2018-08-31得票数 3
回答已采纳
我是Scala和Apache Spark的新手。我尝试计算Spark数据框架中一些列的平均值和标准差，并将结果附加到源数据框架中。我正试着递归地做这件事。下面是我的函数。
def get_meanstd_data(mergedDF: DataFrame, grpByList: Seq[String]): DataFrame = {
val normFactors = Iterator("factor_1", "factor_2", "factor_3", "factor_4")
def meanStdCalc(df: Data
浏览 4提问于2021-05-25得票数 1
回答已采纳
在spark dataframe (Java API版本2.2)中，我尝试获取列的子字符串，如下所示：
//aggregationDS is a spark dataset
aggregationsDS = aggregationsDS.withColumn("NODE_ID", aggregationsDS.col("NODE_ID").substr(2, [*Lengthofcolumn*]));
我需要输入该特定列的字符串长度，但不确定正确的命令是什么。
浏览 1提问于2018-04-20得票数 0
我有一个Seq of Spark (即Seq[org.apache.spark.sql.DataFrame])，它可以包含一个或多个元素。有一个列的列表对每个数据文件都是通用的，每个dataframe也有一些额外的列。我想要做的是使用连接条件中的那些公共列将所有这些数据文件连接在一起(记住，数据格式的数量是未知的)
我怎样才能把所有这些数据文件连接起来？我想我可以对它们进行foreach，但这似乎不太优雅。谁能想出一种更实用的方法来做这件事呢？编辑:递归函数会比预测更好，我现在正在做这个工作，完成后会在这里发布。
下面是一些代码，它创建了n个dataframes列表(在本例中是n=3)，每个列
浏览 0提问于2018-05-15得票数 4
回答已采纳
我对scala和非常陌生。
我已经将一个文本文件读取到一个dataframe中，并成功地将单个列拆分为列(实质上该文件是以空格分隔的csv)。
val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt")
irisDF.show()
val dfnew:DataFrame = irisDF.withColumn("_tmp", split($"_c0", " ")).select(
$"_tmp".getIte
浏览 8提问于2017-08-30得票数 1
回答已采纳
1回答
我有一个包含一些单词的CSV文件。总共没有。csv文件中的字数不会超过50k条记录。
我有一个从具有keywords列的JSON文件创建的Spark Dataframe。我需要做的是从dataframe中过滤出其keywords列值与CSV文件中的值匹配的记录。这里，匹配表示csv文件中的单词是否出现在dataframe列中。
举个例子，假设csv文件中有一个单词"baby toys"，spark dataframe看起来像这样
***Keywords***
new baby toys
baby toys for all
costly baby toys price
baby
浏览 2提问于2019-05-31得票数 0
我正在处理一个大型spark DataFrame中的一列数字，我想创建一个新列来存储出现在该列中的唯一数字的聚合列表。
基本上就是functions.collect_set所做的事情。但是，我只需要聚合列表中最多1000个元素。有没有办法以某种方式将该参数传递给functions.collect_set()，或者是否有其他方法可以在不使用UDAF的情况下仅获取聚合列表中最多1000个元素？
由于列如此之大，我希望避免收集所有元素并在之后修剪列表。
谢谢!
浏览 9提问于2016-08-03得票数 16
基于前面的问题：，。假设我有以下数据：
df = spark.createDataFrame(
[(1, "a", 23.0), (3, "B", -23.0)],
("x1", "x2", "x3"))
我想要添加新的x4列，但是我在Python中有值，而不是添加到新列中，例如x4_ls = [35.0, 32.0]。是否有最佳方法将新列添加到Spark？(，注意，，我使用Spark2.1)
输出应该类似于：
## +---+---+-----+----+
## | x1| x2| x3|
浏览 0提问于2017-02-15得票数 0
回答已采纳
我正在尝试使用PySpark将一个分数应用于星火PySpark。让我们假设我在Spark之外构建了一个简单的回归模型，并希望将模型中创建的系数值映射到DataFrame中的各个列，以创建一个新列，即每个不同源列的和乘以各个系数。我知道Spark中有许多用于建模的实用程序，但我想了解如何实现这种“蛮力”方法。我还知道DataFrames/RDD是不可变的，因此必须创建一个新的DataFrame。
以下是一些供参考的伪代码：
#load example data
df = sqlContext.createDataFrame(data)
df.show(5)
dfmappd.select("
浏览 4提问于2016-03-01得票数 1
回答已采纳
2回答
我有一张桌子 DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count
United States Romania 15
United States Croatia 1
United States Ireland 344 我把上面的代码转换成了DataFrame val flightData2015 = spark
.read
.option("inferSchema", "true")//infers the input schema automatically from data
.option("he
浏览 19提问于2019-02-08得票数 0
回答已采纳
2回答
我有以下spark dataframe，我希望将一列中的所有列聚合为一个JSON，如下所示:如果输入dataframe为：
<code>A0</code>
预期的结果将是：
<code>A1</code>
解决方案不应该硬编码字段名称，有什么办法吗？
浏览 6提问于2020-07-30得票数 0
我使用的是Spark2.1，使用的是pyscripting
问题陈述:有一个场景，需要将多个列作为输入传递，然后返回一个列作为输出，这是我输入的3列的数据。
A、b、c
S S S
S NS
S NS S
S S NS
NS S
我的输出必须如下
a、b、c、d
S S
NS NS
S NS S
S S NS
NS S NS
我试图注册一个UDF来传递这3列a，b，c作为输入，并返回d列作为输出，在这里，a，b，c，d是列名。
我发现很难得到下面的输出是使用的语法
def return_string(x):
if [x.a=='s' & x.b=='
浏览 2提问于2017-08-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
