如何在PySpark DataFrame中的GroupBy和聚合之后传递第三方列？
在PySpark中，可以使用groupBy和聚合函数来对DataFrame进行分组和聚合操作。然后，我们可以使用withColumn函数来添加一个新的列，该列的值可以基于已有的列进行计算得出。
以下是在PySpark DataFrame中使用GroupBy和聚合之后传递第三方列的步骤：
- 导入PySpark模块并初始化SparkSession：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()- 创建一个DataFrame：
data = [("Alice", 25, "NYC"), ("Bob", 30, "LA"), ("Alice", 35, "LA"), ("Bob", 20, "NYC")]
df = spark.createDataFrame(data, ["Name", "Age", "City"])
df.show()输出结果：
+-----+---+----+
| Name|Age|City|
+-----+---+----+
|Alice| 25| NYC|
| Bob| 30| LA|
|Alice| 35| LA|
| Bob| 20| NYC|
+-----+---+----+- 使用GroupBy和聚合函数对DataFrame进行分组和聚合操作：
result = df.groupBy("Name").agg({"Age": "avg"})
result.show()输出结果：
+-----+--------+
| Name|avg(Age)|
+-----+--------+
| Bob| 25.0|
|Alice| 30.0|
+-----+--------+- 使用
withColumn函数添加一个新的列，该列的值可以基于已有的列进行计算得出。例如，我们添加一个名为"City"的新列，该列的值为每个姓名分组中年龄最大的城市：
from pyspark.sql.functions import col, max
result_with_city = result.withColumn("City", col("Name"))
df_max_age = df.groupBy("Name").agg(max("Age").alias("max_age"))
result_with_city = result_with_city.join(df_max_age, "Name")
result_with_city.show()输出结果：
+-----+--------+----+
| Name|avg(Age)|City|
+-----+--------+----+
| Bob| 25.0| NYC|
|Alice| 30.0| NYC|
+-----+--------+----+在这个例子中，我们根据姓名对年龄进行了平均聚合，并将结果与原始DataFrame的最大年龄和城市信息进行关联。通过添加City列，我们将最大年龄对应的城市传递到了最终结果中。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云 PySpark 文档：https://cloud.tencent.com/document/product/849/39098
- 腾讯云大数据分析服务（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云云数据库 TencentDB：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
相关·内容
我有这样的数据：
+-----+--------+
|count| country|
+-----+--------+
| 12| Ireland|
| 5|Thailand|
+-----+--------+
当我添加sum()函数以获得第一列'count‘的总数时，我得到了以下错误：
AttributeError: 'DataFrame' object has no attribute 'sum'
我确实导入了from pyspark.sql.functions import sum
我该怎么算，或者我少了什么？
谢谢你，感谢你的帮助。
浏览 3提问于2017-05-29得票数 1
1回答
我们有一个1.5BM记录分散在几个csv文件。为了生成一个count聚合，我们需要对几个列进行分组。
我们目前的战略是：
将它们加载到数据文件中(使用Dask或pyspark)
聚合列，以便生成2列作为键:value(我们不确定这是否值得)
将文件保存为Parquet
读取Parquet文件(Dask或pyspark)，并在dataframe的索引上运行groupby。
对于Parquet文件上高效的groupby来说，最佳实践是什么？
在索引上而不是在列(或一组列)上执行groupby有多大益处？
我们知道有一个partition可以提供帮助--但在我们的例子中，我们
浏览 2提问于2017-07-09得票数 3
2回答
我遇到过这样的情况:我的列中可能有空值，需要在一个组中求和。 如果我在组中遇到null，我希望该组的和为null。但是默认情况下，Pyspark似乎会忽略null行，并对其余非NULL值求和。 例如： ? dataframe = dataframe.groupBy('dataframe.product', 'dataframe.price') \
.agg(f.sum('price')) 预期输出为： ? 但我得到的是： ? 任何建议都会有帮助！ 提前感谢！
浏览 87提问于2021-01-18得票数 1
回答已采纳
1回答
如何在不立即触发计算的情况下，高效地将列除以其在星火DataFrame中的自身和？
假设我们有一些数据：
import pyspark
from pyspark.sql import SparkSession, Window
import pyspark.sql.functions as spf
spark = SparkSession.builder.master('local').getOrCreate()
data = spark.range(0, 100)
data # --> DataFrame[id: bigint]
我想在这个数据框架上创建一个名为“规
浏览 0提问于2018-01-31得票数 2
回答已采纳
我必须对dataframe的"activity“列执行group和pivot操作，并用"quantity”列之和填充由pivot产生的新列。但是，其中一个活动列必须使用“成本”列的总和填充。
分组和支点之前的数据帧：
+----+-----------+-----------+-----------+-----------+
| id | quantity | cost | activity | category |
+----+-----------+-----------+-----------+-----------+
| 1 | 2
浏览 1提问于2022-08-01得票数 0
回答已采纳
我已经用group by和sum函数编写了pyspark代码。我感觉性能受到了group by的影响。取而代之的是，我想使用reducebykey。但我是这个领域的新手。请在下面找到我的场景，
步骤1:通过sqlcontext读取hive table join查询数据并存储在dataframe中
Step2:输入列总数为15列，其中5列为关键字段，其余为数值。
Step3:除了上面的输入列之外，还需要从数值列派生更多的列。具有默认值的几列。
第四步:我已经使用了group by和sum函数。如何用spark方式和map和reducebykey选项来做类似的逻辑。
from pyspark.sq
浏览 0提问于2017-09-21得票数 1
1回答
我想除以pyspark中两列的和。例如，我有如下所示的数据集：
A B C
1 1 2 3
2 1 2 3
3 1 2 3
我希望得到colA之和除以colB之和，如下所示：
6 (Sum of colB) / 3 (Sum of colA) = 2
我试过这样做：
sumofA = df.groupby().sum('A')
sumofB = df.groupby().sum('B')
Result = B / A
但是它会产生这样的错误：
TypeError: unsupported operand type(s
浏览 2提问于2020-03-27得票数 3
回答已采纳
我正试图在dataframe上运行聚合。然后，我要计算每一列的不同值。我生成一个用于聚合的字典，其内容如下：
from pyspark.sql.functions import countDistinct
expr = {x: "countDistinct" for x in df.columns if x is not 'id'}
df.groupBy("id").agg(expr).show()
我得到了错误：
AnalysisException:未定义函数：“可数点”。该函数既不是已注册的临时函数，也不是在数据库“默认”中注册的永久函数
浏览 7提问于2021-07-07得票数 2
回答已采纳
3回答
我真的不明白为什么在为“课程”创建一个带有groupby的Dataframe时，我会得到一个入口位置输出？
代码：
import pandas as pd
technologies = ({
'Courses':["Spark","PySpark","Hadoop","Python","Pandas","Hadoop","Spark","Python","NA"],
'Fee' :[22000,250
浏览 22提问于2022-10-22得票数 0
回答已采纳
3回答
我试图在我的dataframe中计算同一个数据包的出现次数，如果一个数据包具有以下匹配字段，则它是相同的：
['SourceIP', 'SourcePort', 'DestinationIP', 'DestinationPort', 'Protocol']
我想在我的dataframe中创建一个带有出现值的新列，并将该列命名为'PerSec‘。
我尝试实现这个问题的解决方案，在这里可以找到
然而，当我跑步时：
df['PerSec'] = df.groupby(['SourceIP&
浏览 1提问于2020-02-18得票数 1
回答已采纳
我必须在pyspark数据帧上进行2级分组。我的试探性的：
grouped_df=df.groupby(["A","B","C"])
grouped_df.groupby(["C"]).count()
但我得到以下错误：
'GroupedData' object has no attribute 'groupby'
我想我应该首先将分组的对象转换为pySpark DF。但我不能这么做。
有什么建议吗？
浏览 2提问于2017-10-18得票数 7
回答已采纳
2回答
我希望在一个列上分组一个dataframe，然后在所有列上应用一个聚合函数。
例如，我有一个带有10列的df。我希望对第一列"1“进行分组，然后对其余的所有列(都是数字列)应用一个聚合函数'sum‘。
它的R等价值是summarise_all。在R.
df = df%>%group_by(column_one)%>%summarise_all(funs(sum))
我不想手动在pyspark中的聚合命令中输入列，因为dataframe中的列数将是动态的。
浏览 1提问于2019-05-22得票数 4
回答已采纳
2回答
我有一个关于Pyspark中的udf的问题和一个具体的案例。我正在尝试创建一个简单的、可重用的函数来聚合不同级别和组上的值。输入应为： 现有数据帧 group by的变量(单列或列表) 要聚合的变量(同上) 要应用的函数(可以是一个特定的函数，也可以是它们的列表)。我保持简单的求和，平均，最小，最大值，等等。 当我有一个单独的函数或一个列表时，我让它可以工作，但是当涉及到聚合变量时，我被困在将它们的列表引入到函数中 def aggregate(dataframe,grouping,aggregation,functions):
**First part works ok on
浏览 60提问于2020-11-26得票数 0
回答已采纳
以下pyspark命令 df = dataFrame.groupBy("URL_short").count().select("URL_short", col("count").alias("NumOfReqs")) 创建了以下结果。 |URL_short |NumOfReqs|
+-----------------------------------------------------------------------------------------+---------+
|http1 | 500 |
|h
浏览 19提问于2018-12-18得票数 1
回答已采纳
我有一个包含3列的PySpark DataFrame：‘客户’，‘产品’，‘日期’。我想运行一个groupBy操作： df.groupBy("product", "date").agg(F.countDistinct("client")) 所以我想统计一下每天购买产品的客户数量。这会导致巨大的数据倾斜(实际上，它会因为内存而导致错误)。我一直在学习腌制技术。据我所知，它可以与'sum‘或'count’一起使用，向groupBy添加新列并执行第二次聚合，但由于countDistinct聚合方法，我不知道如何在这种情况下应用它们。
浏览 32提问于2020-07-10得票数 1
回答已采纳
1回答
我很难在火星雨上使用熊猫的UDF。你能帮我理解一下这是如何实现的吗？以下是我的尝试：
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf
from pyspark import pandas as ps
spark = SparkSession.builder.getOrCreate()
df = ps.DataFrame({'A': 'a a b'.split(),
'B&#
浏览 4提问于2021-10-27得票数 1
回答已采纳
1回答
我是PySpark的新手。我创建了spark dataframe，并且我有一个" countries“列，其中包含国家列表。如何通过存在于国家/地区列表中的单个国家/地区来groupBy我的数据帧 +-----------------+
| countries|
+-----------------+
| [Россия, Китай]|
| [Великобритания]|
| [Норвегия]|
| [Россия]|
| []|
| [США]|
| [Росси
浏览 4提问于2019-10-09得票数 0
我想在PySpark中进行分组，但是这个值可以出现在多个列中，所以如果它出现在所选列中的任何一列中，那么它将被分组。
例如，如果我将这个表放在Pyspark中：
我想总结一下每个身份证的访问和投资，结果是：
请注意，ID1是前三列中有ID1的行0、1、3的总和，ID1访问= 500 + 100 + 200 = 800。ID2是行1、2等的总和。
为了简单起见，我的例子是一个简单的dataframe，但在实际中是一个大得多的df，有很多行和变量，还有其他操作，而不仅仅是"sum“。这对熊猫来说是不可能的，因为它太大了。应该在PySpark
OBS2:我用熊猫打印了表格
浏览 4提问于2019-09-20得票数 1
回答已采纳
2回答
连接数组中的元素
、、、、
我有两个数据文件，其中我必须使用一个dataframe值来使用该值对第二个dataframe进行筛选。
例如，下面是数据集
import pyspark
from pyspark.sql import Row
cust = spark.createDataFrame([Row(city='hyd',cust_id=100),
Row(city='blr',cust_id=101),
Row(city='chen',cust_i
浏览 10提问于2022-04-19得票数 1
回答已采纳
1回答
我正在研究 stuck 方法，并坚持了如何实现以下结果。
星星之火sql (这很有效)
q = """
select breed,
avg(weight) as avg_wt,
avg(weight) filter (where age > 1) avg_wt_age_gt1
from cats
group by breed
order by breed
"""
spark.sql(q).show()
问:如何使用方法获得相同的结果？
我的尝试
(sdf.groupBy("breed").
浏览 2提问于2020-07-23得票数 0
回答已采纳
3回答
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
我需要通过Spark分组一个大型数据集，我将其加载为两列的Pandas数据框架，然后重新转换为Pandas:基本上是做Pandas -> 'pyspark.sql.group.GroupedData‘-> Pandas。两列中的元素都是整数，分组后的数据需要以列表的形式存储，如下所示：
df.a df.b
1 3
2 5
3 8
1 2
3 1
2 6
...
spark_df = spark.createDataFrame(df
浏览 1提问于2017-08-03得票数 1
Pyspark API提供了除median之外的许多聚合函数。Spark 2附带了approxQuantile，它给出了近似的分位数，但精确的中位数计算起来非常昂贵。对于Spark Dataframe中的一列值，是否有更多的Pyspark方法来计算中值？
浏览 3提问于2016-08-03得票数 3
回答已采纳
假设您使用一个精确的模式创建了一个火花DataFrame：
import pyspark.sql.functions as sf
from pyspark.sql.types import *
dfschema = StructType([
StructField("_1", ArrayType(IntegerType())),
StructField("_2", ArrayType(IntegerType())),
])
df = spark.createDataFrame([[[1, 2, 5], [13, 74, 1]],
浏览 11提问于2022-11-29得票数 0
回答已采纳
我正在尝试从pyspark中的dataframe中查找重复的列值。
例如，我有一个只有一个列'A‘的dataframe，值如下：
==
A
==
1
1
2
3
4
5
5
我期望如下所示的输出(只需要重复的值)
==
A
==
1
5
浏览 0提问于2019-08-27得票数 4
如何有效地在 DataFrame 中创建一个新列，该列是 spark 中其他行的函数
这是我描述的问题的spark实现
from nltk.metrics.distance import edit_distance as edit_dist
from pyspark.sql.functions import col, udf
from pyspark.sql.types import IntegerType
d = {
'id': [1, 2, 3, 4, 5, 6],
'word': ['cat', 'hat'
浏览 0提问于2018-01-09得票数 0
回答已采纳
1回答
我在Python中有一个函数，我想适应PySpark。我对PySpark还很陌生，所以找到一种方法来实现它--无论是使用自定义框架还是在PySpark中实现--都是一个挑战。
本质上，它对按数据帧分组的数据执行一系列numpy计算。我不完全确定在PySpark中做这件事的最好方法
Python代码：
data = [
[1, "a", 10, 23, 33],
[1, "b", 11, 25, 34],
[1, "c", 12, 35, 35],
[1, "d", 13, 40, 36],
浏览 1提问于2021-03-13得票数 0
请注意，只有在您已经通过运行以下命令安装spark时，您才可以在本地运行此命令。否则，在Databricks集群上复制该问题，该集群将自动初始化星体上下文。
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()
sc = spark.sparkContext
dataframe
spark_dataframe = pd.DataFrame(
{'id' : [
浏览 3提问于2020-07-01得票数 1
回答已采纳
1回答
PySpark Dataframe: adobeDF
向dataframe添加新列：
from pyspark.sql.window import Window
from pyspark.sql import functions as f
adobeDF_new = adobeDF.withColumn('start_date', f.col('Date')).withColumn('end_date', f.col('Date'))
结果：
我试图找出如何在start_date中保存min(Date)值和在e
浏览 0提问于2020-02-03得票数 0
回答已采纳
我的问题是关于与熊猫的groupby操作。我有以下DataFrame：
In [4]: df = pd.DataFrame({"A": range(4), "B": ["PO", "PO", "PA", "PA"], "C": ["Est", "Est", "West", "West"]})
In [5]: df
Out[5]:
A B C
0 0 PO Est
1 1 PO Est
浏览 3提问于2016-11-03得票数 22
回答已采纳
2回答
对于包含一系列json字符串的PySpark DataFrame中的行，我有一个困难的问题。
问题的核心是每一行可能包含与另一行不同的模式，所以当我想将上述行转换为PySpark中的可订阅数据类型时，我需要有一个“统一”模式。
例如，请考虑以下数据
import pandas as pd
json_1 = '{"a": 10, "b": 100}'
json_2 = '{"a": 20, "c": 2000}'
json_3 = '{"c": 300, "b"
浏览 1提问于2020-05-08得票数 5
回答已采纳
我正在加入多个数据格式，并通过从两个diff dataframe中乘两列并将其除以属于另一个dataframe的列来计算输出。我得到分组序列表达式是空错误，而no_order不是聚合函数。密码怎么了？
df = df1.join(df2,df2["code"] == df1["code"],how = 'left')\
.join(df3, df3["id"] == df1["id"],how = 'left')\
.join(df4, df4["id"] == df1["i
浏览 1提问于2020-05-24得票数 0
1回答
我有一个熊猫系列，有两个指数：
df_agg=df.groupby(['yearID','teamID']).sum()['Salary']
df_agg.head()
yearID teamID
1985 ATL 14807000
BAL 11560712
BOS 10897560
CAL 14427894
CHA 9846178
我想把int转换成一个熊猫数据框架，比如
yearID teamID
浏览 4提问于2018-01-16得票数 5
回答已采纳
我试图根据pyspark数据格式中的ID列对列进行分组，并根据另一列的值对列进行求和。
为了举例说明，请考虑以下虚拟数据格式：
+-----+-------+---------+
| ID| type| amount|
+-----+-------+---------+
| 1| a| 55|
| 2| b| 1455|
| 2| a| 20|
| 2| b| 100|
| 3| null| 230|
+-----+-------+---------+
我想
浏览 1提问于2019-06-13得票数 0
回答已采纳
我希望按一列分组，然后找到另一列的最大值。最后，显示基于此条件的所有列。然而，当我使用我的代码时，它只显示2列，而不是所有列。
# Normal way of creating dataframe in pyspark
sdataframe_temp = spark.createDataFrame([
(2,2,'0-2'),
(2,23,'22-24')],
['a', 'b', 'c']
)
sdataframe_temp2 = spark.createDataFrame([
浏览 0提问于2020-01-19得票数 0
回答已采纳
我正在尝试将一些代码从Pandas移植到考拉，以利用星火的分布式处理。我正在获取一个dataframe，并将其分组到A和B上，然后应用一系列函数来填充新的dataframe的列。下面是我在Pandas中使用的代码：
new = old.groupby(['A', 'B']) \
.apply(lambda x: pd.Series({
'v1': x['v1'].sum(),
'v2': x['v2'].sum(),
'v3': (x['v1
浏览 8提问于2020-07-06得票数 3
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？任何帮助都将不胜感激。
浏览 57提问于2021-06-18得票数 2
回答已采纳
1回答
Pandas聚合特定列
、、、
如何仅聚合pandas中的特定列？
import numpy as np
df = pd.DataFrame({'A': [1, 1, 2, 2],
'B': [1, 2, 3, 4],
'C': np.random.randn(4)})
df.groupby('A').agg(['max']) #works as expected, but gives values for col B & C
df.groupby('A&
浏览 0提问于2018-03-06得票数 0
1回答
我试图为每个val使用另一列ts对值id进行排序。
# imports
from pyspark.sql import functions as F
from pyspark.sql import SparkSession as ss
import pandas as pd
# create dummy data
pdf = pd.DataFrame( [['2',2,'cat'],['1',1,'dog'],['1',2,'cat'],['2',3,'cat'],
浏览 0提问于2018-05-14得票数 4
回答已采纳
1回答
正如你读完这个问题后会明白的，我是星火的新手。我正在尝试创建一个新的DataFrame，其中包含每个会话的操作列表，以便最终调用PySparks
为了澄清我想要的，我有：
+-----------+---------+
|sessionid |event_col|
+-----------+---------+
|0 | 1|
|1 | 2|
|1 | 3|
|2 | 1|
|0 | 3|
+-----------+--------
浏览 0提问于2018-03-16得票数 1
回答已采纳
1回答
多列上的多聚合
、、
我使用Python在Pyspark框架中。我试图使用groupby在不同的列上应用不同的聚合。
我有一个包含col1、col2、col3、col4列的df，我想做这样的事情：df.groupby("col1").sum("col2", "col3").avg("col4")
但是我发现了一个错误：
"/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/dataframe.py"，'DataFrame‘对象没有属性'avg’回溯(最近一次调用)：文件第1
浏览 4提问于2019-09-27得票数 0
回答已采纳
您好，我有以下DataFrame： # Import pandas library
import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
# initialize list of lists
data = [['tom', 10,1], ['nick', 15,0], ['tom', 14,1], ['jason', 15,0], ['nick', 18,1], ['jaso
浏览 7提问于2020-06-22得票数 0
回答已采纳
1回答
val trans = df.groupBy("userId").agg(collect_list("movieId") as "features")
如何也聚合dataFrame中的其他列？目前，它只聚合列MovieID。
浏览 0提问于2018-10-04得票数 0
1回答
我有以下数据
import pandas as pd
technologies = ({
'Courses':["Spark","PySpark","Hadoop","Python","Pandas","Hadoop","Spark","Python"],
'Fee' :[22000,25000,23000,24000,26000,25000,25000,22000],
'Duration':
浏览 5提问于2022-09-13得票数 1
回答已采纳
1回答
我正在尝试将hql脚本转换为pyspark。我正在努力在groupby子句之后的聚合中实现case when语句的总和。例如：
dataframe1 = dataframe0.groupby(col0).agg(
SUM(f.when((col1 == 'ABC' | col2 == 'XYZ'), 1).otherwise(0)))
在pyspark中是可能的吗？我在执行这样的语句时遇到错误。谢谢
浏览 0提问于2016-11-23得票数 1
回答已采纳
1回答
我有一个熊猫群的目标：
routeGroups = tracking.groupby(tracking.columns[0])
然后我应用一个过滤器：
filterFunc = lambda x: np.any(np.isfinite(x['LAT']))
results = routeGroups.filter(filterFunc)
results是一个dataframe，但是在dataframe中缺少了用于创建tracking.columns[0]组的列。
这种行为似乎是inconsistent..sometimes，它是缺失的，有时它不是。我不知道这是怎么回事，也不知道
浏览 3提问于2016-10-31得票数 2
回答已采纳
我有一个dataframe，我想按两列分组，然后按第三列进行排序，然后从每个组中选择第一行。这是我正在使用的代码
first= df.groupby(['EMPLID','EMPL_RCD']).apply(lambda x: x.sort_values(by = ['EFFDT','EFFSEQ'], ascending = True)).first()
但是我在运行它时会得到以下错误
first() missing 1 required positional argument: 'offset'
这里少了什么？
浏览 0提问于2018-07-19得票数 1
回答已采纳
1回答
环境: Spark 2.4.4 我正在尝试将以下代码从Scala Spark转换为PySpark： test.registerTempTable("test")
val df = sqlContext.sql("select cluster as _1, count(*) as _2 from test group by cluster, label order by cluster desc")
import org.apache.spark.sql.expressions.Window
val w = Window.partitionBy("
浏览 27提问于2019-12-29得票数 0
回答已采纳
给定以下DataFrame：
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").appName("test").getOrCreate()
df = spark.createDataFrame([['a',1],['b', 2],['a', 3]], ['category', 'value'])
df.
浏览 2提问于2018-09-10得票数 7
回答已采纳
我有一个按一列分组的pyspark dataframe，然后我想对不同的列应用几个不同的聚合函数，包括一些自定义函数。所以基本上我想做的是这样的(我知道语法都是错的，这只是我想做的一个例子)：
fraction = UserDefinedFunction(lambda x: sum(x)*100/count(col4),DoubleType())
exprs = {x: "sum" for x in [col1,col2,col3]; x: "avg" for x in [col1,col3]; x: "fraction" for x in [
浏览 0提问于2017-11-04得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
