Pyspark -当列包含特定字符串时如何对列求和
Pyspark是一种基于Python的开源分布式计算框架，用于处理大规模数据集。它结合了Python的简洁和易用性以及Apache Spark的高性能和可扩展性，可以在分布式环境中进行数据处理和分析。
对于列包含特定字符串时如何对列求和的问题，可以通过以下步骤来实现：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import sum, when- 创建SparkSession对象：
spark = SparkSession.builder.appName("StringSum").getOrCreate()- 读取数据集并创建DataFrame：
data = [("apple", 10), ("banana", 20), ("orange", 30), ("apple", 5), ("banana", 15)]
df = spark.createDataFrame(data, ["fruit", "quantity"])- 使用
when函数和sum函数对列进行条件求和：
target_string = "apple"
sum_column = "quantity"
result = df.select(sum(when(df.fruit == target_string, df.quantity)).alias("sum_of_quantity"))在上述代码中，when函数用于判断fruit列是否等于目标字符串apple，如果是，则返回quantity列的值，否则返回0。sum函数用于对满足条件的值进行求和。最后，使用select函数选择求和结果，并将其命名为sum_of_quantity。
- 打印求和结果：
result.show()完整的代码示例如下：
from pyspark.sql import SparkSession
from pyspark.sql.functions import sum, when
spark = SparkSession.builder.appName("StringSum").getOrCreate()
data = [("apple", 10), ("banana", 20), ("orange", 30), ("apple", 5), ("banana", 15)]
df = spark.createDataFrame(data, ["fruit", "quantity"])
target_string = "apple"
sum_column = "quantity"
result = df.select(sum(when(df.fruit == target_string, df.quantity)).alias("sum_of_quantity"))
result.show()对于Pyspark的更多详细信息和使用方法，您可以参考腾讯云的相关产品和文档：
请注意，以上答案仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
1回答
我已经创建了一个UDF，用于获取XML字符串、命名空间字典、x路径语法和XML中键值对的键，并返回一个值数组，以便稍后使用withColumn(col,explode(col))爆炸。
现在，我正试图使用Pyspark在Databricks中包含XML字符串的列在dataframe上迭代此函数，并使用返回的数组创建一个新列。
到目前为止，我已经使用作为我最初方法的想法，并在将整个行传递给withColumn时阅读了。
我想我的问题要么是:如何将列传递给函数，要么是函数有多少参数。
我的职能：
from pyspark.sql.functions import udf, struct
from
浏览 6提问于2020-04-10得票数 0
2回答
我有一个具有如下标题的数据集：
|State|2020-01-22|2020-01-23|2020-01-24|2020-01-25|2020-01-26|2020-01-27|2020-01-28|
我正在尝试基于groupBy列和每一列的行值之和(列数保持不变)进行groupBy。但当我用：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
df = df.groupBy('State').agg(F.sum())
但是我得到了错误：sum() missing 1 required
浏览 3提问于2022-04-19得票数 0
我将一个df从pyspark导出到BigQuery。df包含包含数组元素的列，如何将数组转换为连接字符串？每当我尝试查询导出的BigQuery表的数组列时，都会得到以下错误。
Error: Cannot access field element on a value with type ARRAY<STRUCT<element STRING>>
下面是导出到BigQuery的pyspark中的df：
+-----------+----------+-------------------+------------------+
| antecedent|conseque
浏览 48提问于2020-06-03得票数 2
我的pyspark中有几个array类型列和DenseVector类型列。我想要创建这些列的元素级添加的新列。下面是总结问题的代码：
设置：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.ml.functions import vector_to_array
from pyspark.ml.linalg import VectorUDT, DenseVector
from pyspark.sql.functions import udf, array, lit
s
浏览 22提问于2021-12-29得票数 1
回答已采纳
我正试图解析一个PySpark列，其中包含一个"=“号。我为此目的创建的两个函数分别工作：
DF=DF.withColumn("findEqual",instr(columnName,"="))
同时，当我创建子字符串列时
DF=DF.withColumn("parsedString",substring(columnName,2,18))
但是，当我将这两种功能结合起来时：
DF=DF.withColumn("parsedString",2,instr(columnName,"="))
我收到一个错误：T
浏览 4提问于2017-08-11得票数 0
我有一个谷歌电子表格文档的列，其中包含字符串数据，其中包括数字和文本。例如：
$39,90 + Tax
$69,90 + Tax
$20 / month
我想对所有这些值进行求和，但是使用SUM()并不有效，因为每个字段中都包含了文本。我尝试创建一个新列，并提出一个公式将这些字段转换为：
39.90
69.90
20.00
但无论我尝试什么，我总是得到#VALUE!或#ERROR!。那我该怎么做？(直接和原始字符串中包含的所有数字相加，或者创建一个新列，其中仅包含来自另一列的数字)。
浏览 0提问于2020-04-01得票数 0
回答已采纳
1回答
我有一个Python包，其中有一个模块，其中包含要在PySpark设置中使用的UDF。在运行单元测试时，我已经想出了一种初始化和关闭Spark会话的方法，但是我在创建文档时遇到了问题。我使用的是，所以我只需运行make clean docs并遇到以下错误：
File "/usr/local/lib/python3.9/site-packages/pyspark/sql/pandas/functions.py", line 432, in _create_pandas_udf
return _create_udf(f, returnType, evalType)
浏览 8提问于2022-03-31得票数 1
回答已采纳
我想判断每一行是否包含一些特定的单词，如价格，键，面积，所以一行包含其中一个单词，on.If列starnum将是1。如果一行包含其中两个单词，则starnum列将是2。我尝试了下面的代码，但得到结果的速度非常慢。数据超过9万行。那么我该如何改进我的代码呢？ import pandas as pd
import numpy as np
io=r'D:/test.xlsx'
data1=pd.read_excel(io,sheet_name=0)
data1['starnum']=0
l=len(data1)
print (l)
if data1['
浏览 45提问于2020-10-26得票数 0
我有一个很大的pyspark.sql.dataframe.DataFrame，我想保留(所以filter)保存在location列中的所有行，其中的URL包含预先确定的字符串，例如'google.com‘。
我试过了：
import pyspark.sql.functions as sf
df.filter(sf.col('location').contains('google.com')).show(5)
但是这抛出了一个
TypeError: _TypeError: 'Column' object is not callable
浏览 2提问于2017-01-27得票数 66
回答已采纳
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。 我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
我有一个名为'new_emp_final_1‘的数据帧。当我试图从cookTime和prepTime中派生出一个列‘难度’时，通过从一个自定义函数调用难度函数，它给了我错误。
new_emp_final_1.dtypes如下所示-
[('name', 'string'), ('ingredients', 'string'), ('url', 'string'), ('image', 'string'), ('cookTime', 'st
浏览 0提问于2019-01-24得票数 3
回答已采纳
首先，希望我的问题格式正确。
我有这个数据框架：
df = sc.parallelize([
('1112', 1, 0, 1, '2018-05-01'),
('1111', 1, 1, 1, '2018-05-01'),
('1111', 1, 3, 2, '2018-05-04'),
('1111', 1, 1, 2, '2018-05-05'),
('1111', 1, 1, 2, '2018-05-06'),
]).toDF(
浏览 1提问于2018-10-23得票数 1
1回答
我有一个pyspark脚本，它读取mysql数据，其中包含数据帧中的列值，并以aws s3格式存储数据，但是在使用aws雅典娜查询时，它显示的是一些随机文本，而不是阿拉伯文。我做错了什么。请帮忙解决这件事。文本im获取是圣保罗±圣保罗.，如何将其转换为阿拉伯语。
当我使用pyspark从mysql读取数据时，我得到的数据格式是：“am‘§”，Šc.’。
提前谢谢。
浏览 1提问于2018-12-05得票数 1
回答已采纳
5回答
星火中的多列求和
、、
如何将星火中的多列和起来？例如，在SparkR中，下面的代码可以得到一个列的和，但是如果我试图在df中得到两个列的和，就会得到一个错误。
# Create SparkDataFrame
df <- createDataFrame(faithful)
# Use agg to sum total waiting times
head(agg(df, totalWaiting = sum(df$waiting)))
##This works
# Use agg to sum total of waiting and eruptions
head(agg(df, total = sum(d
浏览 4提问于2017-06-12得票数 12
回答已采纳
1回答
如何计算每个PySpark Dataframe's行中0s的出现次数？ 我想要这个结果，请注意，n0列包含逐行计数： +--------+-----+-----+----+-----+---+
|center |var1 |var2 |var3|var4 |n0 |
+--------+-----+-----+----+-----+---+
|center_a|0 |1 |0 |0 |3 |
|center_b|1 |1 |2 |4 |0 |
|center_c|1 |0 |1 |0 |2 |
+-------
浏览 17提问于2020-11-15得票数 0
回答已采纳
我正在尝试将我的excel文件导入Azure-DataBricks机器中的PySpark，我必须将其移动到PySpark Dataframe。我无法执行此操作。获取错误
import pandas
data = pandas.read_excel('/dbfs/FileStore/tables/Time_Payments.xlsx')
df_data = sqlContext.createDataFrame(data)
执行上述操作时，出现以下错误。
Error : field Additional Information: Can not merge type <cla
浏览 2提问于2018-09-18得票数 0
2回答
要Py的SQL查询(Spark)
、、、、
我有以下SQL查询，我想将其转换为pyspark。我想使用两个列pp和gender，并在pyspark中执行以下操作 %sql
SELECT pp
, SUM(CASE WHEN Gender = 'M'
THEN 1.0 ELSE 0.0 END) /
COUNT(1) AS gender_score
, count(1) AS total
FROM df
WHERE gender in ('M', 'F')
GROUP BY pp
HAVING
浏览 12提问于2020-12-16得票数 0
嗨，我在Databricks中使用了3.0.1中的火花。我的pyspark df包含一个列年份，其值类似于2012，另一个列季度的编号为1,2,3和4。我想加入year_qtr并创建另一列2012 Quarter-1 &它应该包含类似于下面代码的2012 Quarter-1值
import pyspark.sql.functions as f
col_list = ['Year'," Quarter-",'Quarter']
df.withColumn("year_qtr", f.format_string('Ye
浏览 2提问于2021-01-27得票数 0
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
我有一个字典的RDD，我想得到一个只包含不同元素的RDD。但是，当我试图打电话给
rdd.distinct()
PySpark给出了以下错误
TypeError: unhashable type: 'dict'
at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166)
at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207)
at org.ap
浏览 5提问于2016-02-19得票数 2
回答已采纳
1回答
左反团员
、、、
我有一个dataframe，它有两个列a和b，其中b列中的值是a列中值的a子集。例如：
df
+---+---+
| a| b|
+---+---+
| 1| 2|
| 1| 3|
| 2| 1|
| 3| 2|
+---+---+
我想生成一个包含a和anti_b列的数据格式，其中anti_b列中的值是来自a列的任何值，这样a!=anti_b和行(a,anti_b)就不会出现在原始的数据格式中。因此，在上面的数据中，结果应该是：
anti df
+---+------+
| a|anti_b|
+---+------+
| 3| 1|
| 2| 3|
浏览 2提问于2019-11-18得票数 0
我有一个3列的星火数据。
如何使用PySpark将第2和第3列“连接”到包含列表的单个列中？
如果帮助，列1是唯一的键，没有重复。
初步数据：
| Col1 | Col2 | Col3 |
------------------------
| 11 | 'a' | 13 |
| 21 | 'b' | 23 |
由此产生的数据文件：
| Col1 | NewCol2 |
--------------------
| 11 | ['a', 13] |
| 21 | ['b', 23] |
我
浏览 7提问于2022-08-19得票数 0
回答已采纳
给出一个具有非空uuid列和可空uuid列的表设计，如何使用Python3.7.9与Pysmack2.4.3数据table和PostgreSQL42.2.18.jar驱动程序进行插入？
table_df = spark.read.format('jdbc) \
.option('driver', 'org.postgresql.Driver') \
.option('dbtable', 'example_table') \
浏览 9提问于2020-11-03得票数 4
我希望从字母数字字符串列中提取数字数字到另一列，该列将只包含数字，而不包含使用pyspark的字母表。
浏览 0提问于2021-08-18得票数 0
pyspark是否支持窗口函数(例如first, last, lag, lead)？
例如，如何按一列分组并按另一列排序，然后按SparkSQL或数据框选择每个组的第一行(这就像窗口函数一样)？
我发现pyspark.sql.functions类包含聚合函数first和last，但它们不能用于groupBy类。
浏览 2提问于2015-03-24得票数 3
1回答
火花放电柱上循环的优化
、、、、
我不知道我的头衔是不是很清楚。我有一张列很多的桌子(一百多列)。我的一些列包含带括号的值，我需要将它们分解成几行。下面是一个可重复的例子：
# Import libraries
from pyspark.sql.functions import *
from pyspark.sql.types import *
from pyspark.sql import *
import pandas as ps
# Create an example
columns = ["Name", "Age", "Activity", "Studies&#
浏览 5提问于2022-06-15得票数 1
回答已采纳
1回答
按字段将两个结构相加
、、、
我有一个DataFrame模式，如下(在PySpark中)：
root
|-- ID: string (nullable = true)
|-- 2022: struct (nullable = true)
| |-- val_1: int (nullable = true)
| |-- val_2: double (nullable = true)
| |-- val_3: double (nullable = true)
|-- 2021: struct (nullable = true)
| |-- val_1: int (nullable = tr
浏览 5提问于2022-02-24得票数 0
回答已采纳
2回答
添加带有随机数据的新列
、、、
我想要在dataframe中添加一个包含0或1的值的新列。
from random import randint
df1 = df.withColumn('isVal',randint(0,1))
但我得到了以下错误
/ withColumn /python/pyspark/sql/dataframe.py“，第1313行，在withColumn AssertionError( col，列)中，”col应该是列“AssertionError: col应该是列
如何使用自定义函数或随机函数生成列的随机值？
浏览 4提问于2017-01-04得票数 13
回答已采纳
1回答
因此，基本上我有一个单独的csv文件，其中填充了不同的列，重点是冰淇淋配料和特定的尺寸/尺寸。在我的名为convert.c的程序中，我尝试编写一个程序，它从csv文件中读取数据，并将数据写入一个名为toppings.bin的新文件中。csv文件中的一列包含不同冰淇淋样品(etc 12.3)的重量。我要做的就是接受这个测量值，并将这个数据以浮点数的形式写入toppings.bin文件。当我尝试更改代码中的数据类型并运行它时，toppings.bin文件中的权重都变成了0.00000，而不是csv文件中的指定值。任何关于如何解决这个问题的帮助都将不胜感激。 权重列表示为字段3。 convert.
浏览 27提问于2019-12-06得票数 0
回答已采纳
举个例子，我有一个df
from pyspark.sql import Row
row = Row("v", "x", "y", "z")
df = sc.parallelize([
row("p", 1, 2, 3.0), row("NULL", 3, "NULL", 5.0),
row("NA", None, 6, 7.0), row(float("Nan"), 8, "NULL", float("NaN&
浏览 9提问于2017-12-06得票数 0
回答已采纳
我有一个csv文件，如下所示(它是从pyspark输出中保存的) name_value
"[quality1 -> good, quality2 -> OK, quality3 -> bad]"
"[quality1 -> good, quality2 -> excellent]" 如何使用pyspark读取此csv文件并将name_value列转换为映射类型？
浏览 42提问于2021-10-04得票数 0
回答已采纳
我有两个列的数据，名字，年龄。我想添加新列name_length，它包含str.count(name)值。
代码：
from pyspark.sql.functions import UserDefinedFunction
from pyspark.sql.types import DoubleType
udf = UserDefinedFunction(lambda x: str.count(x.alias(name)), DoubleType())
df_with_new_column = nonull_df.withColumn('name_length', udf()
浏览 4提问于2016-04-13得票数 1
回答已采纳
我的数据看起来就像
|ID|Notes|
---------------
|1|'{"Country":"USA","Count":"1000"}'|
|2|{"Country":"USA","Count":"1000"}|
ID : int
Notes : string
当我使用from_json解析列Notes时，它会给出所有的Null值。我需要帮助将本列Notes解析为pyspark中的列
浏览 7提问于2022-05-20得票数 2
我是Pandas和python的新手，我有一个CSV文件，其中包含一个持续时间列(时间)，当我读取该文件时，它作为一个字符串是只读的，我无法对其求和：
agents['Avg Handle Time'][1:10]
Out[12]:
1 -
2 0:05:07
3 -
4 -
5 -
6 0:05:03
7 -
8 -
9 -
Name: Avg Handle Time, dtype: object
浏览 11提问于2019-11-28得票数 1
1回答
我目前正在尝试对服务列进行一些聚合。我想将所有相似的服务分组并求和，如果可能的话，将其展平到一行中。
输入：
+------------------+--------------------+
| cid | Services|
+------------------+--------------------+
|845124826013182686| [112931, serv1]|
|845124826013182686| [146936, serv1]|
|845124826013182686| [32718, s
浏览 23提问于2018-06-15得票数 0
回答已采纳
在pyspark中创建示例数据
from pyspark.sql.types import *
from pyspark.sql.types import StructField
from pyspark.sql import types
testdata = [("aaaa",1,50.0,"05-APR-2020"),
("bbbb",2,100.0,"06-APR-2020")]
dataschema = types.StructType([
typ
浏览 1提问于2020-05-04得票数 0
回答已采纳
我有一个包含两列的数据帧，其中包含数字，我需要按行而不是按列对数据帧进行排序。到处都给出了如何按列对dataframe进行排序，但我找不到如何在pyspark中对dataframe的所有行进行排序。
col1 col2
2 1
3 2
预期输出
col1 col2
1 2
2 3
浏览 0提问于2017-11-14得票数 1
当我为木星笔记本安装PySpark时，我使用以下cmd：
jupyter toree install --kernel_name=tanveer --interpreters=PySpark --python="/usr/lib/python3.6"
但是，我知道
[ToreeInstall] ERROR | Unknown interpreter PySpark. Skipping installation of PySpark interpreter
所以我不知道有什么问题。我已经成功地设置了Toree的Scala和SQL。认为
浏览 0提问于2019-03-15得票数 9
2回答
使用read_csv()函数，我读取了一个iso-8859-1文件，如下所示：
df = pd.read_csv('path/file', \
sep = '|',names =['A','B'], encoding='iso-8859-1')
然后，我想使用MLLib的word2vect。但是，它只接受作为参数RDDs。所以我试着把熊猫的数据转换成一个RDD，如下所示：
from pyspark.sql import SQLContext
spDF = sqlContext.
浏览 4提问于2016-03-17得票数 1
回答已采纳
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。
让我给出以下可重复的示例，为此我需要创建一个数据集：
# Dataframe Creation
df = spark.createDataFrame([(1,"arun","engineering",20000),\
(2,"manoj","finance",25000),\
浏览 12提问于2022-06-07得票数 0
我有一个包含两列的pyspark dataframe，ID和Elements。"Elements“列中有list元素。它看起来像这样，
ID | Elements
_______________________________________
X |[Element5, Element1, Element5]
Y |[Element Unknown, Element Unknown, Element_Z]
我想用‘element’列中最频繁的元素组成一个列。输出应如下所示：
ID | Elements
浏览 6提问于2021-10-07得票数 1
我有一个这样的数据集： RowGrp1 RowGrp2 Col Value
---------------------------------------
1 1 A 1
1 2 B 2
2 1 A 3
2 2 B 4 在设计SSRS矩阵时，我将RowGrp1和RowGrp2设置为行组，将Col设置为列组。在数据区中，我编写了一个表达式，将行组1中的SUM(value)计算为=Sum(Fields!Value.v
浏览 24提问于2019-06-26得票数 0
我想问一下如何在一列中求和。假设我有两列Date和Amount，需要对日期不为空的行求和。
我使用的是苹果公司(iWork)的数据。我本可以想出一个变通的办法。创建另一个列temp=ISBLANK(Date)并使用SUMIF(temp，TRUE，Amount)。但在我看来它相当丑陋。我想要像SUMIF(ISBLANK(Date)，TRUE，Amount)这样的东西，它不能工作。
感谢您的回复。
浏览 3提问于2015-02-24得票数 1
在看过之后，我尝试使用下面的代码，但我知道答案中的createDataFrame与spark.read.json不同，不能以相同的方式使用。
import findspark
findspark.init('/home/myuser/softwareInstallations/spark-3.1.1-bin-hadoop2.7')
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StructType, IntegerType, Stri
浏览 2提问于2021-04-01得票数 0
如何使用pyspark根据输入参数更改列数据类型 from pyspark.sql.types import IntegerType,BooleanType,DateType
from pyspark.sql.functions import col
Column_Name="EFFECTIVE_DATE"
df=spark.sql(f"select * from TableA")
df.withColumn({Column_Name},col({Column_Name}).cast(DateType())
浏览 11提问于2021-11-10得票数 1
首先复制/粘贴并运行下面的代码，然后阅读以下内容： 我正在试图找出一种方法来制作一个新的列(即df['F'])，如果BHD在同一行5次中出现3次或更多，则返回BHD，并且对于SHD也需要在与BHD相同的列上返回(所有结果都应该在1列上) 我已经添加了F栏作为我需要的答案的模板 import pandas as pd
df = pd.DataFrame()
df['A'] = ('S', 'SCL', 'SHD', 'SHD', 'SL', 'S', 'S
浏览 17提问于2019-09-28得票数 1
回答已采纳
2回答
问题：在调用User Defined Function (UDF)时，我似乎没有在下面的代码中做一些正确的事情。为什么输出不是“这是一个测试”？
备注：我使用的是python notebook in Azure数据库。
笔记本cell1
def TestFunction(myVal):
return "this is a " + myVal
笔记本cell2
from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType,DateType,StringType
new_nam
浏览 13提问于2022-07-14得票数 0
1回答
我有一个包含两列(id，name)的数据框。名称列具有相关的名称。例如，术语，相关术语，相关行，行。
我想在不同的行中找到相似的名字。我已经尝试了余弦相似度，但无法实现这一点。
我已经使用pyspark计算了TF-IDF。寻找使用pyspark在不同行中获取相关名称的方法。
浏览 11提问于2018-02-23得票数 0
1回答
我有一个pyspark dataframe，它有一个列，其中包含如下列表： | value |
|:---- |
| ["1", "23", "18", "9"] |
| ["62", "47", "6"] |
|["34", "61", "5"]. | 有没有一种方法可以用pyspark计算总体的平均值？因此，我希望具有以下值: 2
浏览 90提问于2020-12-19得票数 1
回答已采纳
我在测试文件夹中有多个测试文件。这个结构类似于这样的东西：
/test
----test_abc.py
----test_bcd.py
----test_cde.py
----conftest.py
conftest.py包含运行单元测试所必需的所有星火上下文初始化。我的问题是，我希望有一个test.py文件，它在内部触发所有的test_abc.py、test_bcd.py和test_cde.py。当我们处理python的utit_test模块时，它变得非常容易，但我不知道如何通过pytest模块来获得它。如果需要对这个问题作进一步的澄清，请告诉我。
conftest.py看起来如下所示：
i
浏览 2提问于2018-12-10得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
