如何从pySpark中的变量中选择数据框中的列
在pySpark中，可以使用select()方法从数据框中选择特定的列。select()方法接受一个或多个列名作为参数，并返回一个新的数据框，其中只包含选定的列。
以下是从pySpark中的变量中选择数据框中的列的步骤：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 定义数据框：
data = [("Alice", 25, "Female"), ("Bob", 30, "Male"), ("Charlie", 35, "Male")]
df = spark.createDataFrame(data, ["Name", "Age", "Gender"])- 选择特定的列：
selected_columns = ["Name", "Age"]
selected_df = df.select(*selected_columns)在上述代码中，我们定义了一个包含姓名、年龄和性别的数据框。然后，我们使用select()方法选择了"Name"和"Age"这两列，并将结果存储在selected_df变量中。*selected_columns用于将列名作为参数传递给select()方法。
选择列后，你可以对selected_df执行其他操作，如应用过滤器、聚合函数等。
腾讯云相关产品和产品介绍链接地址：
相关·内容
我在python中有一个pySpark数据帧- from pyspark.sql.functions import col
dataset = sqlContext.range(0, 100).select((col("id") % 3).alias("key")) 列名是key，我想使用变量选择此列。 myvar = "key" 现在，我希望在select语句中使用myvar变量来选择此列 我试过了 dataset.createOrReplaceTempView("dataset")
spark.sql(" selec
浏览 12提问于2019-09-13得票数 5
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。 然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是数组类型的剩余列。 dfstring = df.select([(F.col(c).cast('String')).alias(c) for c in df.columns if dict(df.dtypes)[c] == 'array<string>&#
浏览 20提问于2021-04-11得票数 0
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：
I: type(TopicModelVectorSplit)
O: pyspark.sql.dataframe.DataFrame
当我使用以下命令分割字符串时：
TopicModelVectorSplit = TopicModelVector.select('TopicModelVector').map(lambda line: line.text.split())
它会转换成流水线的RDD，而这些是不可能使用的。
I: type(TopicModelVectorSplit)
O: p
浏览 0提问于2016-06-22得票数 0
我有一个pyspark格式的dataframe，大约有150列。这些列是从连接不同的表中获得的。现在，我的要求是以特定的顺序将数据帧写入文件，例如，首先写入1到50列，然后是第90到110列，最后是第70和72列。也就是说，我只想选择特定的列，并重新排列它们。
我知道其中一种方法是使用df.select(“给出你的列顺序”)，但在我的例子中，列非常大，不可能在“select”中写出每一个列的名称。
请告诉我如何在pyspark中实现这一点。
注意-我无法提供任何样本数据，因为列的数量非常大，并且在我的情况下，列号是主要的道路拦路器。
浏览 1提问于2017-07-14得票数 0
回答已采纳
我有一个混合类型的数据帧。我正在使用spark.sql('select a,b,c from table')命令从hive表中读取此数据帧。 一些列是int、bigint、double，而其他列是string。总共有32列。在pyspark中有什么方法可以将数据框中的所有列转换为字符串类型吗？
浏览 149提问于2017-02-07得票数 12
回答已采纳
如何在不使用pyspark重命名列的情况下，从单行数据框列中计算同一列的平均值、最大值、最小值 我使用了下面的命令，但它抛出了一个错误 df5=df5.agg(avg(col("Salaray")),min(col("Salaray")),max(col("Salaray")))
浏览 22提问于2021-10-29得票数 0
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
我有一个python/pyspark格式的数据框，其中包含列id、time、city、zip等......
现在，我向该数据框添加了一个新的列name。
现在，我必须以这样的方式排列列：name列在id之后
我已经做了如下工作
change_cols = ['id', 'name']
cols = ([col for col in change_cols if col in df]
+ [col for col in df if col not in change_cols])
df = df[cols]
我得到了这个错误
pyspark.
浏览 0提问于2017-03-21得票数 46
回答已采纳
我有一个pyspark数据帧，如下图所示：
例如，我有四列:年份、单词、计数、频率。这一年是从2000年到2015年。
我可以对(pyspark) dataframe进行一些操作，这样我就可以得到如下图所示的结果：
新的数据框列应该是: word、frequency_2000、frequency_2001、frequency_2002、...、frequency_2015。
每一年中每个单词的频率来自于先前的数据帧。
有什么建议可以让我写出高效的代码？
另外，如果你能提供更多的信息，请重新命名标题。
浏览 35提问于2018-12-11得票数 3
1回答
我正在使用Pyspark版本1.6处理Pyspark数据帧。在将此数据框导出到.CSV文件之前，我需要根据特定条件对特定列使用LIKE和OR运算符过滤数据。为了向您介绍我到目前为止所做的工作，我从多个.JSON文件创建了初始数据帧。此数据框已子集，因此仅包含所需的列。然后创建了一个sqlContext临时表。到目前为止，我已经尝试了两种不同的方法，使用sqlContext和使用Pyspark方法。
sqlContext方法：
df_filtered = sqlContext.sql("SELECT * from df WHERE text LIKE '#abc' OR
浏览 0提问于2017-07-27得票数 0
回答已采纳
我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。
我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。我试过下面的代码
w = Window.orderBy(df.BALANCE)
test = df.withColumn('percentile_col',F.percent_rank().over(w))
我希望得到一个新的列，它可以自动计算平衡列中每个数据点的百分位数，并忽略缺少的值。
浏览 14提问于2019-07-11得票数 0
我已经使用以下代码创建了数据框： import pyspark
from pyspark.sql import functions as F
sc = pyspark.SparkContext()
spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A', 'C', 1)]
columns = ['Column1', 'Col
浏览 12提问于2020-06-15得票数 0
1回答
在Postgres中，我有一个名为"mytable“的表，其中有两个列，id (bigint)和value (varchar(255))。
id使用nextval('my_sequence')从序列中获取其值。
PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。我使用以下方法创建id列：
df.withColumn('id', lit("nextval('my_sequence')"))
Postgres将该列解释
浏览 0提问于2018-01-21得票数 2
回答已采纳
我来自熊猫的背景，在一个简单的操作上，我正在与Spark 2.0.2 (PySpark)作斗争。如何向现有数据框添加新列，该数据框包含现有列的前两个字符。理想情况下，我想要的本质是
df.withColumn("new_column", col('FirstName')[:2])
这显然是Spark 2.0.2无法理解的。
数据源
df = sqlContext.createDataFrame([("Ranjeet", 4, "California", 2), ("Anthony", 5, "Hawaii&
浏览 3提问于2016-11-20得票数 0
我需要在pyspark中的数据框中添加一些列(4000)。我正在使用withColumn函数，但得到了断言错误。 df3 = df2.withColumn("['ftr' + str(i) for i in range(0, 4000)]", [expr('ftr[' + str(x) + ']') for x in range(0, 4000)]) ? 不确定出了什么问题。
浏览 79提问于2020-11-01得票数 3
回答已采纳
如何在Pyspark中更改嵌套列的数据类型？例如，如何将value的数据类型从string更改为int？
参考：
{
"x": "12",
"y": {
"p": {
"name": "abc",
"value": "10"
},
"q": {
"name": "pqr",
浏览 19提问于2017-08-23得票数 1
回答已采纳
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。
customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))
customerDf.show() # it's showing existing old df records without new columns.
如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果
test = customerDf.withColumn("fullname",expr("
浏览 4提问于2021-01-26得票数 0
我有一个JSON文件，我想做一些ETL任务。我想提取一列，并将其值作为新行附加到数据框中。例如，如果我有一个这样的数据框： -----------------------------------------------------------------
|name | last | father |
-----------------------------------------------------------------
| daniel | allardice | {'name'
浏览 18提问于2019-12-29得票数 0
回答已采纳
我有一个有7列的pyspark数据框，我必须添加一个名为" sum“的新列，并计算在sum列中包含数据(非null)的列的数量。Example a data frame in which yellow highlighted part is required answer
浏览 8提问于2020-01-19得票数 1
回答已采纳
我正在尝试使用withColumn方法在我现有的Pyspark Dataframe中添加一列。我想在此column.From中插入当前日期我的源中我没有任何日期列，因此我在我的数据框中添加此当前日期列，并将此数据框保存在我的表中，以便以后用于跟踪目的。我正在使用下面的代码 df2=df.withColumn("Curr_date",datetime.now().strftime('%Y-%m-%d')) 这里的df是我现有的Dataframe，我想用Curr_date列将df2保存为表。但这里需要的是现有的列或lit方法，而不是datetime.now
浏览 78提问于2020-09-09得票数 2
回答已采纳
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。 我正在使用来自pyspark.ml.feature的HashingTF。但是似乎找不到一种有效的方法来从输出中提取这些信息。 # As an example create a Pandas-df
import pandas as pd
pandas_df = pd.DataFrame({"text": ["The cat jumped over the lazy do
浏览 25提问于2021-08-31得票数 0
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
from pyspark.sql import Row
numbers=[1,2,30,4]
rdd1 = sc.parallelize(li)
row_rdd = rdd1.map(lambda x: Row(x))
test_df = sqlContext.createDataFrame(row_rdd,['numbers'])
------------------------------------
浏览 0提问于2020-10-05得票数 1
1回答
我有pyspark数据集，我想按照datetime列将其划分为列车和测试数据集，其中，训练数据集的日期时间应该小于日期时间列的中位数，而测试数据集应该有其余的数据集。
我尝试按datetime列对dataset进行排序，并选择上半部分。但是这只解决了火车部件的问题，我不知道如何从PySpark中的初始数据集中“减除”训练数据集。
train = data.orderBy('datetime').limit(data.count() // 2)
# test = ?
如果PySpark与Pandas ()函数有某种相似之处，那就太好了，但它没有。
浏览 0提问于2019-08-21得票数 0
回答已采纳
我有一个hive表，它是按插入时间列分区的。
我有一个pyspark dataframe，除了已分区的列之外，它与表具有相同的列。
当表未分区时，以下操作效果很好：
df.insertInto('tablename',overwrite=True)
但是我不知道如何从pyspark插入到一个特定的分区。
下面尝试过：
df.insertInto('tablename',overwrite=True,partition(inserttime='20170818-0831'))
但它不起作用，失败的原因是
SyntaxError: non-keyw
浏览 0提问于2017-09-16得票数 1
我正在尝试找出spark数据框中的列是什么数据类型，并基于该定义操作列。
这是我到目前为止所知道的：
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('MyApp').getOrCreate()
df = spark.read.csv('Path To csv File',inferSchema=True,header=True)
for x in df.columns:
if type(x) == 'integer
浏览 8提问于2018-04-12得票数 1
我有一个pyspark数据帧，它的模式如下所示。
root
|-- useragent: string (nullable = true)
|-- properties: struct (nullable = true)
| |-- browser: string (nullable = true)
| |-- device: string (nullable = true)
我正在使用udf + withColumn从用户代理中提取更多信息。但我只能在新列中存储我创建的任何附加属性。有没有一种方法可以把它附加到结构本身？
我已经更改了模式，但它不会从已存在的其他属性中传输所需的所
浏览 3提问于2017-03-18得票数 1
1回答
我有一个包含两列(id，name)的数据框。名称列具有相关的名称。例如，术语，相关术语，相关行，行。
我想在不同的行中找到相似的名字。我已经尝试了余弦相似度，但无法实现这一点。
我已经使用pyspark计算了TF-IDF。寻找使用pyspark在不同行中获取相关名称的方法。
浏览 11提问于2018-02-23得票数 0
我有一个按日期分区的S3存储桶列表。第一个存储桶标题为2019-12-1，第二个存储桶标题为2019-12-2，依此类推。 这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个date列，表示dataframe中的每个条目实际来自哪个存储桶。 因为单独导入每个存储桶时生成的数据帧的模式是多层的(即每一行都包含结构数组的结构等)，所以我认为将所有存储桶合并到一个数据帧中的唯一
浏览 13提问于2019-12-16得票数 0
回答已采纳
我有一个pyspark 2.0.1。我正在尝试按我的数据框分组，并从我的数据框中检索所有字段的值。我发现
z=data1.groupby('country').agg(F.collect_list('names'))
将给我的国家和名称的属性和名称属性的值，它将给出的列标题为collect_list(names)。但是对于我的工作，我有大约15列的数据帧&我会运行一个循环，每次在循环中改变groupby字段，需要所有剩余的fields.Can的输出，你能建议我如何使用collect_list()或任何其他pyspark函数吗？
我也试过这个代码
fro
浏览 6提问于2017-10-18得票数 3
当我们使用pyspark创建一个数据框时，我们通常使用这样的方式： myItems=spark.createDataFrame([(1,'a'),
(2,'c')],
['id','item']) 每一行都是数据框中的一行。但在这里，我需要创建一个数据框，包括4个组和日期。例如： myItems=spark.createDataFrame([(1,2019-01-01',0),
浏览 13提问于2019-04-15得票数 1
回答已采纳
1回答
我有一个列id，它的类型是int，但后来更改为bigint。它具有这两种类型的值。 from pyspark.sql.functions import *
from pyspark.sql.types import *
df = spark.read.parquet('hdfs path')
df = df.select("id", "code")
df=df.withColumn("id1", df["id"].cast(LongType()))
res1=df.select("id1",
浏览 107提问于2021-01-11得票数 0
我有一个包含多个列(1000)的数据框，它们具有字符串类型。我希望将它们转换为不是一列一列地浮动，而是一次浮动所有数据帧。 此外，我知道这是存在的： from pyspark.sql.types import IntegerType
data_df = data_df.withColumn("column_name", data_df["columns_name"].cast(IntegerType())) 但我正在研究这样的东西： data_df = data_df.cast(IntegerType())) 这个退出是因为我在互联网上做了一些研究，但我什
浏览 17提问于2021-04-15得票数 0
回答已采纳
2回答
我试图通过指定列标签和数据类型从现有的RDD创建一个数据框，但是我得到了这个Typeerror：
from pyspark.sql import SQLContext
from pyspark.sql.types import *
sqlContext = SQLContext(sc)
yFieldTypes = [FloatType()]
ySchemaString = "Predictor"
fy_data = [StructField(field_name, field_type, True) \
for field_name, field_type
浏览 0提问于2017-06-10得票数 0
1回答
我正在使用Pyspark sql读取xml文件，并将其作为数据帧加载。该模式如下所示： root
|-- AuditFileCountry: string (nullable = true)
|-- AuditFileDateCreated: date (nullable = true)
|-- AuditFileVersion: double (nullable = true)
|-- Company: struct (nullable = true)
| |-- Address: struct (nullable = true)
| | |-- Ci
浏览 34提问于2021-09-20得票数 1
回答已采纳
我有两个熊猫数据框，第一个包含50多个城市的名称，第二个包含客户详细信息，如姓名，年龄，性别，薪水，职业等。这些数据框之间没有公共关键字，它们的大小也不同。我希望在客户详细信息数据框中填充一个名为'Customer City‘的新列，该列应该具有从城市数据框中选择的值。换句话说，对于客户，我希望选择一个随机的城市(从城市数据框中)，并将其添加到客户数据框中名为“customer city”的新列中。
请建议如何在熊猫身上做到这一点。
浏览 21提问于2020-05-18得票数 0
回答已采纳
我想使用PySpark (Spark1.6.2)对存在于Hive表中的数值数据执行主成分分析(PCA)。我能够将Hive表导入到：
>>> from pyspark.sql import HiveContext
>>> hiveContext = HiveContext(sc)
>>> dataframe = hiveContext.sql("SELECT * FROM my_table")
>>> type(dataframe)
<class 'pyspark.sql.dataframe.D
浏览 1提问于2016-10-06得票数 4
回答已采纳
我试图使用一个简单的数据集来运行Logistic回归，以理解pyspark的语法。我有数据，看上去有11列，其中前10列是特性，最后一列(第11列)是标签。我想传递这10列作为特征和第11列作为标签。但是我只知道作为一个列传递，使用featuresCol="col_header_name"作为一个特性传递，我使用熊猫读取了csv文件中的数据，但我已经将其转换为RDD。以下是代码：
from pyspark.ml.classification import LogisticRegression
from pyspark.sql import SQLContext
from pys
浏览 0提问于2019-02-19得票数 3
回答已采纳
我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE", "No matching concept", "MALE", ....]} 因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Pandas数据帧，然后在将其作为JSON转储之前转换为字典，并成功地完成了转换，但由于数据量非常大，我想直接在PySpark数据
浏览 14提问于2019-12-18得票数 1
回答已采纳
我在pyspark中有一个数据帧：
ratings = spark.createDataFrame(
sc.textFile("transactions.json").map(lambda l: json.loads(l)),
)
ratings.show()
+--------+-------------------+------------+----------+-------------+-------+
|click_id| created_at| ip|product_id|product_price|user_id|
+-
浏览 1提问于2017-10-17得票数 0
1回答
这可能有点天真，但我只是从PySpark和Spark开始。请帮助我理解Pyspark中的一个热门技术。我正在尝试对其中一列执行OneHotEncoding。在一次热编码之后，dataframe模式添加了avector。但是要应用机器学习算法，应该是将单个列添加到现有的数据框中，其中每一列代表一个类别，而不是向量类型的列。如何验证OneHotEncoding。
我的代码：
stringIndexer = StringIndexer(inputCol="business_type", outputCol="business_type_Index")
浏览 0提问于2016-09-29得票数 0
1回答
我的星火DataFrame有以下格式的数据：
printSchema()显示每一列都是vector类型的。
我尝试使用下面的代码从[和]中获取值(对于1列col1)：
from pyspark.sql.functions import udf
from pyspark.sql.types import FloatType
firstelement=udf(lambda v:float(v[0]),FloatType())
df.select(firstelement('col1')).show()
但是，如何将其应用于df的所有列？
浏览 0提问于2020-02-18得票数 1
回答已采纳
6回答
在pandas数据框中，我使用以下代码来绘制列的直方图：
my_df.hist(column = 'field_1')
有没有什么东西可以在pyspark数据帧中实现同样的目标？(我在Jupyter Notebook中)谢谢！
浏览 5提问于2016-08-26得票数 35
我有400万行的大型数据帧。其中一列是名为"name“的变量。
当我通过：df['name].nunique()检查Pandas中唯一值的数量时，我得到了一个与Pyspark df.select("name").distinct().show()不同的答案(在Pandas中大约为1800，在Pyspark中为350 )。这怎么可能呢？这是一个数据分区的问题吗？
编辑:数据框中的name记录如下: name-{number}，例如: name-1，name-2等。
在熊猫中：
df['name'] = df['name'].str.
浏览 0提问于2020-05-24得票数 0
1回答
我有一个有很多行的pyspark数据框。每行都是一个文本。只有一列。我想删除或移除少于3个字母的行。例如，在下面的4行中，我想删除第二列和第四列。(pdf和a)： this is a text
pdf
a
No ways
浏览 14提问于2021-01-20得票数 0
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。
如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。
import pyspark
import pyspark.sql.types as T
import pyspark.sql.functions as F
data = [0, 3, 0, 4]
d = {}
d['DenseVector'] = pyspark.ml.linalg.DenseVector(data)
d['old_DenseVector'] =
浏览 1提问于2016-07-31得票数 7
回答已采纳
1回答
我有一个初始的PySpark数据，我希望从date列中获取MIN和MAX，然后使用来自初始数据的MIN和MAX创建一个新的带有timeseries (每日日期)的PySpark数据。
然后，我将使用它加入我的初始数据并查找丢失的天数( inital列的其余部分为null)。
我尝试了许多不同的方法来构建timeseries，但它在PySpark中似乎不起作用。有什么建议吗？
浏览 8提问于2022-05-03得票数 1
回答已采纳
我希望在我的数据帧tfIdfFr中插入一个名为"ref"的列，其中包含一个类型为pyspark.ml.linalg.SparseVector的常量。 当我尝试这个的时候 ref = tfidfTest.select("features").collect()[0].features # the reference
tfIdfFr.withColumn("ref", ref).select("ref", "features").show() 我得到这个错误AssertionError: col should be
浏览 9提问于2019-01-15得票数 1
回答已采纳
我有一个很大的pyspark数据框，其中包含多年的用户交互数据。这里有很多列，但这个问题的三个有用的列是userid、interaction_date和interaction_timestamp。假定表中给定用户有多个条目。 我需要编写一个函数来添加一个列，该列将指示表中给定客户的最近观察到的交互之前的天数。例如，对于输入表 ? 我想添加一个从该用户最近交互日期开始计数的列(例如，最近交互日期是1，前一次交互日期是2，依此类推)： ? 有没有人能指引我走上正确的道路？
浏览 21提问于2019-10-09得票数 0
回答已采纳
有一个巨大的数据文件，由所有分类列组成。在mllib中应用kmeans之前，我需要对数据进行虚拟编码。在pySpark中如何做到这一点呢？
谢谢
浏览 0提问于2016-01-10得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
