将列表列表转换为pyspark dataframe？
将列表列表转换为pyspark dataframe？
提问于 2022-05-24 22:34:19
在将下面的列表转换为时遇到问题。
lst = [[1, 'A', 'aa'], [2, 'B', 'bb'], [3, 'C', 'cc']]
cols = ['col1', 'col2', 'col3']
Desired output:
+----------+----------+----------+
| col1 | col2 | col3 |
+----------+----------+----------+
| 1 | A | aa |
+----------+----------+----------+
| 2 | B | bb |
+----------+----------+----------+
| 3 | C | cc |
+----------+----------+----------+ 我本质上是在寻找相当于：
df = pd.DataFrame(data=lst,columns=cols)回答 1
Stack Overflow用户
回答已采纳
发布于 2022-05-24 22:51:14
如果您安装了熊猫包，那么就可以使用spark.createDataFrame将数据导入到pyspark。
import pandas as pd
from pyspark.sql import SparkSession
lst = [[1, 'A', 'aa'], [2, 'B', 'bb'], [3, 'C', 'cc']]
cols = ['col1', 'col2', 'col3']
df = pd.DataFrame(data=lst,columns=cols)
#Create PySpark SparkSession
spark = SparkSession.builder \
.master("local[1]") \
.appName("spark") \
.getOrCreate()
#Create PySpark DataFrame from Pandas
sparkDF=spark.createDataFrame(df)
sparkDF.printSchema()
sparkDF.show()或者，你也可以不养熊猫。
from pyspark.sql import SparkSession
lst = [[1, 'A', 'aa'], [2, 'B', 'bb'], [3, 'C', 'cc']]
cols = ['col1', 'col2', 'col3']
#Create PySpark SparkSession
spark = SparkSession.builder \
.master("local[1]") \
.appName("spark") \
.getOrCreate()
df = spark.createDataFrame(lst).toDF(*cols)
df.printSchema()
df.show()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72370147
复制相关文章
相似问题
腾讯云开发者
