PySpark: DataFrame -将结构转换为数组

PySpark是Apache Spark的Python API，它提供了一种高级抽象的数据处理方式，可以处理大规模数据集。DataFrame是PySpark中的一种数据结构，类似于关系型数据库中的表格，它以列的方式组织数据，并且每列都有相应的数据类型。

将结构转换为数组是指将DataFrame中的某一列的数据结构转换为数组形式。在PySpark中，可以使用collect_list函数来实现这个转换。collect_list函数将DataFrame中的某一列的所有值收集到一个数组中。

下面是一个示例代码，演示了如何将DataFrame中的某一列转换为数组：

from pyspark.sql import SparkSession
from pyspark.sql.functions import collect_list

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 将Age列转换为数组
df_array = df.select(collect_list("Age").alias("AgeArray"))

# 显示结果
df_array.show()

上述代码中，我们首先创建了一个包含Name和Age两列的DataFrame。然后，使用collect_list函数将Age列转换为数组，并将结果存储在一个新的列AgeArray中。最后，使用show方法显示转换后的结果。

PySpark中的DataFrame提供了丰富的数据处理和转换函数，可以满足各种数据处理需求。更多关于PySpark DataFrame的信息，可以参考腾讯云的PySpark DataFrame文档。