在Spark中,可以使用randomSplit()
方法将一个DataFrame拆分成两个DataFrames。randomSplit()
方法接受一个浮点数数组作为参数,表示拆分的比例。返回的是一个包含拆分后DataFrames的数组。
以下是一个示例代码:
# 导入必要的库
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建一个DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35), ("Dave", 40)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 将DataFrame拆分成两个DataFrames
dfs = df.randomSplit([0.7, 0.3])
# 打印拆分后的DataFrames
dfs[0].show()
dfs[1].show()
在上述代码中,我们首先创建了一个DataFrame df
,然后使用randomSplit()
方法将其拆分成两个DataFrames dfs
,拆分比例为70%和30%。最后,我们分别打印了拆分后的两个DataFrames。
关于Spark的更多信息和使用方法,可以参考腾讯云的Spark产品文档:Spark产品文档
领取专属 10元无门槛券
手把手带您无忧上云