问在pyspark数据帧的数据类型中进行不同的计数

EN

让我们在Pyspark Shell中创建一个虚拟Dataframe

>>> rdd = sc.parallelize([['x',1,'y',2,1.1]])

>>> df = spark.createDataFrame(rdd, schema=['Col1','Col2','Col3','Col4','Col5'])

以下是df的列类型

>>> df DataFrame[Col1: string, Col2: bigint, Col3: string, Col4: bigint, Col5: double]

根据文档，如果您在Spark DataFrame，https://spark.apache.org/docs/2.3.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.dtypes上使用dtype属性，您将获得“所有列名及其数据类型列表”。

>>> print(df.dtypes) [('Col1', 'string'), ('Col2', 'bigint'), ('Col3', 'string'), ('Col4', 'bigint'), ('Col5', 'double')]

现在，您可以利用本机Python计数器库来获取所需的输出

>>> from Collections import Counter

>>> data_types = df.dtypes

>>> dict(Counter(dict(data_types).values())) {'string': 2, 'bigint': 2, 'double': 1}

您应该能够轻松地将这两行代码转换为满足您最终需求的函数

希望这能有所帮助！