blocks|key|1139463|text|您可以通过以下方式获取其shape：|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|1139464|print((df.count(),+len(df.columns)))|code-block|syntax|javascript|1139465|entityMap^0|C|5|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@$9|N|A|O|B|C]]|D|@]|E|$]]|$1|F|3|G|5|H|7|P|8|@]|D|@]|E|$I|J]]|$1|K|3|-4|5|6|7|Q|8|@]|D|@]|E|$]]]|L|$]]

You can get its <code>shape</code> with:
<pre><code>print((df.count(), len(df.columns)))
</code></pre>

blocks|key|1106492|text|使用df.count()获取行数。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|1106493|entityMap^0|2|A|0^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]|E|$]]|$1|F|3|-4|5|6|7|K|8|@]|D|@]|E|$]]]|G|$]]

Use <code>df.count()</code> to get the number of rows.

blocks|key|1139467|text|将此代码添加到您的代码中：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1139468|import+pyspark
def+spark_shape(self):
++++return+(self.count(),+len(self.columns))
pyspark.sql.dataframe.DataFrame.shape+=+spark_shape|code-block|syntax|javascript|1139469|然后你可以这样做|1139470|>>>+df.shape()
(10000,+10)|1139471|但只需提醒您，对于尚未持久化的非常大的表，.count()可能会非常慢。|offset|length|style|CODE|1139472|entityMap^0|0|0|0|0|L|8|0^^$0|@$1|2|3|4|5|6|7|S|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|T|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|U|8|@]|9|@]|A|$]]|$1|I|3|J|5|D|7|V|8|@]|9|@]|A|$E|F]]|$1|K|3|L|5|6|7|W|8|@$M|X|N|Y|O|P]]|9|@]|A|$]]|$1|Q|3|-4|5|6|7|Z|8|@]|9|@]|A|$]]]|R|$]]

Add this to the your code:
<pre class="lang-py prettyprint-override"><code>import pyspark
def spark_shape(self):
 return (self.count(), len(self.columns))
pyspark.sql.dataframe.DataFrame.shape = spark_shape
</code></pre>
Then you can do
<pre><code>&gt;&gt;&gt; df.shape()
(10000, 10)
</code></pre>
But just remind you that <code>.count()</code> can be very slow for very large table that has not been persisted.

blocks|key|1106495|text|print((df.count(),+len(df.columns)))|type|code-block|depth|inlineStyleRanges|entityRanges|data|syntax|javascript|1106496|对于较小的数据集更容易。|unstyled|1106497|但是，如果数据集很大，另一种方法是使用pandas和箭头将数据帧转换为pandas+df并调用形状|1106498|spark.conf.set("spark.sql.execution.arrow.enabled",+"true")
spark.conf.set("spark.sql.crossJoin.enabled",+"true")
print(df.toPandas().shape)|1106499|entityMap^0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]|A|$B|C]]|$1|D|3|E|5|F|7|N|8|@]|9|@]|A|$]]|$1|G|3|H|5|F|7|O|8|@]|9|@]|A|$]]|$1|I|3|J|5|6|7|P|8|@]|9|@]|A|$B|C]]|$1|K|3|-4|5|F|7|Q|8|@]|9|@]|A|$]]]|L|$]]

<pre><code>print((df.count(), len(df.columns)))
</code></pre>

is easier for smaller datasets. 

However if the dataset is huge, an alternative approach would be to use pandas and arrows to convert the dataframe to pandas df and call shape

<pre><code>spark.conf.set("spark.sql.execution.arrow.enabled", "true")
spark.conf.set("spark.sql.crossJoin.enabled", "true")
print(df.toPandas().shape)
</code></pre>

blocks|key|1139474|text|我认为在Spark中没有类似于data.shape的功能。但我将使用len(data.columns)而不是len(data.dtypes)|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|1139475|entityMap^0|F|A|Y|H|1I|G|0^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]|$9|K|A|L|B|C]|$9|M|A|N|B|C]]|D|@]|E|$]]|$1|F|3|-4|5|6|7|O|8|@]|D|@]|E|$]]]|G|$]]

I think there is not similar function like <code>data.shape</code> in Spark. But I will use <code>len(data.columns)</code> rather than <code>len(data.dtypes)</code>

blocks|key|1106501|text|我已经用这个代码块解决了这个问题。请试试看，很管用。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1106502|import+pyspark
def+sparkShape(dataFrame):
++++return+(dataFrame.count(),+len(dataFrame.columns))
pyspark.sql.dataframe.DataFrame.shape+=+sparkShape

print(<Input+the+Dataframe+name+which+you+want+the+output+of>.shape())|code-block|syntax|javascript|1106503|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|J|8|@]|9|@]|A|$E|F]]|$1|G|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|H|$]]

I have solved this problem using this code block. Please try it, it works.
<pre><code>import pyspark
def sparkShape(dataFrame):
 return (dataFrame.count(), len(dataFrame.columns))
pyspark.sql.dataframe.DataFrame.shape = sparkShape

print(&lt;Input the Dataframe name which you want the output of&gt;.shape())
</code></pre>

I am trying to find out the size/shape of a DataFrame in PySpark. I do not see a single function that can do this.
In Python, I can do this:
<pre class="lang-py prettyprint-override"><code>data.shape()
</code></pre>
Is there a similar function in PySpark? This is my current solution, but I am looking for an element one
<pre class="lang-py prettyprint-override"><code>row_number = data.count()
column_number = len(data.dtypes)
</code></pre>
The computation of the number of columns is not ideal...

How to find the size or shape of a DataFrame in PySpark?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

我正在尝试在PySpark中找出DataFrame的大小/形状。我看不到有一个函数可以做到这一点。在Python中，我可以这样做：data.shape()PySpark中有没有类似的函数？这是我目前的解决方案，但我正在寻找一个元素一row_number = data.count()column_number = len(data.dtypes)列数的计算并不理想……

问如何在PySpark中找到DataFrame的大小或形状？
EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在PySpark中找到DataFrame的大小或形状？EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在PySpark中找到DataFrame的大小或形状？
EN