Spark dataframe to pandas分析

文章/答案/技术大牛

发布

1回答

python、pyspark、pandas-profiling

我正在尝试用pandas实现一个数据分析--分析库。我直接从hive获取数据。. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 14.0 failed 4To avoid this, increase spark.kryoserializer.buffer.max value.我试图用python在jupyter笔记本上设置我的spark，但是我收到了同样的错误。<

浏览 63提问于2020-06-23得票数 1

1回答

火花df、拼花物体和熊猫df之间的转换

apache-spark、parquet、pyarrow

在创建火花会话之后，我运行了以下代码 spark_df.select('*').toPandas(我需要火花df和熊猫df的原因是，对于一些较小的DataFrame，我想很容易地使用各种熊猫EDA函数，但对于一些较大的，我需要使用火花sql。首先，把地板转向熊猫，然后再点燃df，这似乎有点迂回。

浏览 3提问于2019-10-20得票数 0

1回答

PySpark:在新星火DataFrame上使用现有的模式

pandas、dataframe、apache-spark、pyspark

在Python中，我有一个现有的DataFrame，其中包含135个~列，称为sc_df1。我还有一个Pandas DataFrame，它的列与我想要转换为星火DataFrame的列完全相同，然后是unionByName和两个火花DataFrames。在将Pandas DataFrame转换为火花DataFrame时，是否有人知道如何使用DataFrame模式，以便两个DataFrames在联合时具有相同的模式？

浏览 2提问于2020-04-27得票数 0

回答已采纳

1回答

如何在Databricks中快速轻松地在R和pandas数据帧之间进行转换？

r、pandas、databricks、temp-tables

我听说我必须使用spark temp tables来做这件事，而且它非常简单，但我找不到任何完整的示例代码，到目前为止，我还不能让它工作。result" ) 然后我试着把它作为一个熊猫数据帧读回来：#Cell 2:这会导致错误： NameEr

浏览 1提问于2020-05-29得票数 1

1回答

在Databricks笔记本上，pandas df到spark df的转换需要很长时间

pandas、apache-spark、pyspark、databricks、azure-databricks

我正在尝试使用下面的方法将这个熊猫df转换为spark df。spark_session = SparkSession.builder.appName('pandasToSparkDF').getOrCreate()spark_df= spark_session.createDataFrame(pandas_df) 这个过程花费了大约9分钟将pandas df转换为Databricks上1000

浏览 29提问于2020-07-23得票数 1

1回答

如何在PySpark程序中将变量或数据帧打印到控制台？

python、apache-spark、pyspark、apache-spark-sql

我是Spark的新手，试着像使用Pandas进行数据分析一样使用它。在pandas中，要查看变量，我将编写以下代码：print(df.head())我想要的是一种查看部分数据的方法来解决我的数据分析

浏览 23提问于2019-11-06得票数 1

回答已采纳

1回答

ValueError: DataFrame构造函数调用不正确(数据库/Python)

python、pandas、databricks

我正在尝试设置一个Pandas Dataframe来处理Databricks中的数据。我的数据是从本地计算机上的文件导入的，如下所示：Snip of the data # Import packagesimport numpy as np ownr= spark.read.format("csv").load("dbfs:/FileStore/shared_uploads/directory/carsownr.

浏览 806提问于2021-10-14得票数 1

回答已采纳

1回答

火花转换Pandas* df到S3*

python、amazon-web-services、pandas、apache-spark、amazon-s3

如何将Pandas以一种方便的方式转换成可以写入s3的数据。 .format("com.databricks.spark.csv") .save("123.csv")

浏览 0提问于2017-01-03得票数 0

回答已采纳

1回答

如何将火花数据帧转换为Pandas并返回Kedro？

python、pandas、pyspark、kedro

我试图了解Kedro中的最佳方法是如何将一个节点中的火花数据转换为另一个节点所需的Pandas，而不需要创建冗余的转换步骤。

浏览 2提问于2019-11-11得票数 3

回答已采纳

2回答

在熊猫(python)中，能不能将星星之火(scala)转换成数据(Python)

pandas、scala、dataframe、apache-spark

Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。

浏览 1提问于2020-04-05得票数 0

回答已采纳

2回答

将字典列(作为字符串)解析为多列

python、pyspark

我使用的是Pyspark，我有一个dataframe，它的列如下所示：也就是说，将现有行中的每个字典解析为多个列，如示例映像中所示。做这件事最好的方法是什么？非常感谢

浏览 14提问于2022-05-25得票数 0

2回答

如何将火花放电与熊猫数据融合

python、pandas、apache-spark、pyspark

我有一个很大的火花放电数据和一个较小的熊猫数据，我读到如下：df2 = pd.read_csv("data2.csv")

浏览 11提问于2017-09-19得票数 13

3回答

我可以将pandas数据帧转换为spark* rdd吗？*

pyspark

Pbm： a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。

浏览 0提问于2015-04-15得票数 4

1回答

星火环境中的pandas.read_csv (IBM )

python、csv、pandas、apache-spark、ibm-cloud

我在一个IPython环境中使用Spark/Bluemix import pandas as pd data = pd.read_csv('swift如何将csv文件读取到pandas数据？

浏览 5提问于2015-12-30得票数 4

回答已采纳

1回答

在jupyter笔记本中使用Seaborn时出错(Pyspark)

pyspark、jupyter、seaborn

下面是我的代码(我使用的是jupyter笔记本)： format='com.databricks.spark.csv259 row_na = none_na if row is N

浏览 0提问于2017-12-28得票数 0

1回答

可能将数据分解为拓扑的各个部分

python、pandas、apache-spark

我有一千万的记录数据。我的要求是，我需要对熊猫的这些数据做一些操作，而且我对所有1000万条记录都没有记忆。所以我希望能够对每个块进行分块并使用toPandas#do chunking to take X records at a timep_df = chunked_df.toPandas()如何通过记录计数将我的数据分割成相等的x-部分或部分，比如一次一百万。这两种解决方案都是

浏览 1提问于2018-10-26得票数 10

回答已采纳

3回答

pySpark将mapPartitions的结果转换为spark DataFrame

python、apache-spark、pyspark

我有一个作业需要在分区的spark数据帧上运行，该进程如下所示： rdd = sp_df.repartition(n_partitions, partition_key).rdd.mapPartitions(lambda x: some_function(x)) 结果是pandas.dataframe的rdd， type(rdd) => pyspark.rdd.PipelinedRDD type(rdd.collect()[0]) => pandas.core.frame.DataFrame

浏览 124提问于2019-12-10得票数 4

回答已采纳

1回答

Spark Dataframe在性能上如何优于Pandas Dataframe？

python、apache-spark、dataframe、pyspark、databricks

谁能解释一下为什么Spark Dataframe在执行时间上比Pandas Dataframes更好。from datetime import datetimeimport pandas as pd return num**datetime.now() 输出为如果我使用带有1

浏览 0提问于2019-04-30得票数 3

1回答

在spark.SQL DataFrame和pandas* DataFrame之间转换*

apache-spark、apache-spark-sql、apache-zeppelin

有没有可能在%pyspark环境下？

浏览 1提问于2017-01-24得票数 7

回答已采纳

1回答

NotImplementedError在Apache中调用pandas_profiling.ProfileReport.to_widgets()时

python、python-3.x、pandas、apache-zeppelin、pandas-profiling

__version__)print("pandas: ", pd.__version__)print("pandas_profiling: ", pp.__version__) df = spark.sql("SELECT * FROM datab

浏览 3提问于2022-09-08得票数 3

回答已采纳

点击加载更多