如何从多个目录中读取多个.parquet文件到单个pandas数据帧中？
要从多个目录中读取多个.parquet文件到单个pandas数据帧中，可以按照以下步骤进行操作：
- 导入所需的库：
import pandas as pd
import glob- 定义一个函数来读取.parquet文件并返回一个数据帧：
def read_parquet_file(file_path):
return pd.read_parquet(file_path)- 定义一个函数来遍历多个目录并读取所有.parquet文件：
def read_parquet_files_from_directories(directories):
files = []
for directory in directories:
files.extend(glob.glob(directory + "/*.parquet"))
data_frames = []
for file in files:
data_frames.append(read_parquet_file(file))
return pd.concat(data_frames, ignore_index=True)- 在函数中，使用
glob.glob函数来获取每个目录中的所有.parquet文件，并将文件路径存储在一个列表中。然后，使用read_parquet_file函数来读取每个文件，并将返回的数据帧存储在一个列表中。 - 最后，使用
pd.concat函数将所有数据帧合并为一个单独的数据帧，ignore_index=True参数用于重置合并后数据帧的索引。
以下是一个完整的示例代码：
import pandas as pd
import glob
def read_parquet_file(file_path):
return pd.read_parquet(file_path)
def read_parquet_files_from_directories(directories):
files = []
for directory in directories:
files.extend(glob.glob(directory + "/*.parquet"))
data_frames = []
for file in files:
data_frames.append(read_parquet_file(file))
return pd.concat(data_frames, ignore_index=True)
directories = ["directory1", "directory2", "directory3"] # 替换为实际的目录路径
df = read_parquet_files_from_directories(directories)请注意，上述代码假设.parquet文件存储在多个目录中，并且所有文件具有相同的数据结构。如果文件具有不同的数据结构，合并数据帧可能会导致列对齐问题。在这种情况下，您可能需要对每个数据帧进行必要的数据清洗和转换，以确保最终的数据帧具有一致的结构。
相关·内容
1回答
Parquet是否支持在单个文件中存储不同宽度(列数)的各种数据帧？例如，在HDF5中，可以存储多个这样的数据帧并通过密钥访问它们。到目前为止，从我的来看，Parquet不支持它，所以可以选择将多个Parquet文件存储到文件系统中。我有一个相当大的数字(比如10000)的相对较小的帧~1-5MB的处理，所以我不确定这是否会成为一个关注？
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
dfs = []
df1 = pd.DataFrame(data={"A": [1, 2, 3],
浏览 0提问于2018-05-21得票数 13
回答已采纳
1回答
为了从一个pandas数据帧写入到parquet，我执行以下操作： df = pd.DataFrame(DATA)
table = pa.Table.from_pandas(df)
pq.write_table(table, 'DATA.parquet') 但是，如果我有1B行，这就不能很好地工作，而且它不能放入内存中。在这种情况下，我如何增量地写入数据。例如，如下所示： DATA = []
BACTCH_SIZE = 10000
with open('largefile.csv') as f:
for num, line in enumerate(f
浏览 29提问于2019-02-09得票数 1
回答已采纳
我正在用Spark和Pandas解压snappy.parquet文件。我有180个文件(我的Jupyter笔记本中有7 7GB的数据)。在我的理解中，我需要创建一个循环来抓取所有的文件-用Spark解压它们并附加到Pandas表中？以下是代码 findspark.init()
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
parquetFile = spark.read.parquet("file_name.snappy.parque
浏览 27提问于2019-12-04得票数 0
回答已采纳
2回答
如果我用Java以这种方式保存数据帧，.：
df.write().parquet("myTest.parquet");
.然后就会以一种草率的方式保存它(一个包含大量文件的文件夹)。
是否可以将数据帧保存为单个文件？我试过collect()，但没有用。
如果这是不可能的，那么我的问题是如何更改Python代码，以便从df.write().parquet("myTest.parquet")创建的hadoopish文件夹中读取Parquet文件
load_df = sqlContext.read.parquet("myTest.parquet").w
浏览 4提问于2017-05-21得票数 0
回答已采纳
我需要从存储在s3中的拼图文件中增量地加载数据到熊猫，我正在尝试使用PyArrow来实现这一点，但没有任何运气。
在Pandas中写入整个目录的Parquet文件就可以了：
import s3fs
import pyarrow.parquet as pq
import pandas as pd
fs = s3fs.S3FileSystem(mykey,mysecret)
p_dataset = pq.ParquetDataset('s3://mys3bucket/directory', filesystem=fs)
df = p_dataset.read().to_pand
浏览 3提问于2018-11-03得票数 1
我有一堆parquet文件，每个文件都包含我的数据集的一个子集。假设文件名为data-N.parquet，其中N是一个整数。 我可以全部读取它们，然后将其转换为pandas数据帧： files = glob.glob("data-**.parquet")
ds = pq.ParquetDataset(
files,
metadata_nthreads=64,
).read_table(use_threads=True)
df = ds.to_pandas() 这个很好用。它希望在最终数据帧中有一个额外的列，指示数据来自哪个文件。 据我所知，ds数据是分区的，每
浏览 48提问于2021-09-29得票数 1
回答已采纳
2回答
阅读最后N行S3拼花表
、、、
如果我将讨论过的应用到S3 buck中读取S3 buck中的拼花文件，特别是：
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()
pandas_dataframe = pq.ParquetDataset('s3://your-bucket/', filesystem=s3).read_pandas().to_pandas()
当表随着时间的推移越来越大时，我需要定期进行检索，我只想将最后的N行读入数据帧。这个是可能的吗？
浏览 0提问于2021-06-20得票数 4
回答已采纳
我一直在使用dask对多个csv文件执行数据清理。下面的代码运行良好：
import pandas as pd
import glob
import os
from timeit import default_timer
from dask.distributed import Client
import dask.dataframe as dd
cols_to_keep = ["barcode", "salesdate", "storecode", "quantity", "salesvalue", "
浏览 7提问于2018-08-08得票数 1
回答已采纳
我正在尝试在append模式下将pandas dataframe写成parquet文件格式(在最新的pandas版本0.21.0中引入)。但是，该文件将被新数据覆盖，而不是附加到现有文件。我遗漏了什么？
写入语法为
df.to_parquet(path, mode='append')
读取器语法为
pd.read_parquet(path)
浏览 0提问于2017-11-09得票数 7
2回答
当Spark将dateframe数据写入拼图文件时，Spark将创建一个包含多个独立拼图文件的目录。保存代码：
term_freq_df.write
.mode("overwrite")
.option("header", "true")
.parquet("dir/to/save/to")
我需要使用pandas从这个目录中读取数据：
term_freq_df = pd.read_parquet("dir/to/save/to")
错误：
浏览 30提问于2019-08-07得票数 1
回答已采纳
我有11年的数据和记录(行)每秒钟，超过100列。它用一系列的日期时间(用Pandas to_datetime()创建)进行索引，我们需要能够在列之间进行一些相关分析，一次只能加载两个列。我们可能在较低的时间(例如48小时、1小时、月等)重新采样。在长达11年的时间里，把这些关联想象成11年。
数据目前在11个单独的拼花文件中(每年一个)，从11个.txt文件中单独生成Pandas。熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。
是否有一个比使用Pandas
浏览 29提问于2022-06-20得票数 1
我需要在Apache中读取多个拼板文件，所有文件都放在同一个文件夹中。我试着用一个通配符来读它*。
我已经成功地使用ParquetIO读取了分隔的拼花文件，下面是我如何读取一个拼花文件的片段：
pipeline.apply(ParquetIO.read(SCHEMA).from(filePath + File.separator + "*"));
例如，filePath位于/path/xxx.parquet。
我尝试读取多个拼板文件的代码片段是
pipeline.apply(ParquetIO.read(SCHEMA).from(folderPath + File.separa
浏览 0提问于2019-08-29得票数 0
回答已采纳
我在存储帐户中有多个拼花文件，并将所有文件转换为增量格式。现在，我需要将结果保存到每个文件的独立的delta表中。
df=spark.read.option("mergeschema","true") \
.format("parquet").load("/mnt/testadls/.*parquet")
df.write.format("delta").save("/mnt/testadls/delta")
此数据将写入多个snappy.parquet文件(增量文件)。
现在，如果我试图从单
浏览 4提问于2022-09-13得票数 0
回答已采纳
使用spark写一个文件s3通常会创建一个有11个文件成功的目录，另一个文件名以s3中有实际数据的部分名称开头，如何使用pandas dataframe加载相同的文件，因为文件路径会改变，因为所有10个有实际数据的文件在每次运行中解析的文件名都会不同。
例如，编写时的文件路径：
df.colaesce.(10).write.path("s3://testfolder.csv")
存储在目录中的文件包括：
- sucess
- part-00-*.parquet
我有一个python作业，它将文件读取到pandas dataframe。
pd.read(s3\\.........
浏览 0提问于2020-08-17得票数 0
我正在尝试从S3中使用COPY命令将.parquet文件加载到我的红移数据库中。
该文件包含一个日期格式为2018-10-28的列。Redshift中表中的相关字段定义为date。源spark数据帧将字段显示为datetime64，并将其转换为pandas，因为它是时间戳。
使用简单的COPY dates FROM s3://mybucket/file.parquet iam_role {xxxxx} FORMAT AS PARQUET总是返回一个不兼容的模式错误。
在我的jupyter笔记本中，我看不到完整的错误描述，但我猜它是日期字段，就像表的其余部分一样，是一个简单的varchar字段和
浏览 4提问于2019-08-30得票数 0
3回答
我正在尝试将Pandas数据帧写入分区文件：
df.to_parquet('output.parquet', engine='pyarrow', partition_cols = ['partone', 'partwo'])
TypeError: __cinit__() got an unexpected keyword argument 'partition_cols'
从文档中，我预计partition_cols将作为kwargs传递给pyarrow库。如何使用pandas将分区文件写入本地磁盘？
浏览 3提问于2018-10-23得票数 5
我是python的新手，我有一个场景，其中有多个按顺序排列的带有文件名的parquet文件。示例:文件夹中的par_file1、par_file2、par_file3等多达100个文件。
我需要读取从file1开始的这些拼板文件，并将其写入单个csv文件。在编写file1内容之后，file2内容应该附加到相同的csv中，而不需要标头。注意，所有文件都有相同的列名，并且只有数据被分割成多个文件。
我学会了使用pyarrow将单个拼板转换为csv文件，代码如下：
import pandas as pd
df = pd.read_parquet('par_file.parquet&#
浏览 10提问于2018-08-05得票数 21
回答已采纳
我有一个数据帧，它有一个名为key的列，值的范围从00到FF (以字符串形式)。理想情况下，我会将数据帧编写为每个key值一个或多个文件。也就是说，我不希望一个分区有多个可能的key值。 我目前的方法不起作用，因为它只生成一个文件： import dask.dataframe as dd
df = dd.read_csv(
"/Users/ecerulm/Downloads/test/**/*.txt.gz",
include_path_column=True,
sep="\t",
compre
浏览 20提问于2020-11-09得票数 1
在下面的代码中，我无法将数据帧写入到现有目录中，它只是从spark submit job.Is中退出，我可以将其写入现有目录而不是创建新目录？
在这里，测试是一个数据帧
test.repartition(100).write.partitionBy("date").parquet(hdfslocation)
浏览 0提问于2017-08-03得票数 2
回答已采纳
我正在开发一个程序来分析一些资产的历史价格。这些数据被作为熊猫的数据进行结构和分析。列是日期，行是资产。以前我使用的是这个转位，但是这种格式给了我更好的阅读时间。我将这些数据保存在一个拼花文件中，现在我想读取A到B之间的日期间隔，以及一小组资产，分析它，然后用相同的资产重复相同的过程，但是在B+1到C的间隔内，问题是，即使我使用一个唯一的行，读取的时间也与读取整个文件所用的时间相同。有办法改善这种行为吗?最好是，一旦过滤了行，就可以节省内存中块的位置，从而加快nexts读取的速度。我是否必须编写一个过滤了资产的新文件？
我试着用少量的行组和较小的数据页大小来编写拼花文件，以避免完全读取，但这并
浏览 5提问于2020-10-16得票数 0
回答已采纳
1回答
我有一个5节点集群，我正在使用pyspark将一个100k的csv文件加载到一个dataframe中，并执行一些etl操作，并将输出写入到一个parquet文件中。当我加载数据帧时，如何在每个执行器处理20k记录的所有执行器0上均匀地划分数据集。
浏览 2提问于2017-10-06得票数 1
1回答
我阅读了Pandas的AWS文档，似乎您应该能够将数据写入到雅典娜的一个表中。当我运行下面的代码时，我会得到一个错误，上面写着'ValueError:需要两个以上的值才能打开包‘。
import awswrangler as wr
import pandas as pd
df = pd.DataFrame({
"id": [1, 2, 3],
"value": ["foo", "boo", "zoo"],
"name": ["teddy", "timmy",
浏览 13提问于2022-09-16得票数 0
回答已采纳
我需要从Server数据库中提取两个表到Apache中的文件(我不使用Hadoop，只使用Parquet文件)。我所知道的选择是：
将数据加载到Pandas中的数据文件中，并保存到拼花文件中。但是，这种方法不会将数据从Server流到Parquet，我只有6 GB的RAM内存。
使用查询Server，动态地将数据转换为Apache，然后转换为Parquet。与上面的问题相同，TurboODBC目前没有流。
是否存在一个工具或库可以轻松和“快速”地将Server中的表中的1 TB数据提取到parquet文件中？
浏览 15提问于2017-11-03得票数 2
回答已采纳
我需要从多个目录中读取拼图文件。 例如, Dir---
|
----dir1---
|
.parquet
.parquet
|
----dir2---
|
.parquet
.parquet
.
浏览 87提问于2020-01-15得票数 3
回答已采纳
我有一个Spark 2.0.2集群，我正在通过Pyspark通过Jupyter Notebook访问它。我有多个以管道分隔的txt文件(加载到HDFS中。我需要使用spark-csv将其加载到三个独立的数据帧中，具体取决于文件的名称。
我认为我可以采取三种方法--或者我可以使用python以某种方式遍历HDFS目录(还没有想出如何做到这一点，加载每个文件，然后执行联合。
我还知道在spark中有一些通配符功能(参见) -我可能可以利用
最后，我可以使用pandas从磁盘加载vanilla csv文件作为pandas数据帧，然后创建spark数据帧。这里的缺点是这些文件很大，加载到单个节点上的内
浏览 0提问于2016-12-14得票数 7
回答已采纳
2回答
使用dask.to_parquet(df, filename)时，将创建一个子文件夹filename，并将多个文件写入该文件夹，而pandas.to_parquet(df, filename)仅写入一个文件。我可以使用dask的to_parquet (不使用compute()来创建pandas df)来只写一个文件吗？
浏览 34提问于2020-04-09得票数 2
回答已采纳
1回答
关于将数据插入外部表，我几乎不需要澄清。
我已经创建了一个外部parquet表，该表按周进行分区，指向hadoop位置，之后，我将数据( .csv文件)移到该位置。
我的疑问是，因为表是按周进行分区的，即使我只是将文件移到那个目录，hive也不会读取，我必须使用插入命令，与之相比，当我们有一个未分区的hive表时，它将直接从hadoop路径读取。
浏览 0提问于2018-02-01得票数 1
回答已采纳
我似乎不能通过pyarrow将包含timedeltas的pandas数据帧写到拼图文件中。
pyarrow文档指定它可以处理具有ms精度的numpy timedeltas64。但是，当我从numpy的timedelta64[ms]构建数据帧时，该列的数据类型是timedelta64[ns]。
Pyarrow随后会因此抛出错误。
这是pandas中的bug还是pyarrow中的bug？这个问题有没有简单的解决办法？
以下代码：
df = pd.DataFrame({
'timedelta': np.arange(start=0, stop=1000,
st
浏览 0提问于2018-07-14得票数 9
回答已采纳
我正在尝试从我的s3存储桶中的特定文件夹读取数据。这些数据是拼图格式的。为此，我使用了
import awswrangler as wr
# read data
data = wr.s3.read_parquet("s3://bucket-name/folder/with/parquet/files/", dataset = True)
这将返回一个pandas数据帧：
client_id center client_lat client_lng inserted_at matrix_updated
0700292081 BFDR -23.6077
浏览 9提问于2021-06-10得票数 0
回答已采纳
1回答
从S3性能混淆中读取拼图
、、、、
我在AWS S3中有一个Parquet文件。我想把它读入潘达斯DataFrame。有两种方法可以让我做到这一点。
1)
import pyarrow.parquet as pq
table = pq.read_table("s3://tpc-h-parquet/lineitem/part0.snappy.parquet") (takes 1 sec)
pandas_table = table.to_pandas() ( takes 1 sec !!! )
2)
import pandas as pd
table = pd.read_parquet("s3://tpc-h
浏览 2提问于2022-01-26得票数 1
回答已采纳
所以我有一个包含160M记录和240列的拼图文件。因此，我使用dask在python中使用EMR CLuster m5.12xlarge加载它。
import dask.dataframe as dd
df = dd.read_parquet(file)
现在我需要其中一列的值计数和归一化值计数：
count = df.a.value_counts()
percent = df.a.value_counts(normalize = True)
a_count = dd.concat([count,percent], axis=1, keys=['counts', '%
浏览 1提问于2021-09-23得票数 0
我有一个ETL任务加载了很多CSV文件。其中一些CSV文件包含相同类型的数据，例如，60个文件包含一个初始数据帧的数据，另外30个文件包含另一个初始数据帧的数据，依此类推。然后使用Dataframe API连接和聚合这些数据帧，最终将最终的数据帧保存到一个Parquet文件中。
在读取这些拼图文件和进一步处理之前，首先将所有CSV文件组转换成单个拼图文件对我是否有好处？它会让事情变得更快吗(考虑到这个转换步骤在我的工作中每次都会运行)？Spark使用更少的内存是否会有所帮助，因为我的数据帧现在将由Parquet文件支持，而不是CSV文件？
浏览 0提问于2018-07-12得票数 1
我有一个包含一些子文件夹的目录，其中包含不同的拼花文件。就像这样：
2017-09-05
10-00
part00000.parquet
part00001.parquet
11-00
part00000.parquet
part00001.parquet
12-00
part00000.parquet
part00001.parquet
我想要的是将路径传递到05-09目录，以获得所有parquet文件的名称列表。
我能够做到这一点，但以一种非常低效的方式：
val al
浏览 4提问于2017-09-05得票数 2
Parquet文件格式允许数据分区。还有一个非常新的项目fastparquet，它提供了python实现。问题是，如果我在两个单独的python进程中有两个具有相同模式的数据帧，是否有可能将它们并行存储在parquet文件的两个单独的分区中？
浏览 0提问于2017-03-04得票数 1
1回答
CUDF错误处理大量的拼花文件
、、、、
我在目录里有2000份拼花文件。每个拼花文件的大小约为20 in。所使用的压缩是快速的。每个拼花文件的行如下所示：
+------------+-----------+-----------------+
| customerId | productId | randomAttribute |
+------------+-----------+-----------------+
| ID1 | PRODUCT1 | ATTRIBUTE1 |
| ID2 | PRODUCT2 | ATTRIBUTE2 |
| ID2 | PR
浏览 2提问于2019-09-26得票数 1
回答已采纳
1回答
我已经通过pandas和pandas.HDFStore()将大约800 GB的巨大数据帧存储到HDF5中。
import pandas as pd
store = pd.HDFStore('store.h5')
df = pd.Dataframe() # imagine the data being munged into a dataframe
store['df'] = df
我想用Impala来询问这个问题。有没有一种简单的方法可以将这些数据解析到Parquet中？或者Impala允许您直接使用HDF5？对于HDF5上的数据，还有其他选择吗？
浏览 15提问于2017-01-06得票数 0
我有一个包含拼图文件的文件夹。如下所示：
scala> val df = sc.parallelize(List(1,2,3,4)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
scala> df.write.parquet("/tmp/test/df/1.parquet")
scala> val df = sc.parallelize(List(5,6,7,8)).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]
sca
浏览 0提问于2017-03-27得票数 13
回答已采纳
1回答
使用datetime64ns列作为pandas.to_parquet并读取拼花文件的数据帧，datetime64ns列被转换为unixtime戳。
例如：2022-10-05 19:31:57.894835 -> 1664998317894835000
是否不能保存datetime64ns列的原样？
浏览 14提问于2022-10-05得票数 0
回答已采纳
全,
我们有很多离子格式的文件，在对数据进行分组和过滤之前，我们必须对其进行一些计算(它们的总大小约为1.3TB，每个文件约为200-300MB)。我试过做这两种不同的方法。
首先，将我需要的S3中的文件列表并行化，将其转换为RDDRow。然后从它创建数据帧。
val rdd = ss.sparkContext.parallelize(suspendedList, suspendedList.size).flatMap(chunk => {
Ranger.consumeStreamToRow(chunk, dfSchema.value)
})
val df = ss.createDa
浏览 0提问于2019-01-13得票数 0
回答已采纳
2回答
我正试着在数据库笔记本上通过熊猫阅读一个拼花文件。群集具有访问adls的权限。
import pandas as pd
pdf = pd.read_parquet("abfss://abc.parquet")
但是熊猫无法读懂它，并抛出了下面的错误。
ValueError Traceback (most recent call last)
<command-2342282971496650> in <module>
1 import pandas as pd
2 parquet_fi
浏览 0提问于2022-08-16得票数 0
回答已采纳
我有以下代码，可以从一个拼图文件加载一个pandas数据帧。拼图文件有一个名为the_date的列，我正在尝试创建一个按日期过滤的新数据帧。 df = pd.read_parquet('path/to/file.parquet')
start_date = datetime.datetime(2010, 1, 1)
df2 = df[df['the_date'] > start_date] 问题是df2拥有所有的df记录，而且根本没有过滤。从拼图加载数据帧后，是否需要进行任何类型的日期转换？会出什么问题呢？
浏览 18提问于2021-07-14得票数 0
回答已采纳
1回答
我从一个pandas数据帧开始，我想将它保存为一个压缩的拼图文件，所有这些都保存在内存中，而不需要在磁盘上执行中间步骤。我有以下几点：
bytes_buffer = BytesIO()
df.to_parquet(bytes_buffer)
bytes_value= bytes_buffer.getvalue()
with ZipFile('example.zip', 'w') as zip_obj:
zip_obj.write(bytes_buffer.getvalue())
但是我得到了这个编码错误：ValueError: stat: embedd
浏览 0提问于2020-03-20得票数 1
1回答
将数据(熊猫数据帧)添加到拼图存储中现有的dask数据帧的推荐方法是什么？ 例如，此测试间歇性地失败： import dask.dataframe as dd
import numpy as np
import pandas as pd
def test_dask_intermittent_error(tmp_path):
df = pd.DataFrame(np.random.randn(100, 1), columns=['A'],
index=pd.date_range('20130101', per
浏览 7提问于2020-04-29得票数 0
我是Spark的初学者，正在尝试理解spark数据帧的机制。当从csv加载数据时，我正在比较spark sql dataframe上sql查询的性能。我的理解是，一旦数据被加载到spark数据帧中，那么数据来自哪里(csv或parquet)就不再重要了。然而，我看到了两者之间的显着性能差异。我正在使用以下命令加载数据，并针对它编写查询。
dataframe_csv = sqlcontext.read.format("csv").load()
dataframe_parquet = sqlcontext.read.parquet()
请解释产生差异的原因。
浏览 2提问于2018-02-11得票数 1
我正在尝试将拼图文件读取到Pandas数据帧中。使用下面的API(或者即使我使用pd.read_parquet()包装器)，我被ValueError buffer source array is read-only击中了。 通过网上搜索，似乎与Cython不支持只读缓冲区有关，但我找不到任何解决方案来解决这个问题。 当应用程序接口抛出ValueError缓冲源数组为只读时，我如何将Parquet文件读入Pandas dataframe？ In [1]: import pandas as pd
...: import numpy as np
...: import pyarrow
浏览 44提问于2018-12-31得票数 1
我用熊猫制作了一个数据格式，并使用了to_parquet(.)直接写信给s3。
论点如下：
df.to_parquet('s3://bucket/fn.parquet', compression='gzip', engine='fastparquet', partition_cols=['col1'])
当我使用熊猫的pandas.read_parquet(url)时，数据就会很好地装载。
但是，当我使用modin.pandas.read_parquet(url)时，我会得到以下错误：
File "/home/mguo/
浏览 1提问于2021-06-23得票数 4
1回答
我正在学习使用python和py箭头的拼图文件。在压缩和最小化磁盘空间方面，拼花是很棒的。我的数据集是190 3MB的csv文件，当保存为snappy-compressed parquet文件时，该文件以单个3MB文件结束。
但是，当我将数据集保存为分区文件时，它们的大小加起来要大得多(61 my )。
下面是我试图保存的示例数据集：
listing_id | date | gender | price
-------------------------------------------
a | 2019-01-01 | M | 100
浏览 17提问于2019-10-13得票数 4
回答已采纳
我试图读取多个与选定的列到一个Pandas数据文件。这意味着拼板文件不能共享所有的列。我试图将一个filter()参数添加到pd.read_parquet()中，但似乎它在多个文件读取中不起作用。我怎么才能把这事做好？
from pathlib import Path
import pandas as pd
data_dir = Path('dir/to/parquet/files')
full_df = pd.concat(
pd.read_parquet(parquet_file)
for parquet_file in data_dir.glob(
浏览 4提问于2021-12-13得票数 1
当我对扎尔数据和地板数据进行基本上相同的计算时，基于扎尔的计算要快得多。为什么？是不是因为我在创建拼花文件时做错了什么？
我在一个jupyter笔记本中复制了假数据(见下文)来说明我所看到的行为。我想知道为什么基于zarr的计算比基于地板的计算要快几个数量级。
我在现实生活中使用的数据是地球科学模型数据。特定的数据参数并不重要，但每个参数都可以看作是一个具有纬度、经度和时间维度的数组。
为了生成zarr文件，我只需写出参数的多维结构及其维度。
为了生成拼图，我首先将三维参数数组“扁平化”成一个一维数组，这将成为数据帧中的一列。然后，我添加纬度、经度和时间列，然后将数据帧写成块。
此单元格具有
浏览 6提问于2020-02-26得票数 8
回答已采纳
我正试着从我的S3桶中读取大量的拼花文件。我们的目标是编写一些代码来读取这些数据，并使用熊猫/dask对其应用一些逻辑，然后将它们上传回S3。
每个部分包含大约130列和1行，其中一些文件可能在模式上有细微的变化。这些文件的路径根据它们所属的分组类别而不同，比如group1、group2和group3，如下所示：s3://path/to/my/files/{group_N}/filename1.parquet.gz。
在我的代码的早期阶段，我生成了一个字典(list_objects_V2和NextPaginationToken)，其中包含了作为键的group_name，并将该组下所有拼板路径的
浏览 10提问于2021-10-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
