PyArrow / Dask to_parquet分区所有空列
PyArrow是一个用于在Python和Apache Arrow之间进行高效数据转换的库。它提供了一种快速、灵活和可扩展的方法来处理大规模数据集。
Dask是一个用于并行计算的灵活库，它可以扩展到多个计算节点上，以处理大规模数据集。它提供了类似于Pandas的API，可以在分布式环境中进行数据处理和分析。
to_parquet是PyArrow和Dask中的一个函数，用于将数据集保存为Parquet文件格式。Parquet是一种列式存储格式，具有高效的压缩和查询性能。to_parquet函数可以将数据集按照指定的分区方式保存到Parquet文件中。
分区是将数据集按照某个列或多个列的值进行划分的过程。分区可以提高查询性能，使得只需要加载特定分区的数据，而不是整个数据集。分区可以基于任意列的值进行划分，例如日期、地理位置等。
空列是指在数据集中某些分区中，某个列的所有值都为空。to_parquet函数可以处理分区中的空列，它会将空列保存为Parquet文件中的一个特殊值，以便在查询时能够正确处理。
PyArrow和Dask的to_parquet函数的优势包括：
- 高效性：PyArrow和Dask使用了列式存储和压缩技术，可以提供高效的数据存储和查询性能。
- 可扩展性：Dask可以扩展到多个计算节点上，以处理大规模数据集。
- 灵活性：to_parquet函数可以按照指定的分区方式保存数据集，提供了灵活的数据组织方式。
- 兼容性：Parquet是一种通用的数据格式，可以与其他数据处理工具和系统进行无缝集成。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据万象（CI）：https://cloud.tencent.com/product/ci
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云数据仓库（CDW）：https://cloud.tencent.com/product/cdw
- 腾讯云云数据库（TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（MPS）：https://cloud.tencent.com/product/mps
- 腾讯云块存储（CBS）：https://cloud.tencent.com/product/cbs
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
请注意，以上链接仅供参考，具体的产品选择应根据实际需求和情况进行评估。
相关·内容
在将Dask dataframe分区写入parquet时，我注意到reading_parquet在冲突的元数据/模式上失败。这是因为在一些分区中，列完全为空/ np.nan，而在另一些分区中，它们是用值填充的。在此之前，我已经转换了我的分区的数据类型： df = df.astype(dtypes) PyArrow无法读取我的分区拼图文件，因为只有null的列被重新分配了数据类型'null‘。一些分
浏览 19提问于2019-09-17得票数 0
回答已采纳
当我使用带有pyarrow 0.11.1的dask=1.2.2时，我没有观察到这个行为。在更新(dask=2.10.1和pyarrow=0.15.1)之后，当我使用带有给定的partition_on和write_index参数的to_parquet方法时，我无法保存索引。(path / file_name,
浏览 9提问于2020-02-05得票数 2
2回答
我想通过文件重新分区将所有这些文件合并到最佳数量的文件中。我使用pandas和pyarrow从目录中读取每个分区文件，并将所有数据帧连接在一起，并将其作为一个文件写入。然后，我使用dask to_parquet，append功能将新文件添加到该拼图文件夹中。 temp_combine_df.repartition(partition_
浏览 11提问于2020-05-22得票数 1
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。import pandas as pd {
"A": [1, 1, 2,dd.from_pandas(df, npartitions=
浏览 5提问于2021-04-09得票数 1
我有一个dask进程，它在每个dataframe分区上运行一个函数。我让to_parquet执行运行函数的compute()。
ddf.to_parquet('/some/folder/data', engine='pyarrow
浏览 12提问于2022-03-16得票数 2
回答已采纳
1回答
当我使用Pandas和Dask将同一张表保存到拼图中时，Pandas创建了一个4k文件，其中Dask创建了一个39M文件。创建数据帧 import pandas as pdimport pyarrow.parquet as pqpq.write_table(pa.Table.from_pandas(df), 'example-pyarrow.parquet')
#
浏览 12提问于2021-08-06得票数 3
回答已采纳
下面的Dask代码尝试将数据存储在拼板中，再读取一次，添加一列，并在添加的列中再次存储数据。这是代码：import dask.dataframe as dd
'height': [6.21, 5.12, 126, 133]ddf.to_parquet('C:\\temp\\test3', engin
浏览 2提问于2022-03-27得票数 1
回答已采纳
我有一个数据帧，它有一个名为key的列，值的范围从00到FF (以字符串形式)。理想情况下，我会将数据帧编写为每个key值一个或多个文件。也就是说，我不希望一个分区有多个可能的key值。我目前的方法不起作用，因为它只生成一个文件： import dask.dataframe as dd
"/Users/ecerulm/Downloads/output.parquet') 有没有办法确保分区在一个列上被“干净地”
浏览 20提问于2020-11-09得票数 1
当我在partition_on ()中向dask_dataframe.to_parquet变量提供列列表时，它按照提供的列的顺序创建了类似目录的结构，更像是嵌套结构。然而，parquet的实际文档表明它是一个列存储数据结构，如果我们向它提供了一个列列表，那么它将根据这些列创建一个分区:e指定列的所有行(如果不提供行大小)都在一个分区中。达斯克to_parquet这样做对吗？
浏览 1提问于2019-12-03得票数 0
回答已采纳
熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。例如，使用Dask来(i)将它们连接起来，(ii)将它们重新划分到一定数量的分区，这样Dask一次就可以处理2列而不会炸掉内存？我尝试了后一种解决方案，并做到了：df = dd.read_parque
浏览 29提问于2022-06-20得票数 1
我有一个用pandas/pyarrow编写的分区气象站读数目录。c.to_parquet(path=f"data/{filename}.parquet", engine='pyarrow', compression='snappy', partition_cols=engine.read_metadata( 318 paths,
/usr/local/lib/
浏览 73提问于2021-08-13得票数 1
我有数千个csv文件，这些文件，使用dask，我已经重新划分和转换为地板使用达克。所以，我有一个有100个分区的拼花文件，但是现在我想读取这个拼花文件，并写出一个每个符号的拼花文件(股票数据)。此外，UnderlyingSymbol列中有4702个唯一符号。')
~/miniconda3/envs/ds2/lib/python3.9/site-packages/dask/dataframe/core.py in t
浏览 16提问于2021-08-20得票数 0
回答已采纳
我正在使用spark将其保存到镶木面板上，然后尝试通过dask阅读。问题是未使用pyarrow引擎回读已分区的列。#write to parquet df2 = dd.read_parquet(&
浏览 0提问于2018-05-24得票数 1
1回答
我使用dask 2.9.1当我从多个文件加载数据时，我不会得到结果dask数据文件中的偏差。48, "H")
df2 = df[24:].sort_index()dd.from_pandas( df2,
浏览 1提问于2020-01-02得票数 1
回答已采纳
3回答
以下操作工作正常，但耗时近2h：ddf.read_csv('data.csv').to_parquet('data.pq')
有办法并行化吗文件data.csv是~2G未压缩，有1600万行22列。
浏览 1提问于2018-05-24得票数 4
回答已采纳
data.parquetdataset/field1=B/field2=Y/data.parquetimport dask.dataframe as dd
在这里，field1和field2是我的datafra
浏览 6提问于2022-07-06得票数 1
回答已采纳
我使用熊猫来使用带分区的to_parquet函数编写一个拼花文件。它在分区中添加了一个新的parquet文件，当您读取数据时，每次运行脚本时都会得到所有数据。从本质上说，数据每次都会追加。
有没有办法在每次你用熊猫写的时候覆盖这些数据？
浏览 19提问于2022-02-17得票数 3
2回答
tl;drdata.loc[data[column].lt(value)].to_parquet(path)
data = dd.read_parque
浏览 4提问于2021-03-22得票数 1
回答已采纳
我指的是这个问题-- dask dataframe read parquet schema difference 但是Dask返回的元数据并不表示不同数据帧之间的任何差异。最多有100个数据帧，有717列(每个数据帧大小约为100MB)。try:
df = dd.read_parquet(data_filenames, columns=list(cols_to_retrieve), engine='pyarrow')我将此添加到数据帧的创建中(使用pandas to_parque
浏览 21提问于2019-01-09得票数 0
有没有办法从pandas DF生成这种格式的pyarrow模式？我有一些有数百列的文件，所以我不能手动把它打出来。), ]
我想把它保存在一个文件中，然后在用to_parquet但是，我知道我可能会遇到分区中完全为空的列或混合数据类型的对象列的问题。
浏览 0提问于2020-03-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
