PyArrow read_table筛选器空值

文章/答案/技术大牛

发布

1回答

parquet、pyarrow

import pyarrow as pafrom datetime import datetimeprint(table_ad_sets_ongoing.num_rows) 但是我有时也会在这个end_time字段中有一个空值filters = [('end_time'

浏览 27提问于2021-07-29得票数 2

3回答

在相同环境下使用CLI读取DataFrame与可执行文件时的不同行为

python、pandas、pyinstaller、parquet、pyarrow

请考虑以的形式执行以下程序import pyarrow print(pyarrow----------------------------------------------正如您所看到的，传递columns=[]在可执行文件中给出了空的read_table进一步调用，后者调用，后者返回对的调用，然后返回对Scanner类的静态方

浏览 4提问于2021-07-22得票数 10

回答已采纳

1回答

pyarrow数据集to_table按索引过滤

python、indexing、dataset、pyarrow

我有一个pyarrow数据集，我正在尝试按索引进行过滤。pyarrow文档提供了按列或“字段”进行筛选，但不清楚如何对索引筛选执行此操作。然后，我设法通过将该值用作我的字段来过滤索引，即：dataset.to_table(filter=ds.field("__index_level_0__") == 'index_to_search_for

浏览 0提问于2021-07-29得票数 1

2回答

将日期列与NAT(null)从pandas保存到parquet

python-3.x、pandas、parquet、amazon-athena、pyarrow

我需要将可为空的整型日期值('YYYYMMDD')读取到pandas，然后将此pandas数据帧保存为Date32Day格式，以便Athena Glue Crawler分类器将该列识别为日期。\array.pxi", line 265, in pyarrow.lib.array File "pyarrow\array.pxi", line 80, in pyarrow.lib.，并且pyarrow会将日期列推断为Da

浏览 32提问于2020-07-14得票数 3

1回答

熊猫read_parquet()错误: pyarrow.lib.ArrowInvalid:从timestamp[us]到timestamp[ns]的转换将导致超出范围的时间戳

python-3.x、pandas、datetime、parquet

但是，当我尝试用Pandas读取数据时它抛出错误： File "pyarrow/error.pxi", line 99, in pyarrow.lib.check_statuspyarro

浏览 19提问于2022-11-16得票数 0

回答已采纳

3回答

如何在Dask read_parquet函数中过滤不同分区

python、pandas、dask、parquet

这里报告了我用来读取拼图文件的函数 ddf = dd.read_parquet(path, engine="pyarrow", index=False, filters=filters) 其中path是文件), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-4') ('AIRCRAFT', '=','Aircraft-5')] 那么加载的数据

浏览 47提问于2021-06-22得票数 0

2回答

PyArrow表:筛选行

python、pandas、pyarrow

我有一个来自等离子DataStore的RecordBatch，我可以将它读入pyarrow.RecordBatch或pyarrow.Table。有没有办法在pyarrow.Table上使用新的Dataset API (可以在ParquetDataset上使用)中的filter方法？这将允许我使用这样的过滤器：看一下源代码，pyarrow.Table和pyarrow.RecordBa

浏览 0提问于2020-06-17得票数 2

1回答

如何纠正csv文件混合类型，如果使用吡箭头写入数据集的拼板？

python、file、types、format、pyarrow

我目前正在使用pyarrow将一堆.csv文件从目录中读取到数据集中，如下所示：据我了解，如果字符串列中有整数值("0")，PyArrow

浏览 11提问于2021-12-25得票数 1

回答已采纳

2回答

计算网状结构表达式

r、reticulate

如何在网状py箭头计算表达式中使用筛选器。在基础上，我有一个pyarrow数据集(在本例中称为woodcan)，希望将其转换为带有筛选器的表。

浏览 6提问于2022-08-16得票数 0

回答已采纳

2回答

如何在Python中使用pyarrow读取带条件的拼图文件

python、filter、conditional-statements、parquet、pyarrow

import pyarrow as paimport pandas as pd compression=compression) df = pd.io.sql.read_

浏览 0提问于2018-02-10得票数 9

1回答

使用dask.dataframe.read_parquet为拼花分区字段指定dtype

python、pandas、dask、parquet、pyarrow

我正在使用pyarrow引擎。我是否需要为pyarrow函数指定一个kwarg？如果是这样，那会是什么呢？在后面的代码中，我调用DataFrame.query来筛选值，因此dtype对于布尔值很重要，例如。

浏览 21提问于2022-05-30得票数 2

2回答

Pyarrow.lib.Schema对pyarrow.parquet.Schema

python、pyspark、parquet、pyarrow

当我试图跨多个分区的parquet文件加载时，一些模式会被推断为无效，因为缺少了用空值填充模式的数据。我认为在pyarrow.parquet.ParquetDataset中指定模式会解决这个问题，但我不知道如何构造正确的pyarrow.parquet.Schema类型的模式。一些示例代码：import pa.parquet as pq test_schema = pa.schema([pa.field('field1','

浏览 0提问于2018-12-11得票数 3

回答已采纳

1回答

具有多个注释字符的Read_Table

pandas

在read_table中使用comment='#‘只读4列并忽略注释是很容易的。谢谢你的建议。

浏览 6提问于2015-03-05得票数 1

2回答

使用PyArrow读取CSV

python、pyarrow

由于内存限制和处理空值(在我的数据中很常见)的困难，Pandas不会提供帮助。我检查了PyArrow文档，有读取拼图文件的工具，但我没有看到任何有关读取CSV的内容。我是不是错过了什么，或者这个特性是否与PyArrow不兼容？

浏览 2提问于2018-09-20得票数 4

1回答

如何利用IO流生成PyArrow数据集？

pyarrow

我有一个python程序，它以文件的形式读取一个拼图文件，并试图用它来构造一个pyarrow数据集。我可以使用以下方法将文件编辑器读入比罗罗表中：但是，将文件读取程序直接传递给数据集初始化程序会导致错误这是有意义的，因为pyarrow文档显示ds.dataset函数不接受filereader作为数据源： import pyarrow.dataset a

浏览 8提问于2022-01-25得票数 0

2回答

使用pyarrow.dataset读取存储为csv的分区数据集

csv、pyarrow、data-partitioning、apache-arrow

pyarrow中有没有办法读取由csv文件组成的分区数据集，这些文件的列名没有存储在第一行？我试图做的本质上是：from pyarrow import fsmy_data = dataset.to_table().to_pandas() 但

浏览 29提问于2021-03-11得票数 0

1回答

使用Dask读取单个大型压缩csv (对于内存而言太大)

python、dask、dask-distributed

我尝试过Dask的压缩，但由于read_table =‘gzip’似乎需要压缩，所以似乎不起作用。我是不是漏掉了什么？还是有更好的方法？下面是我尝试调用read_table的方式(请注意，名称、类型和空值在其他地方定义)： df = dd.read_table(uri, compression='gzip',

浏览 38提问于2021-04-02得票数 3

1回答

pyarrow.lib.ArrowInvalid:无效空值

python、apache-beam、pyarrow

箭头和模式验证数据，我不知道为什么会收到这个错误：为了调试，我将数据保存在一个文本文件上，并且没有任何问题。

浏览 8提问于2022-03-14得票数 1

1回答

如何确保在查询分区数据文件时，dask不会从磁盘读取不必要的文件？

python、pandas、dask、pyarrow、dask-dataframe

data.parquetimport dask.dataframe as dd df = dd.read_parquet("dataset/", engine="pyarrow

浏览 6提问于2022-07-06得票数 1

回答已采纳

2回答

Elasticsearch存在过滤器，如何将空字符串设置为空值？

python、elasticsearch

我尝试将名称字段索引到elasticsearch，名称可能是字符串或空字符串("")，我想搜索包含空值的所有名称，所以我使用exists筛选器，但是对于exists筛选器，空值不是空值。{ } 如何将空字符串作为e

浏览 2提问于2016-04-22得票数 2

回答已采纳

点击加载更多