异步写入Zarr的Xarray

文章/答案/技术大牛

发布

1回答

dask、python-xarray、zarr

我正在使用Dask分布式集群在循环中编写Zarr+Dask支持的Xarray数据集，而dataset.to_zarr正在阻塞。当存在阻碍循环继续的掉队块时，这真的会减慢速度。有没有一种方法可以异步执行.to_zarr，这样循环就可以继续下一次数据集写入，而不会被几个掉队的块阻塞？

浏览 39提问于2019-12-11得票数 2

回答已采纳

1回答

向现有的Zarr存储添加属性

python、python-xarray、zarr

我有一个使用xarray和zarr打开的zarr商店：其中grid_file_name指向一个本地zarr目录。我需要向商店添加一些属性，我可以通过以下方式将它们添加到xarray对象中： "conversion_software_version": commit_sha, "sourc

浏览 15提问于2022-09-13得票数 0

1回答

在远程zarr存储上提供zarr.errors.GroupNotFoundError的open_mfdataset()

python-xarray、zarr、fsspec

我正在寻找使用xarray.open_mfdataset()读取远程zarr存储我要买一台zarr.errors.GroupNotFoundError: group not found at pathimport xarray as xruri = "s3://era5-pds/zarr/2020/12/="zarr</e

浏览 50提问于2021-02-11得票数 2

回答已采纳

1回答

如何从xarray数据集创建并返回Zarr文件？

python、file、geospatial、python-xarray、zarr

如何从xarray数据集创建和返回文件new_zarr.zarr？我知道xarray.Dataset.to_zarr()存在，但这会返回一个ZarrStore，我必须返回一个bytes-like对象。我尝试过使用tempfile模块，但不确定如何继续，如何将xarray.Dataset写到可以下载的.zarr文件的bytes-like object中？

浏览 5提问于2022-10-19得票数 0

1回答

从Xarray往返Zarr数据

python、amazon-s3、dask、xarray、zarr

在xarray中，我使用ds.to_zarr()将数据集写入S3，然后使用xr.open_zarr()查看是否获得相同的数据集。我在xarray中的数据集如下所示：Dimensions: (nv: 2, reference_time: 11, time:(time, y, x) float64 dask.array<shape=(11, 3840, 4608)

浏览 4提问于2018-04-10得票数 1

1回答

使用xarray将zarr文件转换为netcdf，导致内存分配错误。

python、memory-leaks、netcdf、python-xarray、zarr

我有一个zarr文件，我想把它转换成netcdf，它太大了，不适合内存。我的电脑有32‘t的内存，所以写5.5GB的块应该不是问题。然而，在运行此脚本后的几秒钟内，我的内存使用量很快就超过了可用的~20 my，脚本就失败了。import xarray as xr fpath_

浏览 14提问于2022-08-17得票数 1

回答已采纳

1回答

xarray.Dataset.to_zarr:如果存在用append_dim覆盖数据

python、dask、python-xarray、zarr

使用，可以将xarray写入.zarr文件，并使用append_dim参数沿维度追加新数据。这里，我将两个数据集写到同一个.zarr文件中。数据集是沿着space维度追加的。两个数据集都包含相同的空间坐标"IL"。("weather.za

浏览 2提问于2020-12-17得票数 1

回答已采纳

2回答

在没有重写整个数据集的情况下，将新的Xarray* DataArray添加到现有的扎尔存储区？*

dask、python-xarray、zarr

import numpy as npimport zarr Dimensions: (x: 2, y: 3) * x (x) <U1 'a' 'b'z = ds.to_zar

浏览 7提问于2019-09-21得票数 3

1回答

扎尔:提高xarray对S3的写入性能

python、python-xarray、zarr、python-s3fs

将xarray数据集写入AWS S3需要花费惊人的时间，即使实际上没有用compute=False编写数据。("s3://bucket/target.zarr")即使没有实际计算，to_zarr也会从与S3桶位于同一区域的EC2中获取大约6秒的。查看调试日志，似乎有相当多的重定向正在进行，因为aiobot

浏览 0提问于2021-03-11得票数 1

回答已采纳

1回答

同时将xarray数据集写入zarr* --如何有效地使用dask分布式扩展*

python、dask、python-xarray、dask-distributed、zarr

TLDR:我有一个工作流程，它在S3上获取栅格数据集的列表，并生成一个dask数组支持的xarray数据集。我需要迭代多个组，其中每个组的工作流获取属于该组的栅格数据集，并生成相应的xarray数据集。现在，我希望将数据集中的数据写

浏览 6提问于2021-03-23得票数 1

回答已采纳

2回答

如何使用dask和xarray加载和处理zarr文件

python、dask、python-xarray、zarr

我在s3中有每月的zarr文件，其中包含网格温度数据。我想为一个经度/经度拉取多个月的数据，并创建该时间序列的数据帧。(file, s3=s3) ds = zarr.sel(latitude我的计划是将方法更改为一次处理一个文件，然后返回一个数据帧。然后，我将调用client.map()并生成所有

浏览 10提问于2020-04-17得票数 1

1回答

大块头的问题(达斯克，xarray，zarr)

python、dask、python-xarray、zarr

我想将一个xarray.dataset保存为一个.zarr文件，但是我不能将我的块配置成统一的，而且它也不会保存。我试过了：在使用dataset.chunk(n) ->时更改块大小仍指打开数据集时的自动块。代码：import glob local_dir = &

浏览 0提问于2019-05-08得票数 0

回答已采纳

1回答

包装在xarray数据集中的dask数组的子集上的并行任务

dask、python-xarray

我有一个很大的xarray.Dataset存储为zarr。我想对它执行一些自定义操作，这些操作不能仅使用Dask集群将自动处理的类似numpy的函数来完成。因此，我将数据集划分为较小的子集，并为每个子集向我的Dask集群提交以下形式的任务 def my_task(zarr_path, subset_index): ds = xarray.open_zarr(zarr_pat

浏览 17提问于2020-07-13得票数 2

1回答

zarr不考虑xarray中的区块大小，并恢复为原始区块大小

python、python-xarray、zarr

我打开一个zarr文件，然后对其重新分块，然后将其写回另一个zarr存储。然而，当我重新打开它时，它并没有考虑到我之前写的块大小。以下是jupyter的代码和输出。你知道我哪里做错了吗？bathy_ds = xr.open_zarr('data/bathy_store')ne

浏览 58提问于2021-05-11得票数 1

回答已采纳

1回答

假设我有一个具有n个组的zarr文件，每个组只有一个zarr数组，并且至少共享3个维度，但可能还有其他的，那么我如何从所述zarr根文件加载xarray数据集，同时调整它们的公共维度并保留它们的属性？目前，我正在试验一种黑客，我列出了使用glob的扎尔个人团体，并将其作为名单提供给xr.open_mfdataset(list_of_zarr_groups,engine=‘zarr’，但肯定有更好<e

浏览 6提问于2022-07-29得票数 1

1回答

初始化大于内存的Xarray数据集

python、dask、python-xarray、zarr

我想初始化一个非常大的XArray数据集(如果可能的话在磁盘上)，以便以后处理--数据集的各个部分(空间子集)将由不同的脚本填充。MemoryError: Unable to allocate 483.我正在寻找这样的解决方案，用的是普通的扎尔：root = <e

浏览 6提问于2022-09-19得票数 0

回答已采纳

1回答

xarray:使用map_blocks将结果转储到.zarr存储中的内存数组比内存数组大

python、arrays、dask、python-xarray

，该函数从一个单独的文件中获取Numpy<代码>E29</code>数组的子集，然后将它们插入到DataArrayThen转换为xarray.Dataset的适当位置，并为DataArrayThen尝试通过to_zarr存储到磁盘中的名称。Problem：我的函数将.zarr写入磁盘，而不写入来自.zarr的值我认为这可能是我需要在map_bloc

浏览 8提问于2021-12-22得票数 1

回答已采纳

1回答

打开包含多个组的远程zarr存储，并使用xarray保存坐标

python-xarray、zarr、fsspec

我想读一读https://hrrrzarr.s3.amazonaws.com/index.html#sfc/20210208/20210208_00z_anl.zarr/的远程zarr存储。zarr商店的信息请访问https://mesowest.utah.edu/html/hrrr/zarr_documentation/zarrFileVariables.html 我

浏览 18提问于2021-02-12得票数 2

回答已采纳

1回答

打开远程zarr存储时获取KeyError '.zmetadata‘

python-xarray、zarr、fsspec

尝试使用xarray从s3读取zarr存储。获取键错误。有什么想法吗？import fsspec uri = "s3://era5-pds/zarr/2020/12/data/eastward_wind_at_10_metres.zarr/*", "eastward_wind_at_10_metres.zarr", recur

浏览 70提问于2021-02-11得票数 1

回答已采纳

2回答

如何使用整数dtype对xarray* / NaN中的zar值进行编码？*

encoding、python-xarray、zarr

我有一个包含NaN的大型xarray DataArray，我想用zarr保存它。我想要最小化文件大小，并接受丢失一些位精度- 16位应该是可以的。

浏览 0提问于2019-04-04得票数 0

点击加载更多