我需要从一个大的numpy数组中保存一个dask数组。下面是一个最小的工作示例，展示了该过程。请注意，a是使用numpy.random创建的，但不幸的是，我不能使用dask创建数组。import numpy as npfrom dask.distributed import Client
a =
浏览 22提问于2020-02-20得票数 0
回答已采纳
1回答
在中，有一个名为的类，对应于NumPy类。NumPy类具有getdata和getmask方法，这似乎也是Dask类应该有的；然而，我只能在getdata 中将Dask类的getmask提到为红色文本，当我试图在脚本中调用它时，我得到了那么，<em
浏览 11提问于2022-08-01得票数 0
回答已采纳
我正在将代码转换为使用dask数组而不是numpy数组。# this used to be a numpy array, created like so:da = dask.array.zeros((total_months,)
浏览 2提问于2018-10-22得票数 1
回答已采纳
我来自C++，习惯于使用表达式模板的库，其中的矩阵操作如下：不要创建临时文件和元素操作是在循环中完成的，而不会为右侧的操作创建临时矩阵对于Dask数组，这是可能的吗？Dask的“惰性评估”是否也是这样做的，或者这个术语只是指操作图的按需计算。
谢谢。
浏览 2提问于2018-11-10得票数 1
2回答
我需要将dask.Bag of {'imgs': np.array(img_list), 'lables': np.array(label_list)}转换成两个独立的dask.Array-s。为什么我创建了袋子而不是直接去数组？因为我正在通过map()多次处理这个包，所以没有对Array做同样的处理。
现在，下面的代码适用于小型数据集，但显然不能用于更大的数据。= da.from_array(np.array([item[&#x
浏览 4提问于2017-11-28得票数 3
回答已采纳
我有许多需要存储为dask数组的大型numpy数组。在尝试从.npy加载每个数组，然后将其转换为dask.array时，我注意到内存使用率几乎与常规numpy数组一样多，即使在将arr加载到dask.array之后执行del arr之后也是如此。: 1
print(f'Array ref count after conversion: {sys.getr
浏览 2提问于2021-07-23得票数 0
1回答
我有一个45年的数据，名为ds，格式为netCDF(.nc)。它包含三个坐标：time、latitude和longitude。1972-01-01 ... 2017-12-31T23:00:00 FFDI (time, latitude, longitude) float32 dask.array1525925611 Conventions: COARDS 我
浏览 24提问于2019-03-01得票数 2
回答已采纳
1回答
我需要通过连接两个数组(最好是dask数组)为dask创建一个多索引。我为numpy找到了以下解决方案，但正在寻找dask解决方案 cols=100000
index = np.array([x1 + x2 +x3 for x1,x2,x3 in zip(repeat(1cols ).astype('str'),repeat('-',cols ),repeat(1,cols ).astype('str'))]) 如果我传递给它d
浏览 5提问于2019-04-26得票数 0
3回答
我正在使用python与dask一起创建一个逻辑回归模型，以便在培训时加快速度。from dask_ml.linear_model impo
浏览 0提问于2019-06-06得票数 1
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。(旁白:这与PySpark的方法没有什么不同)
但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后将列表转换为索引的
浏览 1提问于2016-06-03得票数 1
回答已采纳
1回答
我用python3和Dask来拟合一个logistic回归模型。我有两个numpy数组x，y，我使用这段代码将它们转换为dask数组。data = da.from_array(data, chunks=(1000, data.shape[1]))然后
from dask_ml.linear_model找到了，这与dask有关，但我正在一个数组上进行训练。
浏览 0提问于2019-06-13得票数 0
我试图将一个函数应用到一个Dask数组，，虽然相同的函数在numpy数组上工作，但它不工作在一个Dask数组上。下面是一个示例：q = numpy.array([[1,2,3],[4,5,6]])
s = numpy.stack([w,q]
浏览 0提问于2020-05-21得票数 2
回答已采纳
目前，我可以创建(嵌套的)对象列表，这些对象是热切计算的项和延迟项的组合。我可以将这些numpy数组传递给dask
浏览 0提问于2018-06-29得票数 2
回答已采纳
我有一个dask dataframe对象，但是我希望有一个dask数组。我怎样才能做到这一点？
浏览 0提问于2018-08-31得票数 6
我有一个函数，它接受多个2D数组，并创建两个形状相同的新数组。它最初是为了只支持numpy数组而编写的，但是如果看到“块”属性，则会被“黑客攻击”以支持dask数组。一个使用xarray DataArrays的用户指出，这个函数现在返回dask数组，因为DataArray有一个“块”属性。我想知道dask/xarray专家是否能告诉我支持所有3(4)的最
浏览 0提问于2018-08-09得票数 3
回答已采纳
Dask集合提供了像和这样的酸洗方法。尽管IIUC集合本身不会传输给工作人员。取而代之的是，图被提取、优化并转换为任务，然后在工作进程上(序列化数据依赖项，如Pandas和NumPy数组)。那么，这些Dask集合的酸洗方法在什么情况下实际使用呢？
浏览 6提问于2020-05-28得票数 0
2回答
在对包含numpy数组的FutureWarning进行foldby操作时，我从dask / numpy获得了一条信息非常少的foldby消息。这会产生正确的结果，但也会从NumPy产生许多NumPy消息(看起来每个分区一条)，尽管看起来它们似乎来自dask。dask/异步c.py:247: FutureWarning:元素级比较失败；返回标量，但将来将执行元素级比较返回函数(*a
浏览 5提问于2017-05-05得票数 3
回答已采纳
长话短说：长话短说：
在物理上，两个dask阵列的值具有相同的时间维度(0到5秒)，
浏览 0提问于2019-09-13得票数 1
从列表的dask.Series创建dask.array的最有效方法是什么？该系列由500万个元素列表300组成。它当前被划分为500个分区。np.array)(y) [delayed(list)(x)da = delayed(dask.array.concatenate)(pt, axis=1)
da = dask.array.from_delayed(da, (vec
浏览 18提问于2017-12-26得票数 1
回答已采纳
我正在尝试在一个函数中执行一些任务操作，该函数通过分布式发送给工作人员。代码的简化版本是X_ = dask.array.from_array(...)X = dask.persist(X_) with distributed.local_client() as c: return dask<
浏览 5提问于2017-02-14得票数 0
云服务器
ICP备案
云直播
对象存储
即时通信 IM
腾讯云开发者
