从numpy到chunked dask数组读取稀疏数组
numpy是Python中用于科学计算的一个重要库，它提供了多维数组对象和一系列用于操作数组的函数。numpy的核心是ndarray（N-dimensional array）对象，它是一个多维数组，可以存储相同类型的数据。
稀疏数组是一种数据结构，用于存储大规模数据中大部分元素为零的情况。相比于密集数组，稀疏数组可以节省存储空间和计算资源。在处理大规模数据时，稀疏数组常常能够提高计算效率。
在numpy中，可以使用稀疏数组来表示和处理稀疏数据。numpy提供了多种稀疏数组的表示方式，包括COO（Coordinate）格式、CSR（Compressed Sparse Row）格式和CSC（Compressed Sparse Column）格式等。
使用numpy读取稀疏数组时，可以使用COO格式来表示。COO格式使用三个数组分别存储非零元素的行索引、列索引和对应的值。通过这种方式，可以高效地存储和操作稀疏数组。
除了numpy，还可以使用chunked dask数组来读取稀疏数组。Dask是一个用于并行计算的灵活库，它可以处理大规模数据集，并提供了一种延迟计算的方式。chunked dask数组是一种将大规模数据集分成多个块进行处理的数据结构，可以有效地处理大规模稀疏数组。
使用chunked dask数组读取稀疏数组时，可以将稀疏数组分成多个块，并使用dask.array模块中的函数来处理这些块。通过这种方式，可以充分利用计算资源，并提高处理效率。
总结起来，从numpy到chunked dask数组读取稀疏数组的过程可以分为以下几个步骤：
- 使用numpy读取稀疏数组，可以选择COO格式来表示。
- 将稀疏数组分成多个块，可以使用dask.array模块中的函数来处理。
- 使用chunked dask数组来处理稀疏数组，可以充分利用计算资源并提高处理效率。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（Mobile）：https://cloud.tencent.com/product/mobile
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
相关·内容
有了一个很大的3D NumPy数组(其中大部分是零)，我正在尝试将它转换为Dask中的稀疏数组的分块版本 import sparse
import dask.array as da
input_arr = np.load(...)
chunked_arr = da.from_array(input_arr, (32,32,32)).map_blocks(sparse.COO) AFAIK分块工作，但输出数组保留输入的全零，因此chunked_arr的大小等于input_arr的大小。有没有一种方法可以在省略所有零的同时加载输入？
浏览 6提问于2019-01-22得票数 2
1回答
稀疏CSR阵列的核外处理
、、、、
如何在使用Python保存在磁盘上的稀疏CSR数组的块上并行应用一些函数？按照顺序，这可以通过使用joblib.dump保存CSR数组、用joblib.load(.., mmap_mode="r")打开它并逐一处理行块来实现。用能更有效地做到这一点吗？
特别是，假设不需要对稀疏数组进行所有可能的核心操作，而只需要并行加载行块(每个块是一个CSR数组)并将某些函数应用到它们(在我的例子中，这将是来自scikit-learn的estimator.predict(X) )。
此外，磁盘上是否有适合此任务的文件格式？spark.mllib可以工作，但我不确定作为内存映射加载的CSR数组
浏览 3提问于2017-07-17得票数 43
从一个库中，我得到一个函数，它读取一个文件并返回一个numpy数组。
我想用多个文件中的多个块构建一个Dask数组。
每个块都是在文件上调用函数的结果。
当我要求Dask计算时，Dask会要求函数同时从硬盘读取多个文件吗？
如果是这样的话，如何避免呢？我的电脑没有并行文件系统。
示例：
import numpy as np
import dask.array as da
import dask
# Make test data
n = 2
m = 3
x = np.arange(n * m, dtype=np.int).reshape(n, m)
np.save('0.npy'
浏览 0提问于2018-08-06得票数 1
我有一系列在不同时间记录的N张图像。我已经将图像堆叠到一个3-D dask数组中，并沿着时间轴对它们进行重新分块。我现在想在图像中的每个像素位置执行线性拟合，但在尝试放大时使用da.map_blocks时遇到以下错误：TypeError: expected 1D or 2D array for y 我找到了另一个帖子，applying-a-function-along-an-axis-of-a-dask-array，与此相关，但它没有解决专门设置块大小的问题。在使用da.apply_along_axis时，我发现了一个与dask-performance-apply-along-axis中报告
浏览 22提问于2020-06-12得票数 1
背景
我有一个列表，其中包含了经过预处理并保存为.npy二进制文件的1000个图像堆栈(3D numpy数组)的路径。
案例研究，，我想计算所有图像的平均值，为了加快分析速度，我想并行处理。
使用dask.delayed的方法
# List with the file names
flist_img_to_filter
# I chunk the list of paths in sublists. The number of chunks correspond to
# the number of cores used for the analysis
chunked_list
# Sc
浏览 0提问于2017-10-26得票数 4
回答已采纳
我试图读取混合文件(npy，csv等)的未知大小使用达斯克。文件将被转换为数组，并在进行一些涉及切片的操作之前合并为一个数组。
但是，根据数组的创建方式，我注意到了明显的速度差异。考虑从csv创建数组的以下两种方法：
使用numpy.readtxt和dask.array.from_array，
使用dask.dataframe.read_csv和dask.dataframe.to_dask_array。
现在，简单地迭代第一个数组比迭代第二个数组快近1000倍。我将假设这是因为数组是使用内存中的一个对象创建的。
据我所知，第一个数组由单个块组成，因此迭代它的速度相对较快。然而，
浏览 3提问于2019-12-11得票数 0
回答已采纳
1回答
我正在尝试将我的代码基从numpy数组转换为dask，因为我的numpy数组超过了Memory Error限制。但是，我逐渐了解到可变数组的特性还没有在dask arrays中实现，所以我得到了
NotImplementedError: Item assignment with <class 'tuple'> not supported
我的代码有什么解决办法吗-
for i, mask in enumerate(masks):
bounds = find_boundaries(mask, mode='inner')
X2, Y2 =
浏览 4提问于2019-10-08得票数 0
回答已采纳
1回答
比一大块的矮子慢
、、
我是一个新的dask用户，我试图在我的程序中运行函数点。我注意到dask的函数点比它的numpy版本慢，即使我在整个矩阵中只使用了一个块。如何解释这种行为？
import dask.array as da
import numpy as np
x = da.random.normal(10, 0.1, size=(20000 * 100000), chunks=(20000 * 100000))
z = x.dot(x)
%time z.compute()
'''
CPU times: user 1min 1s, sys: 17.3 s, total: 1min 18
浏览 6提问于2022-08-18得票数 0
回答已采纳
我试图将一个函数应用到一个Dask数组，，虽然相同的函数在numpy数组上工作，但它不工作在一个Dask数组上。下面是一个示例：
import dask.array as da
w = numpy.array([[6,7,8],[9,10,11]])
q = numpy.array([[1,2,3],[4,5,6]])
s = numpy.stack([w,q])
def func(arr):
t, y = arr[0], arr[1]
return arr[0] + arr[1]
s_dask = da.from_array(s)
在numpy数组上运行func按预期工作
浏览 0提问于2020-05-21得票数 2
回答已采纳
我正在将代码转换为使用dask数组而不是numpy数组。
我已经安装了dask 0.19.4版。
我有一个数组，它已被等效的dask数组所取代：
# this used to be a numpy array, created like so:
# da = np.zeros((total_months,))
da = dask.array.zeros((total_months,), chunks=(-1))
当我点击下面的代码行(在数组是numpy数组时，代码行以前是工作的)，我会得到一个项赋值错误：
for k in range(total_months):
da[k] = aw
浏览 2提问于2018-10-22得票数 1
回答已采纳
我完全被困住了，所以我正在寻求善意的建议。我的目标是并行读取多个hdf5文件，提取内部的多个模糊数组，并将每个数组存储在一个dataframe的一行，准确地说是一个单元格中。我不选择熊猫df，因为我相信它会太大。
不可能使用read_hdf()从用h5py创建的hdf5文件中读取。我能做些什么来用paralleL中的dask导入数千个hdf5 5文件，并访问其中的多个do数组？我想要创建一个dataframe，其中每个2d数组(从hdfs中的n个暗数组中提取)都存储在dataframe的一个单元格中。因此，行数对应于在所有文件中找到的总数组数，在这里9。我将数组存储在一个列中。在将来我希望将更
浏览 0提问于2021-09-30得票数 1
回答已采纳
从列表的dask.Series创建dask.array的最有效方法是什么？该系列由500万个元素列表300组成。它当前被划分为500个分区。目前我正在尝试：
pt = [delayed(np.array)(y)
for y in
[delayed(list)(x)
for x in series.to_delayed()]]
da = delayed(dask.array.concatenate)(pt, axis=1)
da = dask.array.from_delayed(da, (vec.size.compute(), 300), dtype=fl
浏览 18提问于2017-12-26得票数 1
回答已采纳
1回答
如果我有一个类似于dask_array_object.blocks.ravel()的操作，并对由此产生的块进行迭代：
dask.array<blocks, shape=(156, 156, 2126), dtype=float32, chunksize=(156, 156, 2126), chunktype=numpy.ndarray>,
dask.array<blocks, shape=(156, 156, 2126), dtype=float32, chunksize=(156, 156, 2126), chunktype=numpy.ndarray>,
da
浏览 5提问于2022-02-18得票数 0
回答已采纳
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。
(旁白:这与PySpark的方法没有什么不同)
但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后将列表转换为索引的numpy数组。
我从dask.bag.read_text方法开始，它有一个参数collection，可以设置为False，因此它给了我一堆Delayed的未来。如何将这些解析成最终矩阵的行？
from dask.bag impor
浏览 1提问于2016-06-03得票数 1
回答已采纳
1回答
我试图想出一种快速的方法，在dataframe中添加一个新列，其中所添加的值是基于条件的。有人向我推荐了一种使用numpy的方法，但它相对来说非常慢。
目前，我正在加载一个11米行csv，添加了几个新的列谁有公式计算，并打印头尾在10秒以下。
下面是当前用于缓慢/麻烦函数的代码。我想知道是否有一种与dask相对应的方法，或者是否可以更好地构造numpy查询以提高性能。
--这是问题中的代码--运行时间是60 seconds+ --我在default=0上收到错误，所以我不确定总的运行时是什么。我希望运行时最多能缩短到几秒钟。
import dask.dataframe as dd
import
浏览 2提问于2019-10-06得票数 0
3回答
使用稀疏矩阵与numpy数组
、、、、
我用Python创建了一些带有字计数的numpy数组:行是文档，列是单词X的计数。如果我有大量的零计数，人们建议在进一步处理这些数组时使用稀疏矩阵，例如在分类器中。然而，当向Scikit 中输入numpy数组与稀疏矩阵时，它似乎没有多大区别。所以我想知道三件事：
说
稀疏矩阵是大多数元素为零的矩阵。
这是否是确定何时使用稀疏矩阵格式的适当方法--只要> 50 %的值为零？还是说以防万一才有意义呢？
稀疏矩阵对像我这样的任务的性能有多大的帮助，特别是与numpy数组或标准列表相比？
到目前为止，我将数据收集到一个numpy数组中，然后转换为csr_matrix in 。
浏览 5提问于2016-05-01得票数 46
回答已采纳
1回答
我需要通过连接两个数组(最好是dask数组)为dask创建一个多索引。我为numpy找到了以下解决方案，但正在寻找dask解决方案 cols=100000
index = np.array([x1 + x2 +x3 for x1,x2,x3 in zip(repeat(1,cols ).astype('str'),repeat('-',cols ),repeat(1,cols ).astype('str'))]) 如果我传递给它da.from_array()，它会在+两个数组时停止。 我也尝试过np.core.defchararray.add(
浏览 5提问于2019-04-26得票数 0
我有许多需要存储为dask数组的大型numpy数组。在尝试从.npy加载每个数组，然后将其转换为dask.array时，我注意到内存使用率几乎与常规numpy数组一样多，即使在将arr加载到dask.array之后执行del arr之后也是如此。
在此示例中：
arr = np.random.random((100, 300))
print(f'Array ref count before conversion: {sys.getrefcount(arr) - 1}') # output: 1
dask_arr = da.from_array(arr)
print(f'
浏览 2提问于2021-07-23得票数 0
我有一个很大的数据集存储为压缩的npy文件。如何将给定的子集堆叠到Dask数组中？ 我知道dask.array.from_npy_stack，但我不知道如何使用它。 这是一个粗略的第一次尝试，它耗尽了我所有的内存： import numpy as np
import dask.array as da
data = np.load('data.npz')
def load(files):
list_ = [da.from_array(data[file]) for file in files]
return da.stack(list_)
x = load
浏览 11提问于2020-07-22得票数 0
回答已采纳
当我们需要训练一堆数据(大约22GiB)时，我用两种方法进行了测试，生成随机数据，并尝试用Dask训练它，然而，当Dask.array one工作时，Numpy生成的数据会引发异常(消息包:字节对象太大)。有人知道为什么吗？ from dask.distributed import Client
from dask_cuda import LocalCUDACluster
from dask import array as da
import numpy as np
import xgboost as xgb
import time
def main(client):
regre
浏览 14提问于2021-04-10得票数 1
回答已采纳
1回答
给定代码片段：
B = A @ M - T
其中A是CSR 的稀疏矩阵，M和T是两个numpy阵列。
问题：在矩阵运算期间，numpy是将A看作一个密集矩阵，还是M和T处理为两个稀疏矩阵？
我怀疑后一种情况是正确的，因为生成的矩阵B不是稀疏格式的。
我还注意到，如果我将A格式更改为稠密，则此操作要慢得多，这与我的猜测有些矛盾。
浏览 3提问于2020-10-16得票数 0
回答已采纳
2回答
在对包含numpy数组的FutureWarning进行foldby操作时，我从dask / numpy获得了一条信息非常少的foldby消息。
def binop(a, b):
print('binop')
return a + b[1]
def combine(a, b):
print('combine')
return a + b[1]
seq = ((np.random.randint(0, 5, size=1)[0], np.ones(5,)) for _ in range(50))
db.from_sequence(
浏览 5提问于2017-05-05得票数 3
回答已采纳
我是dask的新手，正在尝试弄清楚如何重塑从dask数据帧的单个列中获得的dask数组，但遇到了错误。想知道有没有人知道这个修复方法(不需要强行计算)？谢谢!
示例：
import pandas as pd
import numpy as np
from dask import dataframe as dd, array as da
df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})
ddf = dd.from_pandas(df, npartitions=2)
# This does not work -
浏览 22提问于2018-09-07得票数 2
回答已采纳
我有一个由一列numpy数组组成的pandas数据帧。我可以使用numpy.mean函数来计算数组的平均值。
import numpy
import pandas
f = pandas.DataFrame({"a":[numpy.array([1.0, 2.0]), numpy.array([3.0, 4.0])]})
numpy.mean(f["a"]) # returns array([2., 3.])
我想在Dask做同样的事情。
import dask.dataframe
import dask.array
g = dask.dataframe.from
浏览 12提问于2020-02-18得票数 1
回答已采纳
我需要从一个大的numpy数组中保存一个dask数组。下面是一个最小的工作示例，展示了该过程。请注意，a是使用numpy.random创建的，但不幸的是，我不能使用dask创建数组。
import numpy as np
import dask.array as da
from dask.distributed import Client
a = numpy.random.randint(0,2,size=4000000*8000).reshape((4000000,8000))
# here the conversion and saving
client = Client(n_worke
浏览 22提问于2020-02-20得票数 0
回答已采纳
我有一个数据集，它是一个巨大的、短的、胖的矩阵(大约4000 x 20,000,000)。我认为dask对我来说可能是一个很好的解决方案。但是，我希望确保可以将其编码为一个单热矩阵。我查看了dask-ml中的选项，它们似乎总是需要一个dask数据帧。然而，创建一个有2000万列的数据帧似乎真的很奇怪，而且可能会导致大量开销。使用dask数组并以某种方式使用apply on axis将每一列转换为1-hot会更容易吗？谢谢你的建议。
浏览 9提问于2018-02-14得票数 2
科学学习中的机器学习算法必须将熊猫数据转换成numpy数组吗？
我知道to_numpy()函数执行转换。这意味着我必须手动为熊猫数据栏创建一个虚拟矩阵。
如果我只是把熊猫数据作为科学知识的输入会发生什么呢？如果我把熊猫数据数组转换成numpy数组，这是否意味着我的列名不再保留在机器学习算法中？当涉及到模型诊断时，需要采取额外的步骤来协调列名和numpy数组？
浏览 2提问于2020-12-13得票数 2
回答已采纳
1回答
我必须阅读并独立地操作一个大型dataframe/numpy数组的许多块。但是，这些块是以一种特定的、不统一的方式选择的，并且在hdf5文件中被自然地分成几个组。每个组都足够小，可以容纳到内存中(尽管没有限制，我认为标准的分块过程应该足够了)。
特别是，而不是
f = h5py.File('myfile.hdf5')
x = da.from_array(f['/data'], chunks=(1000, 1000))
我需要更接近(伪码)的东西：
f = h5py.File('myfile.hdf5')
x = da.from_array
浏览 3提问于2016-10-12得票数 2
回答已采纳
4回答
我想在某些数据上运行sklearn的RandomForestClassifier，这些数据被打包成一个稀疏的numpy.ndarray。调用fit会给出ValueError: setting an array element with a sequence.。从其他帖子中我了解到，随机森林无法处理稀疏数据。
我期望对象有一个todense方法，但它没有。
>>> X_train
array(<1443899x1936774 sparse matrix of type '<class 'numpy.float64'>'
浏览 0提问于2019-04-11得票数 3
回答已采纳
在上使用示例
filenames = sorted(glob('2015-*-*.hdf5')
dsets = [h5py.File(fn)['/data'] for fn in filenames]
arrays = [da.from_array(dset, chunks=(1000, 1000)) for dset in dsets]
x = da.concatenate(arrays, axis=0) # Concatenate arrays along first axis
我很难理解下一行，以及它是一个"dask数组“的dask_array还
浏览 10提问于2016-08-27得票数 1
回答已采纳
3回答
假设我有Numpy数组p和一个稀疏矩阵q，这样
>>> p.shape
(10,)
>>> q.shape
(10,100)
我想做一个p和q的点乘积。当我尝试使用numpy时，我得到以下结果：
>>> np.dot(p,q)
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist packages/IPython/core/interactiveshell.py", line 2883, in run_code
exec(co
浏览 4提问于2015-06-25得票数 1
回答已采纳
1回答
我想知道是否有人可以帮助我演示如何使用dask在掩码数组上应用"sum“或"mean”之类的函数。我希望仅在没有掩码的值上计算数组的和/平均值。
代码：
import dask.array as da
import numpy as np
import numpy.ma as ma
dset = [1, 2, 3, 4]
masked = ma.masked_equal(dset, (4)) # lets say 4 should be masked
print(np.sum(masked)) # output: 6
print(np.mean(masked)) # outp
浏览 0提问于2018-07-05得票数 2
我的本地机器上有一个大型的NumPy数组，我想在集群上与Dask.array并行。
import numpy as np
x = np.random.random((1000, 1000, 1000))
然而，当我使用dask.array时，我发现调度程序开始占用大量内存。为什么会这样呢？这些数据不应该交给工人吗？
import dask.array as da
x = da.from_array(x, chunks=(100, 100, 100))
from dask.distributed import Client
client = Client(...)
x = x.persist(
浏览 0提问于2017-08-29得票数 4
回答已采纳
我有一个大的稀疏矩阵，它只能适合一个集群的多个节点。我想通过调用这样的东西来求解方程组
import scipy.sparse.linalg as splinalg
A = my_sparse_matrix # a sparse dask array defined across four nodes
b = my_vector # an initial vector
M = my_sparse_preconditioner # a preconditioner to help improve convergence of algorith
浏览 1提问于2020-05-11得票数 2
我有一个非常大的稀疏Numpy矩阵(类型为numpy.ndarray)。矩阵太大了，很可能必须存储在虚拟内存中。如何有效地将其转换为稀疏的枕木矩阵(来自scipy.sparse)(用于算术操作)？
下面是dok_matrix的直接转换，这可能是由于内存问题而失败的。将dok_matrix更改为csr_matrix会导致相同的内存问题。
In [1]: N=int(1e6)
In [2]: from scipy.sparse import dok_matrix
In [3]: import numpy as np
In [4]: mat=np.zeros((N,N))
In [5]: d
浏览 13提问于2022-08-19得票数 0
回答已采纳
在函数的apply_ufunc中，它说：
dask: ‘forbidden’, ‘allowed’ or ‘parallelized’, optional
How to handle applying to objects containing lazy data in the form of dask arrays:
‘forbidden’ (default): raise an error if a dask array is encountered.
‘allowed’: pass dask arrays directly on to func.
‘p
浏览 0提问于2018-08-07得票数 5
回答已采纳
2回答
我有一个非常大的4维数据集，其中最后两个维度是在图像检测器上拍摄的图像。此检测器上的某些像素无法工作，这些死像素的值为0。我想在后处理中将这些像素的值设置为其相邻像素的中位数。数据集的大小从8 GB到TB，所以我想使用dask数组，因为我可以将死像素删除与其他处理步骤链接在一起。
找到死像素很容易，但我不确定如何最好地获得邻居的中位数。
最小示例：
import numpy as np
import dask.array as da
data = np.random.randint(10, 50, size=(10, 10, 20, 20))
data[:, :, 2, 7] = 0
dat
浏览 0提问于2018-06-20得票数 1
3回答
我正在使用python与dask一起创建一个逻辑回归模型，以便在培训时加快速度。
我有x，这是特征数组(numpy数组)，y是标签向量。
编辑: numpy数组是: x_train (n*m大小)浮点数数组，y_train是(n*1)整数向量，是训练的标签。这两种方法都很适合滑雪LogisticRegression.fit，而且在那里工作也很好。
我尝试使用这段代码创建一个熊猫df，然后将其转换为dask，并在其上进行培训，如所示
from dask_ml.linear_model import LogisticRegression
from dask import dataframe as
浏览 0提问于2019-06-06得票数 1
目前，我可以创建(嵌套的)对象列表，这些对象是热切计算的项和延迟项的组合。
如果我将该列表传递给dask.compute，它可以创建该图表并将结果计算为一个新列表，用它们的计算对应项替换延迟项。
这个列表有一个非常明确的结构，我想利用它。因此，在使用dtype=object之前，我一直在使用numpy数组。
我可以将这些numpy数组传递给dask.compute吗？还有其他支持numpy切片的集合，我可以使用吗？
我目前的解决办法是要么使用字典，要么使用嵌套列表，但是分割numpy数组的能力确实不错，我不想松开它。
谢谢,
标记
浏览 0提问于2018-06-29得票数 2
回答已采纳
我正在尝试创建一个非常大的数字零数组，然后将值从另一个数组复制到大的零数组中。我正在使用Pycharm，并且一直得到：MemoryError，即使我尝试只创建数组时也是如此。下面是我尝试创建零数组的方法：
import numpy as np
last_array = np.zeros((211148,211148))
我试着根据这个问题将Pycharm中的内存堆从750m增加到1024m：，但这似乎没有帮助。
如果你想要进一步的澄清，请告诉我。谢谢!
浏览 2提问于2016-05-13得票数 12
回答已采纳
1回答
我有一个dask数组，X，大约是。3500x700000。每一行都有缺失值，我需要根据该行的平均值进行推算。
目前这个数组被存储为dask数组，并且我有一个可以执行补偿的延迟函数。然而，当我使用计算方法时，内存被填满了，因为它似乎试图给我留下一个numpy数组。
有没有一种方法可以将这种估算应用于适当的数组，以便最终将估算的数组作为内存不足的dask数组？
浏览 11提问于2018-09-09得票数 2
1回答
Dask ()是一个灵活的分析并行计算库。它扩展到大数据，与Numpy相比较，并且有许多类似的方法。如何实现与numpy.tile在dask阵列上的效果相同？
浏览 0提问于2016-06-27得票数 3
回答已采纳
在多维dask数组上迭代da.linalg.inv的最佳方法是什么？
我有一个形状为(4, 4, 8, 8)的dask数组，需要计算最后两个维度的逆。使用np.linalg.inv(A)，numpy循环遍历除最后两个维度之外的所有维度，因此在下面的示例中，我可以只调用numpy。
我选择使用for loop，但我读过有关的文章(文档似乎有点过时)。但是，我不确定如何实现它，特别是"signature"位。
import dask.array as da
import numpy as np
A = da.random.random((4,4,8,8))
A2 = A.resh
浏览 0提问于2020-06-25得票数 0
我希望创建一个矩阵(numpy数组的numpy数组)，每个置换与重复(我想用它在矩阵乘法以后)。目前我这样做，我首先创建一个列表列表，然后使用迭代工具，然后转换为numpy数组的numpy数组。但是，随着R的增加，每个置换的长度都会增加numpy数组的大小，从而导致内存错误。所以，我想用dask生成一个矩阵。我阅读了dask教程，但还没有想出如何做到这一点。
例如，使用0.1的步长(r = 5，n=21)，从-1到1(包括在内)的数字的每5个数字组合：
# Create 5 lists each with 21 elements
lst = []
for i in range(0,5):
浏览 1提问于2022-05-19得票数 2
回答已采纳
1回答
PyPy与高效阵列
、、、
我的项目目前使用NumPy，仅用于内存效率高的数组( bool_、uint8、uint16、uint32)。
我想让它在不支持PyPy的NumPy上运行。(至少没有安装)
所以我想知道:在Python中还有其他有效的存储数字数组的方法吗？任何由PyPy支持的东西？PyPy有自己的东西吗？
注意: array.array不是一个可行的解决方案，因为在我的测试中，它比NumPy占用更多的内存。
浏览 1提问于2013-06-14得票数 3
1回答
我正在使用sparse构造、存储和读取一个大型稀疏矩阵。我想使用Dask数组来使用它的阻塞算法特性。 这是我正在尝试做的事情的一个简化版本： file_path = './{}'.format('myfile.npz')
if os.path.isfile(file_path):
# Load file with sparse matrix
X_sparse = sparse.load_npz(file_path)
else:
# All matrix elements are initially equal to 0
coords, data
浏览 10提问于2019-02-20得票数 5
2回答
dask中的点产品似乎比在numpy中运行得慢得多：
import numpy as np
x_np = np.random.normal(10, 0.1, size=(1000,100))
y_np = x_np.transpose()
%timeit x_np.dot(y_np)
# 100 loops, best of 3: 7.17 ms per loop
import dask.array as da
x_dask = da.random.normal(10, 0.1, size=(1000,100), chunks=(5,5))
y_dask = x_dask.transpose
浏览 7提问于2015-12-23得票数 4
回答已采纳
1回答
我正在用Keras创建一个RNN语言模型，为了训练这个模型(有监督学习)，我必须创建一个形状为(num_of_training_sequences, size_of_vocabulary)的numpy数组y (每个序列的每个观察的标签)，其中包含一个热向量。
当我有太多训练序列时，这个数组太大，无法放入内存。然而，这并不是必须的！由于可能的单热向量的数量仅为size_of_vocabulary，因此y可能只是一个num_of_training_sequences大小的数组，其中包含对预先分配的单热向量的引用(也称为指针)。这样，如果两个序列以相同的单词结束，并且应该具有相同的热向量，那么它们将
浏览 1提问于2020-05-17得票数 0
为什么当conda说安装了1.20.1时，Python会在我的dask env中加载numpy 1.20.0？
(dask) ➜ dask: conda list -n dask | grep numpy
numpy 1.20.1 py38h18fd61f_0 conda-forge
(dask) ➜ dask: python
Python 3.8.8 | packaged by conda-forge | (default, Feb 20 2021, 16:22:27)
[GCC 9.3.0] on linux
Typ
浏览 1提问于2021-04-07得票数 0
回答已采纳
我想将numpy 2d数组保存为mongodb文档的一部分，但是文档的大小为71 MB，远远高于16 MB的限制。numpy数组是稀疏的。对于如何压缩numpy 2d数组，或者以更有效的内存方式保存它，有什么建议吗？谢谢你的帮助。
浏览 1提问于2014-09-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
