为什么当Numpy没有进行点积计算时，Dask数组会抛出内存错误？
当Numpy没有进行点积计算时，Dask数组会抛出内存错误的原因是因为Dask数组是基于延迟计算的分布式计算框架，它将大型数据集划分为多个小块进行并行计算。而点积计算是一种需要大量内存的操作，它需要将整个数组加载到内存中进行计算，因此当Numpy没有进行点积计算时，Dask数组并不会立即执行计算，而是在需要结果时才会触发计算。由于Dask数组并没有进行点积计算，所以并没有将数据加载到内存中，当尝试访问结果时，Dask数组会抛出内存错误。
为了解决这个问题，可以使用Dask的compute()方法来显式地触发计算，将数据加载到内存中进行计算。例如，可以使用dot()函数来计算点积，并在计算之前调用compute()方法：
import dask.array as da
# 创建Dask数组
x = da.from_array(numpy_array, chunks=chunk_size)
y = da.from_array(numpy_array, chunks=chunk_size)
# 计算点积
result = da.dot(x, y).compute()在上述代码中，compute()方法会将Dask数组计算为Numpy数组，并将结果加载到内存中。这样就可以避免内存错误的问题。
需要注意的是，Dask适用于处理大型数据集和并行计算，但对于小型数据集和单机计算，使用Numpy可能更加高效。因此，在选择使用Dask还是Numpy时，需要根据具体的场景和需求进行权衡和选择。
推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），腾讯云云服务器（CVM），腾讯云云数据库（TencentDB），腾讯云对象存储（COS）。
腾讯云产品介绍链接地址：
相关·内容
2回答
dask中的点产品似乎比在numpy中运行得慢得多：
import numpy as np
x_np = np.random.normal(10, 0.1, size=(1000,100))
y_np = x_np.transpose()
%timeit x_np.dot(y_np)
# 100 loops, best of 3: 7.17 ms per loop
import dask.array as da
x_dask = da.random.normal(10, 0.1, size=(1000,100), chunks=(5,5))
y_dask = x_dask.transpose
浏览 7提问于2015-12-23得票数 4
回答已采纳
在函数的apply_ufunc中，它说：
dask: ‘forbidden’, ‘allowed’ or ‘parallelized’, optional
How to handle applying to objects containing lazy data in the form of dask arrays:
‘forbidden’ (default): raise an error if a dask array is encountered.
‘allowed’: pass dask arrays directly on to func.
‘p
浏览 0提问于2018-08-07得票数 5
回答已采纳
1回答
计算()在Dask中的用途
、、、、
在numpy和pandas中添加额外的.compute()来模拟功能背后的逻辑是什么？它仅仅是为了支持某种懒惰的评估吗？ 下面是来自Dask documentation的示例： import pandas as pd import dask.dataframe as dd
df = pd.read_csv('2015-01-01.csv') df = dd.read_csv('2015-*-*.csv')
df.groupby(df.user_id).value.mean() df.groupby(df
浏览 19提问于2019-01-31得票数 4
我有许多需要存储为dask数组的大型numpy数组。在尝试从.npy加载每个数组，然后将其转换为dask.array时，我注意到内存使用率几乎与常规numpy数组一样多，即使在将arr加载到dask.array之后执行del arr之后也是如此。
在此示例中：
arr = np.random.random((100, 300))
print(f'Array ref count before conversion: {sys.getrefcount(arr) - 1}') # output: 1
dask_arr = da.from_array(arr)
print(f'
浏览 2提问于2021-07-23得票数 0
1回答
在输入输出方面，我真正想要实现的是交叉联接 输入示例 df = pd.DataFrame(columns = ['A', 'val'], data = [['a1', 23],['a2', 29], ['a3', 39]])
print(df) A val
0 a1 23
1 a2 29
2 a3 39 输出示例： df['key'] = 1
df.merge(df, how = "outer", on ="key") A_x va
浏览 30提问于2020-07-11得票数 0
我在一台机器上使用Dask (LocalCluster有4个进程，16个线程，68.56 to内存)，当我试图一次计算两个共享依赖关系的结果时，遇到了工作内存问题。
在下面显示的示例中，仅用一次计算就可以很好地快速计算result，工作人员的总内存使用量最高可达1 1GB左右。但是，当使用两次计算来计算results时，当总内存使用量约为40 is时，工作人员会迅速耗尽所有内存，并开始写入磁盘。计算最终将完成，但一旦开始写入磁盘，就会有一个巨大的减速。
直观地说，如果读入一个块，然后立即计算它的两个和，那么该块可以被丢弃，并且内存使用率保持在较低水平。然而，看起来Dask正在优先加载数据，而不
浏览 18提问于2021-02-27得票数 2
回答已采纳
从一个库中，我得到一个函数，它读取一个文件并返回一个numpy数组。
我想用多个文件中的多个块构建一个Dask数组。
每个块都是在文件上调用函数的结果。
当我要求Dask计算时，Dask会要求函数同时从硬盘读取多个文件吗？
如果是这样的话，如何避免呢？我的电脑没有并行文件系统。
示例：
import numpy as np
import dask.array as da
import dask
# Make test data
n = 2
m = 3
x = np.arange(n * m, dtype=np.int).reshape(n, m)
np.save('0.npy'
浏览 0提问于2018-08-06得票数 1
我试着运行下面的代码：
>>> import numpy as np
>>> A = np.array([[1,2], [3,4], [5,6]])
>>> A.shape
(3, 2)
>>> B = np.array([7,8])
>>> B.shape
(2,)
>>> np.dot(A,B)
array([23, 53, 83])
我认为np.dot(A,B)的形状应该是(1,3)而不是(3，)。
矩阵返回的结果应该是：
数组([23，53，83])
23
53
83
不
阵列(
浏览 7提问于2019-02-17得票数 4
回答已采纳
1回答
我需要在大于内存的张量上执行一些计算，但首先我需要从适合内存的NumPy数组(部分)构造它。
我计算这些NumPy数组，然后将它们转换为Dask数组，并将它们放在list上。我的最后一个张量是这些数组的一个特殊的串联。问题是，根据部分的数量，我甚至不能到达发生连接的代码行。
例如，使用shape (30, 40, 40, 40, 40)的一部分，因此在614 MB周围，使用内存的16 GB (通常是无10的)，仅仅是试图计算20部分就足以耗尽内存。
我可以看到每个新张量的计算是如何变慢的，以及可用RAM如何变得越来越少，直到进程被终止。如果我计算10部件，我可以看到我可用的RAM从10 GB下
浏览 2提问于2021-07-09得票数 0
4回答
我一直在做一些性能测试，以提高我正在编写的宠物项目的性能。这是一个非常复杂的应用程序，所以我一直在使用Numpy来提高计算性能。
然而，以下性能测试的结果是相当令人吃惊的.
测试源代码(更新了用于提升和批量提交的测试用例)
import timeit
numpySetup = """
import numpy
left = numpy.array([1.0,0.0,0.0])
right = numpy.array([0.0,1.0,0.0])
"""
hoistSetup = numpySetup +'hoist = numpy.c
浏览 8提问于2010-01-01得票数 7
回答已采纳
1回答
比一大块的矮子慢
、、
我是一个新的dask用户，我试图在我的程序中运行函数点。我注意到dask的函数点比它的numpy版本慢，即使我在整个矩阵中只使用了一个块。如何解释这种行为？
import dask.array as da
import numpy as np
x = da.random.normal(10, 0.1, size=(20000 * 100000), chunks=(20000 * 100000))
z = x.dot(x)
%time z.compute()
'''
CPU times: user 1min 1s, sys: 17.3 s, total: 1min 18
浏览 6提问于2022-08-18得票数 0
回答已采纳
1回答
我尝试了以下代码：
import numpy as np
from dask.distributed import Client
from dask.jobqueue import PBSCluster
import dask.array as da
cluster = PBSCluster(processes=1, cores=8, memory="40GB",
local directory='$TMPDIR',
walltime='1:00:0
浏览 0提问于2021-06-10得票数 0
我试图读取混合文件(npy，csv等)的未知大小使用达斯克。文件将被转换为数组，并在进行一些涉及切片的操作之前合并为一个数组。
但是，根据数组的创建方式，我注意到了明显的速度差异。考虑从csv创建数组的以下两种方法：
使用numpy.readtxt和dask.array.from_array，
使用dask.dataframe.read_csv和dask.dataframe.to_dask_array。
现在，简单地迭代第一个数组比迭代第二个数组快近1000倍。我将假设这是因为数组是使用内存中的一个对象创建的。
据我所知，第一个数组由单个块组成，因此迭代它的速度相对较快。然而，
浏览 3提问于2019-12-11得票数 0
回答已采纳
在numpy中，定义矩阵和点积是标准的，如下所示
import numpy as np
a = np.array([[1, 2, 3], [4, 5, 6]])
b = np.array([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(a.shape)
print(b.shape)
print(a.dot(b).shape)
如预期的产出：
(2, 3)
(3, 4)
(2, 4)
但令我惊讶的是，下面这些都是同情地失败了
import sympy as sp
a = sp.Matrix([[1, 2, 3], [4, 5,
浏览 0提问于2018-04-20得票数 6
回答已采纳
我的本地机器上有一个大型的NumPy数组，我想在集群上与Dask.array并行。
import numpy as np
x = np.random.random((1000, 1000, 1000))
然而，当我使用dask.array时，我发现调度程序开始占用大量内存。为什么会这样呢？这些数据不应该交给工人吗？
import dask.array as da
x = da.from_array(x, chunks=(100, 100, 100))
from dask.distributed import Client
client = Client(...)
x = x.persist(
浏览 0提问于2017-08-29得票数 4
回答已采纳
我需要从一个大的numpy数组中保存一个dask数组。下面是一个最小的工作示例，展示了该过程。请注意，a是使用numpy.random创建的，但不幸的是，我不能使用dask创建数组。
import numpy as np
import dask.array as da
from dask.distributed import Client
a = numpy.random.randint(0,2,size=4000000*8000).reshape((4000000,8000))
# here the conversion and saving
client = Client(n_worke
浏览 22提问于2020-02-20得票数 0
回答已采纳
3回答
我使用Dask读取了2.5 to的csv文件，Python给了我错误。这是我写的代码：
import pandas as pd
import numpy as np
import time
from dask import dataframe as df1
s_time_dask = time.time()
dask_df = df1.read_csv('3SPACK_N150_7Ah_PressureDistributionStudy_Data_Matrix.csv')
e_time_dask = time.time()
以下是我从Python得到的错误：
dask_df
浏览 0提问于2021-06-17得票数 0
2回答
我需要在numpy中执行两个矩阵的点积。但是，其中一个实际上在每一行中都具有相同的值。类似于：
array([[0, 0, 0, 0, 0],
[1, 1, 1, 1, 1],
[2, 2, 2, 2, 2]])
为了优化目的，我只将一列存储为一维数组。
是否有一种方法，可以计算这个矩阵和通常的2d矩阵之间的点积，而不需要显式地创建上面的矩阵？
浏览 7提问于2014-10-16得票数 4
回答已采纳
我想清空dask.array中除前几个元素之外的所有元素。我该怎么做呢？
示例
假设我有一个小的dask数组，如下所示：
import numpy as np
import dask.array as da
x = np.array([0, 4, 2, 3, 1])
x = da.from_array(x, chunks=(2,))
如何将最大的两个元素以外的所有元素都清零？我想要的东西如下所示：
>>> result.compute()
array([0, 4, 0, 3, 0])
浏览 1提问于2017-08-29得票数 1
2回答
dask计算结果存储吗？
、、、、
考虑以下代码
import dask
import dask.dataframe as dd
import pandas as pd
data_dict = {'data1':[1,2,3,4,5,6,7,8,9,10]}
df_pd = pd.DataFrame(data_dict)
df_dask = dd.from_pandas(df_pd,npartitions=2)
df_dask['data1x2'] = df_dask['data1'].apply(lambda x:2*x,meta=('data1x2&#
浏览 8提问于2022-04-03得票数 2
回答已采纳
1回答
优化散射
、
我有很大的数据问题。具体的问题并不是非常重要，但我已经用达斯克解决了。现在我有两个问题。
from dask import distributed
import numpy as np
local_cluster = distributed.LocalCluster(n_workers=20, processes=True, memory_limit=0)
dask_client = distributed.Client(local_cluster)
hat_matrix = np.random.rand(1000,25000)
weight_matrix = np.random.rand
浏览 2提问于2019-03-07得票数 2
回答已采纳
3回答
为什么在numpy中可以将2x2矩阵乘以1x2行向量？
import numpy as np
I = np.array([[1.0, 0.0], [0.0, 1.0]])
x = np.array([2.0,3.0])
In: I * x
Out: array([[ 2., 0.], [ 0., 3.]])
转置x也是没有意义的。行向量保持行向量？
In: x.T
Out: array([ 2., 3.])
从数学的角度看，表象是非常混乱的。
浏览 5提问于2015-12-09得票数 3
回答已采纳
1回答
考虑下面的代码片段，其中我试图创建一个dask数组，其中包含大小为(3, 4, 5)的非对称但重复的块
import numpy as np
import dask.array as da
a = np.random.randint(0, 9, (3, 12, 10))
d = da.from_array(a, chunks=(3, 4, 5))
上面的代码片段没有抛出任何错误/警告。但当我尝试执行以下操作时：
r = d.map_blocks(np.sum)
out = r.compute()
它抛出以下错误：
python3.7/site-packages/dask/array/core.
浏览 6提问于2020-02-16得票数 1
回答已采纳
1回答
我想知道是否有人可以帮助我演示如何使用dask在掩码数组上应用"sum“或"mean”之类的函数。我希望仅在没有掩码的值上计算数组的和/平均值。
代码：
import dask.array as da
import numpy as np
import numpy.ma as ma
dset = [1, 2, 3, 4]
masked = ma.masked_equal(dset, (4)) # lets say 4 should be masked
print(np.sum(masked)) # output: 6
print(np.mean(masked)) # outp
浏览 0提问于2018-07-05得票数 2
我使用Dask读取10m行的csv+并执行一些计算。到目前为止，它比Pandas快10倍。
下面我有一段代码，当与熊猫一起使用时，效果很好，但是dask抛出了一个类型错误。我不知道如何克服的类型。当使用dask时，数组似乎是由select函数返回给dataframe/列的，而不是在使用熊猫的时候吗？但我不想把整件事都转回到熊猫身上，失去10倍的表演收益。
这个答案是其他人在堆栈溢出问题上的一些帮助的结果，但是我认为这个问题已经偏离了最初的问题，这是完全不同的。下面的代码。
熊猫:工作时间不包括AndHeathSolRadFact: 40秒
import pandas as pd
import
浏览 12提问于2019-10-06得票数 6
回答已采纳
背景
我有一个列表，其中包含了经过预处理并保存为.npy二进制文件的1000个图像堆栈(3D numpy数组)的路径。
案例研究，，我想计算所有图像的平均值，为了加快分析速度，我想并行处理。
使用dask.delayed的方法
# List with the file names
flist_img_to_filter
# I chunk the list of paths in sublists. The number of chunks correspond to
# the number of cores used for the analysis
chunked_list
# Sc
浏览 0提问于2017-10-26得票数 4
回答已采纳
1回答
我正在测试dask，我不明白为什么dask比普通的python慢。我在jupyer中开发了两个示例来获取每个示例的时间，我认为我做错了什么。
第一个是dask: 28.5秒，之后是纯python 140ms
import dask
import dask.array as da
%%time
def inc(x):
return x + 1
def double(x):
return x + 2
def add(x, y):
return x + y
N = 100000
d
浏览 0提问于2019-12-13得票数 0
我目前正在尝试打开多个netCDF文件。它们都具有相同的主维度(即行数)，以及多个变量:时间、platform_code和其他变量。
下面是我用来连接所有数据的代码：
ds_disk_merged = xarray.open_mfdataset([path1, path2, path3, path4], concat_dim="row", combine='nested')
当我处理行时，一切都很好:我发现我的numpy数组，如预期的那样连接起来：
In [5]: ds_disk_merged.row.data
Out[5]: array([ 0,
浏览 12提问于2022-05-09得票数 1
回答已采纳
2回答
我有一个非常大的4维数据集，其中最后两个维度是在图像检测器上拍摄的图像。此检测器上的某些像素无法工作，这些死像素的值为0。我想在后处理中将这些像素的值设置为其相邻像素的中位数。数据集的大小从8 GB到TB，所以我想使用dask数组，因为我可以将死像素删除与其他处理步骤链接在一起。
找到死像素很容易，但我不确定如何最好地获得邻居的中位数。
最小示例：
import numpy as np
import dask.array as da
data = np.random.randint(10, 50, size=(10, 10, 20, 20))
data[:, :, 2, 7] = 0
dat
浏览 0提问于2018-06-20得票数 1
我有一个由一列numpy数组组成的pandas数据帧。我可以使用numpy.mean函数来计算数组的平均值。
import numpy
import pandas
f = pandas.DataFrame({"a":[numpy.array([1.0, 2.0]), numpy.array([3.0, 4.0])]})
numpy.mean(f["a"]) # returns array([2., 3.])
我想在Dask做同样的事情。
import dask.dataframe
import dask.array
g = dask.dataframe.from
浏览 12提问于2020-02-18得票数 1
回答已采纳
在我尝试了我在网上找到的每一个解决方案之后，我必须在这里问一问。
我想实现matlab's corr函数的行为：
我有两个矩阵A和B。
A形：(200,30000)
B形：(200，1)
在matlab中，corr(A, B)将返回一个大小为(30000，1)的矩阵。当我使用numpy.corrcoef (或为了更好的性能而使用dask )时，我得到了一个(30001,30001)矩阵，这个矩阵非常巨大，而且是一个错误的答案。我试着用论点rowvar=False来回答这个问题，但效果不太好。
我甚至尝试了scipy.spatial.distance.cdist(np.transpose
浏览 1提问于2020-05-05得票数 1
回答已采纳
我试图做一个点积，如果我把一个转置数组作为第一个参数，我得到正确的答案(一个值)，因为它本质上是一个乘积sum(a*b)的和。但是如果我把转置数组作为第二个参数，它就给了我一个2x2数组。为什么？
a = np.array([[1],[2]])
b = np.array([[3],[4]])
np.dot(a,b.T)
Out[208]:
array([[3, 4],
[6, 8]])
np.dot(a.T,b)
Out[209]: array([[11]])
np.dot(b.T, a)
Out[210]: array([[11]])
浏览 4提问于2017-07-12得票数 0
回答已采纳
1回答
DataFrame中的复滤波
、、、、
我习惯于对熊猫DataFrame对象进行“复杂”过滤：
import numpy as np
import pandas as pd
data = pd.DataFrame(np.random.random((10000, 2)) * 512, columns=["x", "y"])
data2 = data[np.sqrt((data.x - 200)**2 + (data.y - 200)**2) < 1]
这不会产生任何问题。
但关于达斯克DataFrames，我有：
ddata = dask.dataframe.from_pandas(data,
浏览 1提问于2017-08-15得票数 5
回答已采纳
3回答
我正在使用python与dask一起创建一个逻辑回归模型，以便在培训时加快速度。
我有x，这是特征数组(numpy数组)，y是标签向量。
编辑: numpy数组是: x_train (n*m大小)浮点数数组，y_train是(n*1)整数向量，是训练的标签。这两种方法都很适合滑雪LogisticRegression.fit，而且在那里工作也很好。
我尝试使用这段代码创建一个熊猫df，然后将其转换为dask，并在其上进行培训，如所示
from dask_ml.linear_model import LogisticRegression
from dask import dataframe as
浏览 0提问于2019-06-06得票数 1
1回答
大矩阵运算中的内存耗尽
、、、、
目前，我正在用python为我的本科论文实现这个，但我只使用mahalanobis度量学习(如果您好奇的话)。
在捷径中，当我需要学习一个由整数组成的大小为67K*67K的矩阵时，我会遇到一个问题，通过简单的numpy.dot(A.T,A)，其中A是一个随机向量(1,67K)。当我这样做时，它只是抛出MemoryError，因为我的PC只有8gb内存，而内存的原始计算是16 8gb。而不是我在寻找替代物的时候找到了。
所以我带着这个dask.array.dot(A.T,A)转到了dask，它已经完成了。但是，我需要对这个矩阵进行白化转换，而在dask中，我可以通过获得来实现它。但是每次我这样做
浏览 1提问于2016-06-19得票数 0
回答已采纳
我正在努力将Pandas/Numpy代码转换为Dask，以处理更大的数据集。我似乎无法重新创建以下Pandas/Numpy代码：
df['days_to_complete'] = np.busday_count(begindates=df['time_order_date'].values.astype('datetime64[D]'),enddates=df['time_complete_date'],weekmask='1111111',holidays=hols_list)
这将返回time_order_da
浏览 7提问于2020-09-21得票数 0
回答已采纳
我试图将一个函数应用到一个Dask数组，，虽然相同的函数在numpy数组上工作，但它不工作在一个Dask数组上。下面是一个示例：
import dask.array as da
w = numpy.array([[6,7,8],[9,10,11]])
q = numpy.array([[1,2,3],[4,5,6]])
s = numpy.stack([w,q])
def func(arr):
t, y = arr[0], arr[1]
return arr[0] + arr[1]
s_dask = da.from_array(s)
在numpy数组上运行func按预期工作
浏览 0提问于2020-05-21得票数 2
回答已采纳
1回答
我有1024个拼花文件，每个都是1mbin大小。我使用python dask将这1024个文件合并到一个文件中，我有大量的磁盘空间，但是ram是有限的。
是否有使用python dask解决这一问题的有效方法？
import dask.dataframe as dd
def generatePath():
for i in range(0,1024):
return "data/2000-" + i +".parquet"
def readDF():
paths = generatePath()
for x in pa
浏览 3提问于2020-05-12得票数 2
在多维dask数组上迭代da.linalg.inv的最佳方法是什么？
我有一个形状为(4, 4, 8, 8)的dask数组，需要计算最后两个维度的逆。使用np.linalg.inv(A)，numpy循环遍历除最后两个维度之外的所有维度，因此在下面的示例中，我可以只调用numpy。
我选择使用for loop，但我读过有关的文章(文档似乎有点过时)。但是，我不确定如何实现它，特别是"signature"位。
import dask.array as da
import numpy as np
A = da.random.random((4,4,8,8))
A2 = A.resh
浏览 0提问于2020-06-25得票数 0
1回答
我试图在2D数组上使用bincount。具体来说，我有这样的代码：
import numpy as np
import dask.array as da
def dask_bincount(weights, x):
da.bincount(x, weights)
idx = da.random.random_integers(0, 1024, 1000)
weight = da.random.random((1000, 2))
bin_count = da.apply_along_axis(dask_bincount, 1, weight, idx)
其思想是，可以在每个权重列上使
浏览 0提问于2021-08-04得票数 1
回答已采纳
我要把熊猫的数据转换成拼花文件。为此，我使用dask来帮助对生成的文件进行分区。
my_dask_df = dask.dataframe.from_pandas(my_pandas_df, npartitions=1)
my_dask_df = my_dask_df.repartition(partition_size="100MB")
dask.dataframe.to_parquet(my_dask_df, destination_dir, name_function=lambda
i: f"{dataset_name}-{dataset_versi
浏览 8提问于2022-06-14得票数 1
回答已采纳
1回答
如果我尝试使用dask并行for循环，那么它的执行速度将比常规版本慢。基本上，我只是遵循dask教程中的介绍性示例，但由于某种原因，它在我的头上失败了。我做错了什么？
In [1]: import numpy as np
...: from dask import delayed, compute
...: import dask.multiprocessing
In [2]: a10e4 = np.random.rand(10000, 11).astype(np.float16)
...: b10e4 = np.random.rand(10000, 11).astype(
浏览 1提问于2018-02-12得票数 5
回答已采纳
我正在观看斯坦福大学cs231n的Youtube视频，并试图把作业作为练习来做。在执行SVM时，我遇到了以下代码：
def svm_loss_naive(W, X, y, reg):
"""
Structured SVM loss function, naive implementation (with loops).
Inputs have dimension D, there are C classes, and we operate on minibatches
of N examples.
Inputs:
- W: A numpy a
浏览 0提问于2018-11-10得票数 2
回答已采纳
3回答
我需要将两个大矩阵相乘，并对它们的列进行排序。
import numpy
a= numpy.random.rand(1000000, 100)
b= numpy.random.rand(300000,100)
c= numpy.dot(b,a.T)
sorted = [argsort(j)[:10] for j in c.T]
这个过程需要大量的时间和内存。有没有办法加快这个过程？如果不是，我如何计算执行此操作所需的RAM？我目前有一个EC2机器，有4 4GB内存，没有交换。
我想知道这个操作是否可以序列化，并且我不必将所有内容都存储在内存中。
浏览 5提问于2014-07-31得票数 8
回答已采纳
我正在将代码转换为使用dask数组而不是numpy数组。
我已经安装了dask 0.19.4版。
我有一个数组，它已被等效的dask数组所取代：
# this used to be a numpy array, created like so:
# da = np.zeros((total_months,))
da = dask.array.zeros((total_months,), chunks=(-1))
当我点击下面的代码行(在数组是numpy数组时，代码行以前是工作的)，我会得到一个项赋值错误：
for k in range(total_months):
da[k] = aw
浏览 2提问于2018-10-22得票数 1
回答已采纳
1回答
我正在尝试使用dask来并行化一些代码。我并行化的函数有3个参数，但随着循环的进行，只有一个参数发生了变化。这就是我到目前为止所知道的：
import dask
import numpy as np
# Set up client
cluster = SLURMCluster(cores=1, memory='40 GB',
queue='brc', interface='em1',
log_directory='./dask_logs')
cluster.sca
浏览 0提问于2020-11-03得票数 0
这在熊猫身上是可能的。
我想和dask一起做。
编辑:在任务上引发
仅供参考，您可以从
使用的Pandas解决方案
import pandas as pd
import numpy as np
df = pd.DataFrame([('falcon', 'bird', 389.0, 2),
('parrot', 'bird', 24.0, 2),
('lion', 'mammal', 80.5, 4),
浏览 0提问于2020-03-28得票数 4
为什么当conda说安装了1.20.1时，Python会在我的dask env中加载numpy 1.20.0？
(dask) ➜ dask: conda list -n dask | grep numpy
numpy 1.20.1 py38h18fd61f_0 conda-forge
(dask) ➜ dask: python
Python 3.8.8 | packaged by conda-forge | (default, Feb 20 2021, 16:22:27)
[GCC 9.3.0] on linux
Typ
浏览 1提问于2021-04-07得票数 0
回答已采纳
我是dask的新手，正在尝试弄清楚如何重塑从dask数据帧的单个列中获得的dask数组，但遇到了错误。想知道有没有人知道这个修复方法(不需要强行计算)？谢谢!
示例：
import pandas as pd
import numpy as np
from dask import dataframe as dd, array as da
df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})
ddf = dd.from_pandas(df, npartitions=2)
# This does not work -
浏览 22提问于2018-09-07得票数 2
回答已采纳
我的user_factors和item_factors是numpy.ndarray型的。我希望有效地计算user_factors行和item_factors行之间的点积，并将结果存储在numpy.ndarray中。我就是这样做的：
import numpy as np
...
user_coordinates = user_factors[user_id]
scores = []
for i in range(len(item_factors)):
item_coordinates = item_factors[i]
score = sum(i[0] * i[1] fo
浏览 3提问于2021-10-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
