有没有办法覆盖某些操作。import daska = np.zeros((10,10))我希望a[0]返回一个数字这个是可能的吗？上下文是我想要一系列图像(3D数组)，并运行如下操作：imgs3 = imgs*mask
然后让像imgs3[0]这样的操作显式地运行imgs3[0].compute然而，我现
浏览 0提问于2017-12-13得票数 0
我需要找到数组中每个元素的频率，同时保留有关数组形状的信息。这是因为我稍后需要对其进行迭代。 我尝试了this solution和this one。它在numpy上运行良好，但在dask中似乎不起作用，因为dask数组的限制，大多数操作都需要知道它们的大小。import dask.array as da
unique, coun
浏览 23提问于2019-05-18得票数 1
我正在尝试构建一个基于dask的ipython应用程序，它包含一个元类，其中包含一些子dask数组(它们都是成形的(n_samples、dim_1、dim_2 .)并且应该能够通过它的getitem操作符来划分子在getitem方法中，我调用da.Array.compute方法(代码仍然处于非常早期的状态)，因此我可以迭代子数组的批处理。(我试图不“计算”getitem中<
浏览 1提问于2019-01-13得票数 1
1回答
使用dask并行化数据迭代器
、、、、
我实现了一个数据迭代器，它从两个numpy数组中获取对象，并在返回对象之前对它们进行非常密集的CPU计算。我想使用Dask并行化这一点。下面是这个迭代器类的一个简单版本： def __init__(self, x, y): self.y = y
return len(self.x)
def __getit
浏览 3提问于2019-12-20得票数 1
回答已采纳
假设您想要指定Dask.array中的工作进程数，如所示，您可以设置：这对于我已经运行过的一些模拟非常有效，例如，montecarlo，但是对于一些线性代数操作，Dask似乎覆盖了用户指定的配置，例如：import dask
from multiproc
浏览 4提问于2017-02-24得票数 2
我有一个用c编写并用ctypes包装的函数interpolate_to_particles。我想使用dask.delayed对此函数进行一系列调用。代码在没有dask的情况下成功运行 # Interpolate w/o daskfrom da
浏览 19提问于2020-04-07得票数 2
2回答
我有一个dask延迟对象列表Portfolio_perfs<class 'list'>Portfolio_perfs[:3][Delayed('getitem-b7fd8629e2a0ecfe4e61ae6f39926140'), Delayed('getitem-af3225459229d541b73dc79319edaec2'), Delayed('getitem</em
浏览 2提问于2021-03-14得票数 1
回答已采纳
长话短说： dask.array<getitem, shape=(), dtype=float64, chunksize=()>,
dask.a
浏览 0提问于2019-09-13得票数 1
1回答
我正在尝试将dask数据帧的dtype 'category‘列的类别重命名为从1到len(类别)的一系列数字。在熊猫中，我是这样做的：但在dask中，这是行不通的：
Traceback (most recent call last' has no attribute 'Categorical
浏览 0提问于2016-10-19得票数 1
API的似乎只支持返回一个输出键/值的函数。例如，下面的依赖项不能很容易地表示为Dask图： / \ \ /这可以通过在“复合”键下存储一个元组来实现(本例中为"B_C“)，然后用getitem()或类似的方法将其拆分。但是，这会导致执行效率低下(例如不必要的序列化)，并降低DAG可视化的清晰度。
是否有
浏览 3提问于2016-07-15得票数 7
回答已采纳
我需要遍历dask dataframe中的唯一值。我使用.unique()来获取列的惟一值，但是现在给了我一个不能用来迭代的dask对象。我需要知道如何将这些唯一值从这个dask对象中获取到一个列表(或类似的内容)中，这样我就可以使用这些值来迭代dask数据帧。dd.read_csv('file.csv')for unique_value in colum
浏览 19提问于2019-06-02得票数 1
回答已采纳
我有一些关于S3桶的数据，我想使用这些数据。我使用以下方法导入它：import dask.dataframe as dd
s3 = boto3.client('key = 'Churn/CLEANED_data/file.csv'我可以看到，使用以下方法正确导入了数据：但是，当我尝试简单操作/base.py in
浏览 1提问于2019-07-31得票数 2
回答已采纳
1回答
有没有一种简单的方法来切分Dask数据帧索引： 在熊猫里有类似的东西吗？ index_element = df.index[-1]
浏览 18提问于2021-03-30得票数 0
回答已采纳
1回答
我正在努力找出如何延迟dask来处理涉及创建字典的特定工作流程。x2 = {'a': 4, 'b': 5, 'c': 6}
浏览 5提问于2018-02-11得票数 4
回答已采纳
我在两个列上使用了groupby ( df有大约70列，除日期时间外，所有列都是浮动的)来获得dask数据文件：我不能使用结果，因为它是以某种奇怪的格式：如何将结果作为dataframe/dataframe/groupby.
浏览 3提问于2021-01-26得票数 1
回答已采纳
当垂直连接两个时间戳索引的Dataframe时，我有一个类似于的问题。Name: time, dtype: datetime64[ns]
Df2.索引：它们的列名和类型完全相同。现在，我想使用d
浏览 0提问于2019-01-24得票数 0
1回答
如何避免任务图中的大对象
、、、
我正在使用dask.distributed运行模拟。我的模型定义在一个延迟函数中，并且我堆叠了几个实现。下面的代码片段中给出了我所做工作的简化版本：import xarray as xrimport daskfrom itertools import repeat
@dask</e
浏览 7提问于2018-08-27得票数 2
回答已采纳
在我的Dask配置文件(即~.config/dask/yarn.yaml )中，我将worker环境变量设置为：cluster = YarnCluster(worker_env={"env_var": env_val})
其中，env_val是在上述
浏览 0提问于2019-08-16得票数 0
回答已采纳
1回答
拥有一个占用大约100 in内存的dask.DataFrame： ddf = client.persist(ddf)# 246652596 rows ## Runningsome other code like groupby/aggregate etc 现在我想使用.loc操作符过滤掉数据，但在运行以下命令后，内存消耗为165 to： ddf_c = ddf_c.locddf_c.is_in_valid_set_of_combis == True]
ddf_c = client.persist
浏览 21提问于2020-08-06得票数 1
geoentity_Pic_de_Font_Blanca_2986043> rdfs:label Pic de Font Blanca NaN 我正在尝试检查对于所有<hasGeonamesEntityId>行，class1中的数字是否与class2中的数字匹配；这样我就可以去掉那些行，因为它们会携带不必要的重复数据。\dataframe\core.py in __getitem__(self, key)
3347
浏览 10提问于2020-01-21得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号