1回答
在几次关于Dask的演讲中，显示了一个动画任务图，节点在运行时显示为红色，完成时显示为蓝色(示例：)。我在文档中找不到这个功能。用户很容易/可能为他们的任务生成这种可视化效果吗？
浏览 1提问于2018-01-25得票数 2
回答已采纳
1回答
下面是一些我需要帮助理解的非常基本的东西：>>> import dask.bag as db但是，如果我删除了to_dataframe()部件，那么它就会运行到完成，然后我就可以对获得的结果调用compute()。从Dask示例来看，还不清楚是否和如何使用Dask
浏览 2提问于2017-06-18得票数 0
1回答
当然可以在任何阶段查看Dask图，同时保持对象不变。尽管一旦在Dask对象上调用了.compute()，在运行计算之前仍有机会对Dask图应用额外的优化。在此阶段应用的任何优化都会影响计算的运行方式。但是，这个优化的图形不一定要附加到用户可用的相应Dask对象。有没有一种方法也可以查看实际用于计算的最终Dask图</em
浏览 14提问于2018-01-22得票数 2
1回答
我试图了解MLRun是如何执行我的Python代码的。支持什么不同的运行时，为什么我要使用一个与另一个？
浏览 10提问于2022-05-27得票数 0
回答已采纳
环境信息： Python==3.7rt = dask.compute(*rt) 它显示了Wall time: 3.23 s 第二个:基于列表的包，带有map函数： import dask.bag asone比bag one需要更多的时间，并且它需要大量的磁盘I
浏览 25提问于2020-01-27得票数 0
回答已采纳
) float32 dask.array<chunksize=(24,), meta=np.ndarray>
PM2.5 (time) float32 dask.array<chunksize此数据集是在托管于ds.where()服务器上的原始大扎尔数据集上的某些ds.rio.clip()和最终ds.mean(dim=['latitude', 'longitude'])之后获得的。为什么是那样的？对更大<em
浏览 10提问于2022-10-13得票数 0
1回答
如何阻止达斯克重新计算df1的结果
另一种情况是，如果我运行df3.compute()，那么df2.compute()。我如何告诉dask在运行df1时使用已经计算过的df3.compute()值(在df3.compute()中计算)
浏览 0提问于2018-07-02得票数 1
我尝试使用Dask和xarray对两个数据集执行一些分析(例如avg)，然后计算两个结果之间的差异。这是我的密码b = dask.delayed(calc_avg)(p2)result = total
浏览 14提问于2022-05-10得票数 1
2回答
我尝试使用dask从http地址加载一个JSON，然后将其放入一个dataframe中，以便使用dash绘制一些实验数据。目标是实时获取数据并显示机器的实时图(示例数据可以在这里找到：)import jsonmybag = db.read_text("http我也试过了：dd.read_json('url&#x
浏览 5提问于2021-12-02得票数 2
我使用dask自定义图形进行计算。我想在发布任务图的同时得到一个未来，这样我就可以根据未来的状态来判断计算是否完成。当我使用client.get(图，键)时，他返回了一个dask.dataframe，但它被延迟了。并未实际开始计算 我不能使用client.get()获得未来，所以我使用client.compute(client.get(graph，key))来获得未来，但是有一个问题是它不是实时的。当我计算复杂的图形时，我需要等待10
浏览 11提问于2020-09-01得票数 0
1回答
我正在尝试使用dask.delayed来构建一个任务图。这主要是很好的工作，但我经常遇到这样的情况，在这种情况下，我有许多延迟对象，它们有一个方法返回一个长度的对象列表，这些对象的长度很难从我现在可以得到的信息中计算出来：这给了一个在<e
浏览 4提问于2017-12-11得票数 3
回答已采纳
现在，我想给它一个文件列表，但不重复DAG中的项目，如上面的链接所示。我知道delayed在：上的功能，但是我需要使用get来评估DAG，对吗？如果是这样，我如何与delayed或futures一起使用它？
浏览 0提问于2019-05-18得票数 0
回答已采纳
1回答
我对dask并不熟悉，也不知道dask中计算()方法到底做了什么？它是一种打印对象的方法吗？我从它的网站上读过文档，不确定我是否理解“具体价值”和“懒惰的达克”这两个术语。--您可以通过调用.compute()方法或dask.compute(.)将任何dask集合转换为具体值函数。这个函数将被阻塞，直到计算完成，直接从一个懒惰的dask集合到本地内存中的一个具体值。我所说的“这是一种打印对象
浏览 5提问于2019-11-05得票数 0
回答已采纳
2回答
最大的一个大约有8700万行。我还有其他的，大约500K行。我正在做的一部分是加入他们，当我试图与熊猫一起做这件事时，我得到了内存问题。所以我一直在使用Dask。执行所有的连接/应用是非常快的，但是即使我知道结果数据帧只有26行，也需要5个小时才能写出csv。
我读到一些连接/应用对于Dask来说并不是最好的，但这是否意味着使用Dask会更慢？因为我的速度非常快。我在数百万行上进行的</e
浏览 27提问于2020-05-05得票数 0
我想使用dask-distributed，对于支持的算法和一般任务图执行都是如此。不幸的是，我们使用的批处理调度程序不支持DRMAA，所以我不能使用dask-drmaa。我们为所有主机提供了NFS。有没有办法开始使用Dask，或者我需要让批处理调度器支持DRMAA？
浏览 0提问于2017-03-13得票数 1
我将尝试重新表述我的问题：id,names,amount387,Tim,208129,Patricia,284import dask.dataframe as ddfrom dask.threaded import
浏览 5提问于2015-10-21得票数 2
回答已采纳
我试图更深入地理解Dask delayed，所以我决定通过示例here来学习。我修改了一些代码，以反映我希望如何使用Dask (见下文)。但是结果和我预想的不一样。元组vs列表。当我尝试应用'.visualize()‘来查看执行图是什么样子时，我什么也得不到。 我研究了“delayed.ipynb”中的所有示例，它们都工作正常，包括所有的可视化效果。%%timeimport random
from dask<
浏览 21提问于2019-05-13得票数 0
我有一个很大的(10s GB) CSV文件，我想要加载到dask中，并对每一行执行一些计算。我还想将被操纵的CSV的结果写入BigQuery中，但是最好是将网络请求分批到BigQuery，比如每行10,000行，这样我就不会产生每一行的网络开销。我一直在查看dask delayed，并看到您可以创建一个任意的计算图，但我不确定这是否是正确的方法:如何收集和启动基于某个组大小(或者经
浏览 0提问于2018-07-10得票数 1
回答已采纳
我正在dask上运行一个函数，将数据转储到NoSQL DB中，如下所示： # code to write into dbbag = bag.map_partitions(csv.DictReader).map(func).map_partitions(write_to_db)现在，当我查看dask任务图时，在每个分区完成write_to_db函数之后，它将显示为memory而不是released。我的
浏览 1提问于2020-08-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
