1回答
当我运行该图时，bokeh会像这样显示执行路径： ? 这会导致我的机器耗尽内存并崩溃，因为加载图像的输出是兆字节的图像。我希望图表像这样运行，因为保存结果的结果非常小，应该很好： ? 我怎样才能用dask做到这一点？ 在可能融合中间节点的地方，Customizing Optimization看起来会很有用。这是最好的方法吗？
浏览 9提问于2019-03-13得票数 1
回答已采纳
如果我在高性能计算机(HPC)上使用Dask，我还需要使用Dask(即.( joblib.parallel_backend('dask')运行scikit学习代码？'):因为我在高性能计算机上使用了(即.我连接到一个HPC实例)，当我运行我的代码时，我的所有代码是否已经分发到一个集群(因为我已经指定了cluster.scale如果是的话，我还需要上面使用Dask的最后3行代码吗？集群上运行</em
浏览 3提问于2020-06-21得票数 0
回答已采纳
任务以图形形式排列，一切都通过dask get命令执行。screen -d -m dask-scheduler --scheduler-file scheduler.json
screen -d -m srun dask-
浏览 0提问于2018-05-18得票数 1
回答已采纳
在使用SciKit Learn和XGBoost在多节点dash集群中测试我们不同的算法时，我对DASK和JOBLIB的结果感到惊讶。我想知道如何将tensorflow 2.0与Dask和Joblib相结合，以实现神经网络的并行计算。
浏览 16提问于2020-07-07得票数 0
1回答
关于将缓存集成到dask延迟图中，目前的技术状态是什么？我有一些大图，对于图的每个单独运行(即跨进程)，其路径将从持久缓存(即磁盘，并按参数进行散列)中受益显着。我的期望是有一个可以在图形优化阶段与之集成的api，在适当的时候用从磁盘加载的常量替换节点。看起来cachey应该是我的入口点，但我还没能让它与纯dask延迟的示例一起工作。
浏览 13提问于2019-02-01得票数 0
2回答
我的目标是在一组3 linux (ubuntu)物理工作站上建立一个坞群，并在其上运行一个集群。upkr459m75au0vnq64v5k5euh * box3 Ready Active Leader bokeh
当我部署群集时，与dscheduler不在同一台机器上的dscheduler节点不知道dscheduler是什么。我查看了其中一个节点，并在env中查找，而dscheduler不在那里。我还尝
浏览 3提问于2017-09-14得票数 2
回答已采纳
我正试图使用NERSC上的dask客户端将一些相对较大(~15 on )的VTK文件加载到dask dataframe中。然而，我很难有效地完成这一任务，大部分工作都是在NERSC节点上并行进行的。这里的基本结构遵循Rollin关于在NERSC ()上使用dask的笔记本。所以我：
在NERSC上启动一个木星笔记本，访问交互队列上的一个节点，定义调度程序文件，启动访问同一个调度程序文件的客户端。在这种情况下，构建一组较小数据的过程似乎发生在木星内核而不是NERSC节点上
浏览 5提问于2020-09-22得票数 0
1回答
我在达克上读到：
分布式系统是否只对客户端/服务器通信使用旋风，并有单独的进程/线程来运行dask任务？实际上，dask-worker有--nprocs和--nthreads参数，所以我希望是这样的
浏览 3提问于2016-10-04得票数 4
回答已采纳
1回答
将一列随机数添加到dask数据帧的正确方法是什么？显然，我可以使用map_partitions将列添加到每个分区，但我不确定当dask并行化该计算时，如何处理随机状态。在dask.array.random ()中似乎有相关的函数，但我找不到一个示例来说明如何将这些函数与dask数据帧一起使用。
浏览 2提问于2021-02-09得票数 1
scriptA.py内容：from dask.distributed import Client
printfile4.try_something(); time.sleep(1)scriptA.py在节点1(192.168.23.12:9784)上运行，而dask-worker在
浏览 0提问于2018-01-20得票数 1
回答已采纳
我试图在使用SLURM的集群上实现dask。但是，在行中成功地创建和缩放了客户端。with joblib.parallel_backend('dask'):/usr/bin/python3: Error while findingmodule specification for 'distributed.cli.dask_worker' (ModuleNotFoundError: No module named
浏览 10提问于2020-08-27得票数 3
回答已采纳
1回答
# process startclient = Client()# thread-1f.result()
f = client.submit(anothe_work)
f.result() 如何将异步Dask客户端与aiohttp一起使用
浏览 18提问于2020-10-31得票数 2
1回答
我有几个关于使用Dask与Hadoop/Yarn有关的问题。
from dask.distributed import Client它导致错误：
我应该传递名称节点或datanode的地址吗？我在集
浏览 5提问于2017-10-25得票数 2
回答已采纳
我安装了radon来计算复杂性，但我也希望能够实现一个分布式系统，该系统创建一组n个工人，其中每个工人在文件夹中被给予一个单独的文件，然后使用Radon计算该文件。我正在为分布式系统使用dask，我想知道是否有可能实现我上面所要求的。或者我可以指定10个工作节点，他们将寻找工作(即要计算的文件)，每个节点将获取一个文件并并发运行，然后程序将记录执行此操作所需的时间。我使用dask设置了一个基本程序，它调用一个函数，但不确定您是否可以给出一个项目列表，该列表分布在一组工作
浏览 0提问于2017-11-29得票数 0
由于某些集群规则，可能会发生由于给定原因(例如，在具有高优先级的节点中分配给另一组用户)而导致进程被终止的情况
有没有办法让worker中的任务或数据集获得“lost”标记，以便Dask/Distributed系统重新运行该特定任务以及它的依赖图？
浏览 3提问于2017-02-03得票数 1
是否有一种方法可以获得比可用内存更大的dask数组的唯一行？理想情况下，无需将其转换为dask DataFrame?。我目前使用这种方法import dask.dataframe as dd
ddf = dd.from_dask_array(dx)dx = ddf.to_da
浏览 0提问于2018-11-20得票数 5
回答已采纳
我尝试在Dask数据帧的多个分区上运行一个函数。该代码需要解压元组，并且可以很好地与Pandas一起工作，但不能与Dask map_partitions一起工作。import dask.dataframe as dd for index, row in df.iterrows():dataframe在这里，Pandas版本
浏览 27提问于2021-02-24得票数 1
回答已采纳
我想在存储在netCDF文件中的数据上运行这个计算，该文件扩展到51 at -目前我一直在用xarray.open_dataset打开文件并使用块(我的理解是这个打开的文件实际上是一个dask数组，因此一次只将数据块加载到内存中然而，我似乎无法利用这种懒散的加载，因为为了运行我的计算，我必须将xarray数据转换为熊猫数据--我的理解是，此时所有的数据都被加载到内存中(这很糟糕)。我看过dask与pandas.read_csv一起工作，我也看到它与xarray一起工作，
浏览 0提问于2016-11-07得票数 7
回答已采纳
我曾尝试在~/.config/dask/distributed.yaml和~/.config/dask/yarn.yaml中使用以下内容，然后，在我的函数中，对工作人员进行评估：from distributed.worker import logger
import daskfrom
浏览 3提问于2019-08-23得票数 0
回答已采纳
3回答
R中是否有与Python的dask相同的包？专门用于在一台机器上运行大于内存的数据集上的机器学习算法。链接到Python的Dask页面：Dask为分析提供了高级的并行性，为您喜欢的工具提供了规模上的性能。达斯克的调度器已经在世界上一些最大的超级计算机上进行了测试，规模可达千节点集群，其算法已经过测试。
但你不需要一个庞大的集群才能开始。带有调度器的Dask船，设计用于个人机器上。今天，许多人使用Dask
浏览 1提问于2018-06-27得票数 13
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
