我正在设置Dask，我可以使用dask进行多进程处理。我想知道。如何将自定义导入添加到dask workers中，以便访问这些workers的所有期货都可以有效地运行。
浏览 28提问于2019-10-31得票数 0
回答已采纳
1回答
我正在一个多节点分布式Dask集群上运行多个并行任务。然而，一旦任务完成，工作人员仍然持有大量内存，集群很快就会被填满。client.cancel(df)之后都尝试过client.cancel(df)，第一个任务杀死了工作人员，并将CancelledError发送到其他运行中的任务，这是很麻烦的；第二个任务没有多大帮助，因为我们在map函数中使用了大量的自定义对象和函数我确信，大部分内存被占用是因为使用client.map(..)调用的自定义python函数和对象。我的问题是：
trigger w
浏览 2提问于2020-01-18得票数 4
我在Dask.distributed的Client()接口文档中没有看到指示如何设置此属性的方法。
浏览 73提问于2018-06-22得票数 3
回答已采纳
4回答
使用distributed，我尝试提交一个位于另一个名为worker.py的文件中的函数。在工作人员中，我有以下错误：
import worker
dask_queue = queue.Queue() map_queue = self.executo
浏览 0提问于2016-10-11得票数 12
回答已采纳
1回答
例如，在我正在运行的辅助主机上：现在，如果我提交需要resources={"HOST":1}的任务，这是否保证只有该机器上的一个进程会在特定时间执行此任务
浏览 2提问于2017-08-28得票数 1
回答已采纳
在我完成DASK代码之后，我一直收到"distributed.utils_perf - WARNING - full垃圾回收最近占用了19%CPU时间“的警告消息。我正在使用DASK做一个大型的地震数据计算。计算完成后，我会将计算出的数据写入磁盘。写入磁盘部分所需的时间比计算要长得多。在我将数据写入磁盘之前，我调用了client.close()，我假设我已经完成了DASK。
浏览 185提问于2019-10-19得票数 7
1回答
我们目前正在使用Dask网关与CPU专用工人。然而，随着深度学习被广泛采用，我们希望过渡到增加GPU对通过Dask网关创建的集群的支持。我已经检查了Dask文档，对于如何设置它以及我们需要更改舵图/配置的哪些部分来启用此功能，并没有太多的详细说明。我想的是首先在GCP上的GKE集群中添加一个GPU，然后为使用这个GPU的dask工作人员使用一个？这就是达克网关所需要的全部设置吗？
如果有人能给我指明正确的方向会很感激的。
浏览 4提问于2020-12-08得票数 2
回答已采纳
当我尝试使用以下命令导入scheduler时，我正在尝试使用scheduler、worker和client设置分布式计算： ImportError Traceback (most recent call last)--
浏览 46提问于2020-03-02得票数 1
[mapr@impetus-i0057 latest_code_deepak]$ dask-worker 172.26.32.37:8786
distributed.nanny - INFO -distributed.diskutils - WARNING - Found stale lock file and directory '/home/mapr/latest_code_deepak/dask-worker-space/dask-
浏览 0提问于2018-02-07得票数 6
回答已采纳
1回答
我正在使用Kubernetes和Helm在云资源上运行Dask集群和Jupyter笔记本服务器 我对Dask集群和Jupyter使用yaml文件，该文件最初取自https://docs.dask.org/en/latest/setup/kubernetes-helm.html apiVersion: v1worker:
浏览 33提问于2021-08-25得票数 1
我试图导入dask_cuda作为示例：from dask.distributed import Client 14 from distributed.proctitle import (
15 enable_proctitle_on_childreninitialize import initial
浏览 7提问于2022-08-10得票数 1
回答已采纳
1回答
我正在尝试按照docs here为工作人员设置资源，但设置使用的是Dask Gateway。具体地说，我希望能够遵循this question的答案，但使用的是Dask Gateway。我在ClusterConfig options中找不到对worker资源的引用，我尝试了以下(as per this answer)，但似乎不起作用： def set_resources(dask_worker):
dask_worker.se
浏览 9提问于2021-09-23得票数 5
2回答
使用，我创建了一个Dask集群。dask01-worker-ccc-cccc 1/1 Running 0 3d19hdask01-worker-eee-eeee 1/1 Running 0
浏览 17提问于2020-03-14得票数 1
我正在考虑不同的方法来自动启动和控制dask分布式调度程序和Ubuntu16.04上的工作人员。
目前，我认为最相关的选项是使用systemd守护进程。这需要创建和安装。重新加载配置的命令也是有用的，但是，我不确定如何使Python重新导入模块，以及它是否比重新启动进程更简单。看起来目前不可能通过运行dask-scheduler或dask-worker命令来停止调度程序/工作人员，不是吗？我没有找到任何相关的命令行开关。另一种选择是创
浏览 1提问于2016-09-08得票数 2
回答已采纳
我曾尝试在~/.config/dask/distributed.yaml和~/.config/dask/yarn.yaml中使用以下内容，def worker_func(args):
logger.info("This will show
浏览 3提问于2019-08-23得票数 0
回答已采纳
我试图在使用SLURM的集群上实现dask。但是，在行中成功地创建和缩放了客户端。with joblib.parallel_backend('dask'):/usr/bin/python3: Error while findingmodule specification for 'distributed.cli.dask_worker' (ModuleNot
浏览 10提问于2020-08-27得票数 3
回答已采纳
'tcp://127.0.0.1:45940')
因此，我将研究如何解决这个问题
浏览 0提问于2018-08-18得票数 3
回答已采纳
我使用以下代码创建了一个集群cluster = KubeCluster.from_yaml('worker.yaml')cluster.adapt(minimum=1, maximum=10)kind: Pod labels:
foo:args: [dask-worker</em
浏览 1提问于2020-02-01得票数 1
我想从命令行执行相当于Client(LocalCluster())的操作。我更希望在后台运行一个进程，我可以直接连接到它，这可能吗？
浏览 3提问于2017-10-05得票数 1
回答已采纳
我正在尝试将数据库表读入dask数据帧，然后持久化该数据帧。我尝试了一些变体，它们要么导致内存不足，要么导致错误。
我使用的是一台8 GB内存的Windows 10笔记本电脑。我正在寻找一种更便宜的替代品，所以我对python、numpy、pandas和dask都是新手。请注意，SAS可以读取SQLite表，将其写入磁盘，并在90秒内创建索引，而无需锁定笔记本电脑。)作为ddf从dask.distributed导入客户端导入dask导入</em
浏览 67提问于2018-01-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
