我在本地计算机上运行dask分布式作业，我希望利用所有可用的cpus，而不关心诊断仪表板。在这种情况下创建Client对象有什么好处吗？我之所以这样问，是因为在脚本的启动过程中，创建这样一个对象需要一些时间，而我想要缩短这段时间。
浏览 21提问于2020-09-24得票数 0
我是DASK的新手，我正在尝试在私有云上建立一个分布式集群。现在，我在同一台机器上运行了调度器和一个工作程序，它们都运行在同一Docker容器中。()
df.to_csv('data/*.csv') 我希望csv文件(1..30.csv)将在本地data目录中创建，即在我的本地计算机上的/home/my_user/loca
浏览 25提问于2020-03-27得票数 1
回答已采纳
我曾希望我可以通过以下模式在计算中使用图形简化：example_stat_future = parsed.map(foo)parsed.map(bar).sum()example_stat, another_stat = compute(example_stat_future, another_stat_future)from json import loads, dumps
from ti
浏览 4提问于2017-02-21得票数 1
我对client.persist()和client.compute()之间的区别感到困惑，它们似乎(在某些情况下)都开始了我的计算，并且都返回异步对象，但在我的简单示例中并非如此：fromdask.distributed import Clientclient = Client()
return a
浏览 3提问于2017-01-23得票数 22
回答已采纳
2回答
Modin与dask冲突
、、、
我正在尝试modin，但是一直有一个错误：import pandas as pd
df = pd.read_csv(PATH)
mdf = md.read_csv(PATH) UserWarning:尚未初始化的Dask执行环境。正在初始化...若要删除此警告，请在执行dataframe操作之前运行以下python代码：
from distributed import Clien
浏览 7提问于2021-05-16得票数 0
1回答
我在试着决定是Spark还是Dask能给我们的工作带来更好的表现。我有一个简单的脚本，可以在DataFrame上运行一些操作。 def CreateTransactionFile(inputFile, client): df = dd.read_csv(hdfs , client)
浏览 2提问于2018-11-29得票数 1
我的数据存储在远程机器上。 我想运行并访问远程机器上的数据。为此，我在远程机器上运行了一个dask-scheduler &一个dask-worker。然后，我在我的笔记本电脑(本地机器)上运行了一个jupyter笔记本电脑，使用的是client=Client(‘schedular ip:8786’)，但它仍然引用本地机器
浏览 31提问于2021-09-26得票数 2
我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端Dask调度程序和工作人员都位于同一台服务器上，因此它们都
浏览 2提问于2019-12-20得票数 2
回答已采纳
1回答
我试过了： df.groupby('name').agg('count').compute(num_workers=1)
df.groupby('name').agg('count').compute(num_workers=4) 他们花了同样的时间，为什么num_workers不能工作？ 谢谢
浏览 25提问于2019-04-10得票数 7
我正在设置一个实验，在这个实验中，我必须处理数百万个文件(图像)，文件的完成顺序并不重要。我如何将任务传递给工人？from distributed import Client
client = Client</
浏览 15提问于2019-09-08得票数 0
1回答
我一直在测试如何使用dask (有20个核心的集群)，我对调用len函数和切片遍历loc的速度感到惊讶。import dask.dataframe as ddclient = Client('192.168.1.220:8786')所有的绿色框都与"from_pandas“相对应，而在Matthew 的这篇文章中，调用图看起来更好(调用len_chunk的速度要快得多
浏览 2提问于2017-01-27得票数 15
回答已采纳
1回答
我对dask并不熟悉，也不知道dask中计算()方法到底做了什么？它是一种打印对象的方法吗？我从它的网站上读过文档，不确定我是否理解“具体价值”和“懒惰的达克”这两个术语。--您可以通过调用.compute()方法或dask.compute(.)将任何dask集合转换为具体值函数。这个函数将被阻塞，直到计算完成，直接从一个懒惰的dask集合到本地内存中的一个具体值。也就是说，当我<
浏览 5提问于2019-11-05得票数 0
回答已采纳
我正在我的本地机器上用dask优化一个TPOT管道。我预计这将持续48小时甚至更长时间。client = Client(n_workers=1, threads_per_worker=6, memory_limit="14GB")
我想知道我
浏览 11提问于2020-05-21得票数 1
回答已采纳
1回答
我正在使用dask开发一个分布式集群，当将结果返回到本地进程时，我注意到了峰值内存消耗。在计算过程中，达斯克是否有任何副本？或者木星实验室需要复制？import dask.array
import dask</e
浏览 2提问于2022-03-04得票数 1
回答已采纳
2回答
使用，我创建了一个Dask集群。dask01-worker-ccc-cccc 1/1 Running 0 3d19h现在，我想以某种方式将它连接
浏览 17提问于2020-03-14得票数 1
我在dask集群上分发了许多这些函数调用。首先，我在主机上启动了一个调度程序：dask-scheduler。client = Client('tcp://scheduler:8786')
forresult in client</e
浏览 7提问于2020-12-18得票数 0
回答已采纳
1回答
我已经在码头上与工人一起实现了达斯克。我用一个Docker编写的文件启动了10名工人，如下所示：要运行两种模型的机器学习培训，我执行以下操作：X1 = data1[features1]
X2 = data2[features2]
with joblib.parallel_backend('dask我可以用工人1到5训练1，工人6到10训练2，但如何告
浏览 3提问于2021-07-22得票数 0
回答已采纳
我是Dask的新手。我已经创建了一个dask数据帧，使用drop命令删除了一些列。在此之后，我将执行其他操作。当我调用计算时，得到错误：'Future‘对象没有'drop’属性。在drop命令之后立即调用计算()可以很好地工作，但是当我在之后调用它几个语句时，它会给出这个错误。请建议这里出了什么问题。
顺便说一下，我使用的是在本地机器上分发的<
浏览 0提问于2019-05-02得票数 1
我尝试使用helm和tiller在gke集群上部署dask。我没有为我的集群创建外部IP的权限，所以我将dask调度程序设置为clusterIP，而不是负载平衡器。然后，我使用kubectl提供端口转发，将dask scehduler服务转发到我的本地机器。我有一个python代码(一个简单的dask示例)，其中我希望将分布式客户端连接到dask调度程序的(转发) tcp端口，并在我的gke集群中启动计算</
浏览 3提问于2020-12-13得票数 2
回答已采纳
我使用以下代码从Jupyter笔记本创建本地集群：c = Client(cluster)
当内核被占用(计算操作)时，是否可以从另一个笔记本进行连接？
浏览 20提问于2020-02-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
