首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >LocalCluster调度程序没有使用所有内核,并且比默认线程调度程序慢吗?

LocalCluster调度程序没有使用所有内核,并且比默认线程调度程序慢吗?
EN

Stack Overflow用户
提问于 2021-08-31 04:27:44
回答 1查看 780关注 0票数 1

我使用dask数组来加速一台机器(4核或32核)上的计算,使用默认的“线程”调度程序或dask.distributed LocalCluster (线程,没有进程)。

考虑到dask.distributed调度器是新的,并且附带了一个很好的仪表板,我希望使用这个调度器。但是,我发现LocalCluster调度程序比默认调度程序慢(因子2或更多)。LocalCluster调度程序也没有充分利用所有请求的核心,偶尔在32核机器上只使用一个或几个内核。

问:这是预期的行为吗?如果没有,我可以做些什么来提高LocalCluster调度程序的性能?

下面是我用于测试的代码、示例输出(运行在4核计算机上)和测试后系统监视器的快照。

代码语言:javascript
运行
AI代码解释
复制
import numpy as np

import dask.array as  da
import dask.distributed

from datetime import datetime

n_threads= 4
n = 40_000

def test(n=40_000, chunk=1000):
    da.random.seed(731)
    x = da.random.random((n,n), chunks=(chunk,chunk))
    y = x + x.T
    z = y[::2,5000:].mean(axis=1)
    return z

print("Test default threads scheduler (size={}, {} threads)".format(n, n_threads))

start = datetime.now()
result1 = test(n=n).compute(scheduler="threads", num_workers=n_threads)

print("Done in {}".format(datetime.now()-start))

print("Test dask distributed LocalCluster scheduler (size={}, {} threads)".format(n, n_threads))

client = dask.distributed.Client(processes=False, n_workers=1, threads_per_worker=n_threads)
print("Client: ", client)

start = datetime.now()
result2 = test(n=n).compute()

print("Done in {}".format(datetime.now()-start))

client.close()


error = np.mean(np.abs(result1-result2))

print("Mean absolute difference between results: {}".format(error))

输出

代码语言:javascript
运行
AI代码解释
复制
>> python test_dask.py
Test default threads scheduler (size=40000, 4 threads)
Done in 0:00:09.872372
Test dask distributed LocalCluster scheduler (size=40000, 4 threads)
Client:  <Client: 'inproc://192.168.0.129/32574/1' processes=1 threads=4, memory=16.67 GB>
Done in 0:00:18.028071
Mean absolute difference between results: 0.0

CPU和内存使用

(默认线程调度程序为43-53秒,LocalCluster为23-45秒)

EN

回答 1

Stack Overflow用户

发布于 2021-08-31 05:02:28

Numpy工作负载通常能很好地处理许多线程,而不是许多进程,因为底层操作会释放GIL,而对于线程则会最小化内存副本。

分布式调度器(即LocalCluster)允许您选择进程和线程的组合,并且确实可以在进程中工作(尽管这是比较少见的)。请参阅长串的论点,特别是n_workersthreads_per_workerprocesses。如果您有一个工作线程和多个线程,您应该有类似于非分布式线程调度程序的东西。

但是,请注意,分布式调度程序比默认的线程调度程序更复杂。这通常意味着更聪明的性能,但总是意味着更多的每个任务的开销/延迟。当每个任务的执行时间非常短时,您会感觉到,这可能是简单的numpy操作的情况。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68998665

复制
相关文章
利用jQuery not()方法选取除某个元素外的所有元素
这时我们可以使用 jQuery 遍历中的 not() 方法来排除某些元素,例如根据元素的 #id ,.class 等排除,代码如下:
德顺
2019/11/12
3.3K0
jquery获取第几个子元素_js获取元素的指定子元素
通过children方法,children(“input:first-child”)
全栈程序员站长
2022/08/03
27.3K0
点击除元素以外的任意地方隐藏元素js
比如想实现点击列表弹出筛选器,点击其他任意地方关闭筛选器,如图 该筛选器class名 1 $(document).click(function () { 2 $(".subMenu"
蓓蕾心晴
2018/04/12
4.6K0
点击除元素以外的任意地方隐藏元素js
WPF 得到子指定元素方法和得到指定子元素集合方法MvvM得到焦点
public class UIHelper { /// <summary> /// 在Visual里找到想要的元素 /// childName可为空,不为空就按名字找 /// </summary> public static T FindChild<T>(DependencyObject parent, string childName) where T : DependencyObject
lpxxn
2018/01/31
1K0
jQuery中排除指定元素,同时选择剩下的所有元素
场景:某页面用了js延时加载技术处理所有图片,以改善用户体验,但是有几个图片不想延时加载,要求把它们单独挑出来。 研究了一下jQuery的API文档,搞掂了,jQuery真的很方便,贴在这里备份: <!doctype html> <html> <head> <title>菩提树下的杨过</title> <script type="text/javascript" src="http://img.24city.com/js/jquery-1.4.3.min.js"></script> <scri
菩提树下的杨过
2018/01/22
1.7K0
JQuery干货篇之选择元素
实例 $("img:odd").css("border","thick double red");选择序号为奇数的img元素 $("img:first").css("border","thick double red") 选择第一个img元素
爱撒谎的男孩
2019/12/31
1.8K0
vue组件中修改组件外元素样式
以上方式修改某些组件的样式,这样会涉及到从 html 层级选择,由于我 style 标签是这样写的
蓓蕾心晴
2023/05/31
6070
css选择器选择父元素下子元素仅有一个指定 class 的时候
对于仅指定一个 class 的场景,我们通常会想到使用 :last-child  或者 :only-child 
蓓蕾心晴
2023/05/31
1.8K0
css中伪元素选择器
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>68-伪元素选择器</title> <style> *{ margin: 0; padding: 0; } div{ width: 200px; height: 200px; ba
贵哥的编程之路
2020/10/28
1.9K0
CSS 块元素、内联元素、内联块元素
元素就是标签,布局中常用的有三种标签,块元素、内联元素、内联块元素,了解这三种元素的特性,才能熟练的进行页面布局。
Devops海洋的渔夫
2019/05/31
4K0
【CSS3】CSS3 伪元素选择器 ( 伪元素选择器语法简介 | 伪元素选择器权重计算 | 代码示例 )
属性选择器 , 伪类选择器 的 权重 , 与 类选择器 权重相同 , 都是 10 ;
韩曙亮
2023/04/24
1.2K0
【CSS3】CSS3 伪元素选择器 ( 伪元素选择器语法简介 | 伪元素选择器权重计算 | 代码示例 )
纯CSS选择器控制子元素或兄弟元素的hover效果
一般 hover 效果只用在自身元素和控制子元素,那么可以直接用 CSS 控制兄弟元素的 hover 效果吗?
德顺
2019/11/13
6.4K0
纯CSS选择器控制子元素或兄弟元素的hover效果
Selenium 元素checkbox元素操作与元素等待
检测百度页面搜索按钮是否存在,存在就输入关键词“自学网 Selenium” 然后点击搜索
清风穆云
2021/08/09
1.6K0
selenium元素定位中css或者xpath不选择某一类元素
例如,下列标签中,不选择class为disable的span标签 则 这样写 dd:not(.disabled) > span 或者 dd:not(.disabled) span
小黑同学
2020/08/16
1.9K0
selenium元素定位中css或者xpath不选择某一类元素
谷歌调试工具选取元素选择不到页面的具体元素问题
z-index的问题 document的默认值是0. 一旦出现这种问题,检查下是否对大背景设置了z-index:-1; 如果设置了这个,那么所有的被设元素的内容都会在document之下,选取不到。包括不会出现链接点击、文字选取、hover等效果。 所以解决这个问题的方法就是把大背景的z-index:-1;去掉即可。
smy
2018/04/03
9920
vue获取当前点击元素的父元素、子元素、上级元素等
<div @click = "clickfun($event)">点击</div> methods: { clickfun(e) { // e.target 是你当前点击的元素 // e.currentTarget 是你绑定事件的元素 #获得点击元素的前一个元素 e.currentTarget.previousElementSibling.innerHTML #获得点击元素的第一个子元素 e.curre
用户1349575
2022/01/26
11.4K0
<noscript>元素[通俗易懂]
早期浏览器都面临一个特殊的问题,即当浏览器不支持 JavaScript 时如何让页面平稳地退化。对这
全栈程序员站长
2022/11/17
5570
使用CSS选择器进行元素定位
在selenium webdriver中,支持使用CSS选择器来进行元素定位,事实在真的投入工作,大量编辑用例和元素定位的时候,使用css 和 xpath才是经常需要用到的。 之前有专门讲过使用xpath对元素定位的使用,下面要介绍css选择器来进行元素定位。 【参见W3C官网说明】 http://www.w3school.com.cn/cssref/css_selectors.asp 先看看css选择器定位的webdriver函数: def find_elements_by_css_selector(
苦叶子
2018/04/17
3.2K0
HTML5 元素选择流程图
?
疯狂的技术宅
2019/03/28
2.4K0
HTML5 元素选择流程图
前端基础-CSS相邻元素选择器
相邻元素选择器 哥哥+弟弟{} /*通过哥哥选择到弟弟 */ 例: <style> div+p{/* 兄弟选择器,哥哥标签+弟弟标签,,,,修饰的是弟弟 */ color:red; } <
cwl_java
2020/04/07
1.5K0
前端基础-CSS相邻元素选择器

相似问题

如何选择除特定元素外的所有元素的子元素?

40

选择除禁用元素外的所有复选框元素

81

jQuery选择除一个元素外的所有元素

20

隐藏除特定子元素内容之外的所有元素

20

如何读取除特定子元素以外的元素?

31
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档