Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >MPI:如何获得一个进程来终止所有其他进程- python

MPI:如何获得一个进程来终止所有其他进程- python
EN

Stack Overflow用户
提问于 2015-03-10 15:34:16
回答 1查看 1.9K关注 0票数 0

我有一些支持MPI的python抽样代码,可以触发对不同内核的并行似然调用。因为它是(不一定要求)拒绝抽样,我只需要一个np样本就能成功地开始下一次迭代,并且在过去很高兴地通过这种方法实现了~ np的加速。

我已经将它应用于一个新的问题,在这个问题中,可能调用f2py包装的fortran子例程。在这种情况下,在每次迭代中,其他np-1进程等待最慢(有时非常慢)的结果返回,即使其中一个np-1已经可以接受。

因此,我怀疑我需要将一条消息传递给所有未获胜的进程(以速度表示)来终止,以便下一次迭代可以开始,并且我需要弄清楚一些最佳方法的细节,如下所示。

python代码是这样的。采样器是PyMultiNEST。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from mpi4py import MPI
world=MPI.COMM_WORLD

def myloglike(parameters,data,noise):

    modelDataRealisation,status=call_fortran_sub(parameters)

    if status == 0: # Model generated OK
        winner=world.rank # This is the rank of the current winner
        # I want to pass a message to the other still-running processes
        # identifying that a successful sample has come back
        won=world.bcast(winner,root=winner)
   # I tried receiving the message here but the fortran_sub doesn't know
   # anything about this - need to go deeper - see below

   # Calculate chisq value etc.
   loglike = f(data,modelDataRealisation,noise)
   return loglike

广播应该经过主程序吗?

现在,棘手的部分是如何在F90代码中接收杀死信号。假设代码总是在侦听(while循环?)它会慢很多--但我是否应该使用这样的方法:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
call MPI_RECV(winner,1,MPI_DOUBLE_PRECISION,MPI_ANY_SOURCE,MPI_ANY_TAG&
         &,MPI_COMM_WORLD,0,0)

那么,在收到消息之后,如何最好地终止这个过程呢?

最后,我是否需要在F代码中执行任何操作来使下一次迭代重新启动OK/生成新进程?

谢谢!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-03-11 08:37:09

你想要做的并不完全是教科书MPI,所以我没有教科书的答案给你。听起来你不知道“坏”的结果会持续多久。

你会问“假设代码总是在监听(而循环?)它会慢很多”但如果你使用非阻塞发送和接收,你可以做工作,比如说,100次迭代,然后测试一条“停止工作”消息。

我会在这里避免MPI_Bcast,因为这不是你想要的。一个过程获胜。然后,这个过程应该发送一个“我赢了!”给其他人的信息。是的,你做的是n-1点对点操作,当你有100万个mpi进程时,这将是一个令人头痛的问题。

在工作端,MPI_Irecv和ANY_SOURCE将匹配任何进程“我赢了!”消息。定期测试完成。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28976034

复制
相关文章
Eclipse设置断点触发的条件
特别是我们在做循环操作的时候,一堆的循环列表,但是只有某一个值出问题,一次次的循环调试起来很费劲,这个时候,我们可以给断点设置一个触发的条件,当达到这个条件的时候,才会触发此断点,设置方法如下:
飞奔去旅行
2019/06/13
1.2K0
Eclipse设置断点触发的条件
Postgresql中VDF触发LRU淘汰的条件
也就是说当: (vfd打开的数量nfile) + (其他路径直接调用fd.c接口打开文件数量numAllocatedDescs) 超过max_safe_fds时触发LRU淘汰。
mingjie
2022/05/12
4840
图解JVM实验-触发FullGC的几个条件
其中,参数-XX:PretenureSizeThreshold,参数要设置大对象阈值为3MB,也就是超过3MB,就直接进入老年代。
简熵
2023/03/06
4230
图解JVM实验-触发FullGC的几个条件
路由剔除的触发条件和核心代码
上面描述的触发点最终删除路由的逻辑是一样的,统一在RouteInfoManager#onChannelDestroy
用户8671053
2021/09/24
4250
BFC概念和作用,触发条件
1、概念,全称是block format context,块级格式化上下文 2、触发条件 根元素 float属性不为none  position为absolute或fixed  display为inline-block, table-cell, table-caption, flex, inline-flex overflow不为visible 3、应用场景 自适应两栏布局 <style> body { width: 300px; position: relative
windseek
2018/06/15
9320
“愚蠢”的useEffect
我有一个需求,需要监听一个window.xxx的变动,并在它变动的时候更新view。
爱吃大橘
2022/12/27
3090
PostgreSQL autovacuum 优化与调试 (1 触发 autovacuum 的条件)
PostgreSQL 的数据库系统中是需要进行autovacuum 进行表级别的数据清理的。在开始autovacuum 进行调优之前实际上是需要理解为什么需要autovacuum.
AustinDatabases
2021/10/14
1.7K0
PostgreSQL autovacuum 优化与调试 (1 触发 autovacuum 的条件)
ThinkPHP6之模型事件的触发条件
最近刚好用上模型事件,但手册上对事件的触发条件却没有详细的进行说明。那么,就只能自己进行测试了。
jwj
2022/05/18
8460
JVM 源码解读之 CMS GC 触发条件
经常有同学会问,为啥我的应用 Old Gen 的使用占比没达到 CMSInitiatingOccupancyFraction 参数配置的阈值,就触发了 CMS GC,表示很莫名奇妙,不知道问题出在哪?
涤生
2019/06/14
2.5K0
React源码中的useEffect
这里不再讲useLayoutEffect,它和useEffect的代码是一样的,区别主要是:
goClient1992
2022/12/02
9880
早读《A Complete Guide to useEffect》
https://overreacted.io/a-complete-guide-to-useeffect/
icepy
2019/12/18
7710
jvm触发full gc条件(Linux内存管理机制)
GC,即就是Java垃圾回收机制。目前主流的JVM(HotSpot)采用的是分代收集算法。作为Java开发者,一般不需要专门编写内存回收和垃圾清理代码,对内存泄露和溢出的问题。与C++不同的是,Java采用的是类似于树形结构的可达性分析法来判断对象是否还存在引用。即:从gcroot开始,把所有可以搜索得到的对象标记为存活对象。缺点就是:1. 有可能不知不觉浪费了很多内存。2. JVM花费过多时间来进行内存回收。3. 内存泄露
全栈程序员站长
2022/07/28
2.7K0
jvm触发full gc条件(Linux内存管理机制)
spring注解@Conditional 按照一定的条件进行判断,满足条件给容器中注册bean
@Conditional({}) 按照一定的条件进行判断,满足条件给容器中注册bean * 在类上使用表示,满足条件会执行这个类,如果不满足则类中所有方法都不会加载 * 在方法上使用表示,满足条件会执行这个方法
全栈程序员站长
2022/11/17
2850
useLayoutEffect和useEffect的区别
大家面试的过程中有没有遇到过这样的问题呢,useLayoutEffect和useEffect的区别是什么,大家可能会回答useEffect是异步的,useLayoutEffect是同步的,这样回答面试官真的会满意慢,我们需要说清楚他们在源码中的调用时机。
长腿程序员165858
2022/12/19
4020
关于useEffect的一切
对于浏览器环境来说,只有渲染器会执行类似appendChild、insertBefore这样的DOM操作。
公众号@魔术师卡颂
2020/09/01
1.1K0
[答疑]迁移的警戒条件一定要完备不重叠吗
老师,这里说离开转换的条件要完备不重叠,那如果位置不在充电站就不做任何事,是不是就不用画两个条件了
用户6288414
2022/05/27
3250
[答疑]迁移的警戒条件一定要完备不重叠吗
useEffect与useLayoutEffect
useEffect与useLayoutEffect可以统称为Effect Hook,Effect Hook可以在函数组件中执行副作用操作,副作用是指函数或者表达式的行为依赖于外部环境,或者在这里可以理解为修改了某状态会对其他的状态造成影响,这个影响就是副作用,数据获取,设置订阅以及手动更改React组件中的DOM都属于副作用。
WindRunnerMax
2022/05/06
1.2K0
后台C++开发你一定要知道的条件变量
今天因为工作需要,需要帮同事用C语言(不是C++)写一个生产者消费者的任务队列工具库,考虑到不能使用任何第三库和C++的任何特性,所以我将任务队列做成一个链表,生产者在队列尾部加入任务,消费者在队列头部取出任务。很快就写好了,代码如下: /** * 线程池工具, ctrip_thread_pool.h * zhangyl 2018.03.23 */ #ifndef __CTRIP_THREAD_POOL_H__ #define __CTRIP_THREAD_POOL_H__ #include
范蠡
2018/04/04
7560
一文搞懂Y-GC和Full GC的触发条件
说明本次Y-GC后,可能升入老年代的对象大小超过老年代当前可用内存空间,此时必须先触发一次Old GC给老年代腾出空间,再执行Young GC。
JavaEdge
2022/01/26
4K0
点击加载更多

相似问题

防止useEffect在一定条件下触发

12

UseEffect只触发某些部分吗?

18

让useEffect监视一个条件,并且只触发一次

12

有条件地反应useEffect触发器

12

在循环中响应useEffect调用-只触发最终效果

26
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文