问MPI改变主设备和从设备的执行顺序

EN

MPI-2 (如果我没记错的话)引入了动态进程管理机制，您可能需要搜索mpi_comm_spawn来开始了解这些机制。因此，当然可以编写一个MPI程序，该程序在运行主任务的一个进程和运行辅助任务的多个进程之间交替(术语从任务已被弃用)。甚至可以设计计算，使一个程序运行主任务，另一个程序运行(多个)工作任务，并使用MPI在两者之间传递消息。

但是(这是一个很大的问题，但是)我不认为很多资源管理器(管理并行计算机系统或操作系统和系统软件的人，如作业管理器)支持这种动态进程管理。想象一下使用您提出的基本设计来安排和管理两个或更多程序的复杂性。正如程序A尝试启动2^10个工作进程一样，程序B和程序C也尝试启动2^10个工作进程，而程序D尝试删除2^8个工作进程；所有这一切都发生在一个只有2^10个处理器(或核心)的集群上。当多个作业争用稀缺资源时，构建集群上的作业吞吐量降至零的场景可能并不太难。

如果您的平台支持动态进程管理，请继续。在更有可能的情况下，你的平台没有，你至少有两个选择，你选择哪一个取决于master:worker时间的比率，可能还有其他因素。您可以：

1. 做了我们大多数人一直在做的事情，并继续这样做，并为整个作业请求总数量的处理器，在仅主机阶段，除了一个处理器之外，其余所有处理器都处于空闲状态。这可能很浪费，但资源管理器很容易处理。
2. 如果主程序在工作阶段之间做了很多工作，你可以修改你的程序，使主程序和工作程序是独立的程序。首先让主进程在一个进程上执行，当它完成时，向作业管理系统提交一个请求，以启动工作进程计算的第一阶段。依次启动下一个主阶段的执行，依此类推。