PBS:大内存的串行作业可以使用多个节点的内存吗？
PBS（Portable Batch System）是一种常用的作业调度和管理系统，用于在集群或超级计算机上管理和执行作业。对于大内存的串行作业，可以通过使用多个节点的内存来满足需求。
在PBS中，可以通过指定作业的资源需求来实现使用多个节点的内存。具体而言，可以通过以下方式来配置作业的资源需求：
- 指定节点数：通过在作业提交脚本中设置
-l nodes=<n>参数，其中<n>表示所需的节点数。例如，-l nodes=2表示需要使用2个节点的内存。 - 指定内存大小：通过在作业提交脚本中设置
-l mem=<mem>参数，其中<mem>表示每个节点所需的内存大小。例如，-l mem=64gb表示每个节点需要64GB的内存。 - 指定节点类型：通过在作业提交脚本中设置
-l feature=<feature>参数，其中<feature>表示所需的节点类型。例如，-l feature=highmem表示需要使用高内存节点。
通过以上配置，PBS可以根据集群中可用的节点资源情况，自动选择满足作业需求的节点，并将作业分配到这些节点上执行。这样，就可以利用多个节点的内存来处理大内存的串行作业。
对于大内存的串行作业，使用多个节点的内存具有以下优势：
- 提供更大的内存容量：通过使用多个节点的内存，可以获得比单个节点更大的内存容量，从而满足对大内存的需求。
- 提高作业执行效率：将作业分布在多个节点上执行，可以并行处理任务，提高作业的执行效率和速度。
- 提高系统资源利用率：通过充分利用集群中的节点资源，可以更好地平衡系统负载，提高系统资源的利用率。
对于大内存的串行作业，适用的场景包括但不限于：
- 数据分析和处理：对于需要处理大量数据的任务，如大规模数据分析、机器学习、深度学习等，通常需要较大的内存来存储和处理数据。
- 大规模模拟和计算：对于需要进行大规模模拟和计算的科学计算任务，如天气预测、气候模拟、物理模拟等，通常需要较大的内存来存储模型和计算结果。
- 大规模图计算：对于需要进行大规模图计算的任务，如社交网络分析、网络流分析等，通常需要较大的内存来存储和处理图数据。
腾讯云提供了适用于大内存的串行作业的产品和服务，例如：
- 弹性计算Elastic Compute（CVM）：腾讯云提供了多种配置的云服务器实例，可以根据作业需求选择具有大内存的实例类型。
- 弹性伸缩Auto Scaling（AS）：腾讯云的弹性伸缩服务可以根据作业的负载情况自动调整节点数量，以满足作业对内存的需求。
- 批量计算BatchCompute（Batch）：腾讯云的批量计算服务可以帮助用户高效地管理和执行大规模作业，包括大内存的串行作业。
更多关于腾讯云的产品和服务信息，可以访问腾讯云官方网站：https://cloud.tencent.com/。
相关·内容
下面是我尝试过的一个简单的实验：
给出一个名为"sim.exe“的任务来进行模型模拟，然后我使用MPI在一个节点(共享内存系统)上同时启动x "sim.exe”。我用x尝试了四种不同的值(例如，1，4，8，16)。然后通过PBS报告“使用的内存”和“使用的Vmem”检查内存使用情况。我观察到，对于这些不同的运行，“使用的内存”和“使用的vmem”保持不变，不更改"mem“= 8,432 KB和"vmem”= 489,716 KB。
根据post 关于mem和vmem和进程的实际内存使用情况的说法，我对"mem“和"vmem”的理解是作业使用的内存
浏览 0提问于2019-03-24得票数 0
2回答
如何向PBS/TORQUE中的特定节点发送作业？我认为您必须在nodes之后指定节点名称。
#PBS -l nodes=abc
然而，这似乎不起作用，我不确定为什么。这个问题是在上提出的
下面是我的示例代码
#!/bin/bash
#PBS nodes=node9,ppn=1,
hostname
date
echo "This is a script"
sleep 20 # run for a while so I can look at the details
date
另外，如何检查作业在哪个节点上运行？我在某个地方看到$PBS_NODEFILE显示了详细信息，但它
浏览 0提问于2013-08-23得票数 23
回答已采纳
我试图使用MPI在集群上运行作业(python代码)。每个节点上都有63 on的内存可用。当我在一个节点上运行它时，我使用(这里只列出了相关的参数)指定PBS参数：
#PBS -l mem=60GB
#PBS -l nodes=node01.cluster:ppn=32
time mpiexec -n 32 python code.py
工作得很好。
因为PBS手册页说mem是每个作业的内存，所以当我试图在两个节点上运行它时，我的参数是
#PBS -l mem=120GB
#PBS -l nodes=node01.cluster:ppn=32+node02.cluster:ppn=32
tim
浏览 0提问于2015-02-23得票数 1
我是第一次接触集群和PBS系统。我现在想知道，是否可以使用PBS系统在一个集群(集群有多个节点)中的一个节点上同时调度并行(MPI，OpenMP)和串行作业？因为这样可以提高CPU的利用率。
有人告诉我这是不可能的，但没有详细的解释。所以，如果这真的是不可能的，我的问题是为什么？
浏览 3提问于2015-01-19得票数 0
3回答
我想在hpc中提交一个作业，该作业正在运行java应用程序。我编辑pbs_script文件如下：#/bin/sh #PBS -q序列#PBS -l nodes=1:ppn=4模块加载java-jdk/1.7.0-17 java myjavapp
我提交了作业$qsub pbs_script，但是作业返回一个错误:找不到或加载主类myjava。但是我使用相同的命令在命令行下运行java程序。有什么问题吗？
浏览 0提问于2014-04-03得票数 1
我正在尝试计算使用Portable Batch System (PBS)完成的串行作业的执行时间。这些信息是否在输出文件(task.o*)中，位于尾声部分的参考资料下？是walltime吗？
浏览 4提问于2011-08-31得票数 1
回答已采纳
1回答
我用Python编写了一段代码，它实现了mpi4py，将数据块分散到集群的处理器上。每个处理器将给定的数据块写入一个.txt文件，然后将所有这些.txt文件合并到一个文件中。一切都如期而至。但是，对于非常大的.txt文件，集群正在抱怨内存：
mpiexec noticed that process ... rank ... on node ... exited on signal 9 (Killed)
我试图以避免此问题的方式设置PBS文件中的参数。到目前为止，这还不起作用：
#!/bin/bash
#PBS -S /bin/bash
## job name and output file
浏览 15提问于2022-02-10得票数 0
1回答
我正在使用一个基于PBS的集群，并在一组节点上运行IPython并行，每个节点都有24或32个内核，内存范围从24G到72G；这种异构性是由于我们的集群具有历史记录。此外，我还有发送到IPython集群的作业，这些作业具有不同的资源需求(内核和内存)。我正在寻找一种方法来向ipython集群提交作业，这些集群知道它们的资源需求和可用引擎的资源需求。我想有一种方法可以使用IPython功能优雅地处理这种情况，但我还没有找到它。对于如何进行，有什么建议吗？
浏览 0提问于2013-01-25得票数 2
回答已采纳
我是高性能计算的新用户，我正在尝试运行一个总共需要大约80 in内存的串行作业。但是，对于我们的集群，一个节点的总可用内存只有12 lab(我们实验室的集群有点旧)。我在网上阅读了一些指南，据我所知，只有MPI作业可以使用来自多个节点的内存？是真的吗？对如何解决我的特殊问题有什么想法吗？非常感谢你们！
浏览 4提问于2016-08-08得票数 1
回答已采纳
我有一个作业脚本，开头有以下PBS规范：
#PBS -t 0-99
#PBS -l nodes=1:ppn=1
第一行说这是一个作业数组，作业索引从0到99。我希望每个单独的索引作业只使用一个节点和每个节点一个核心，因此我的第二行PBS。但我担心TORQUE qsub会将第二行解释为整个作业数组应该顺序地运行在单个核上。
扭矩qsub如何解释PBS第二线？
浏览 0提问于2014-09-30得票数 1
回答已采纳
我使用的是Torque+MAUI集群。
集群现在的利用率是~10个节点/40个节点可用，许多作业正在排队，但无法启动。
我使用qsub提交了以下PBS脚本
#!/bin/bash
#
#PBS -S /bin/bash
#PBS -o STDOUT
#PBS -e STDERR
#PBS -l walltime=500:00:00
#PBS -l nodes=1:ppn=32
#PBS -q zone0
cd /somedir/workdir/
java -Xmx1024m -Xms256m -jar client_1_05.jar
该工作立即获得R(un)状态，但我从qstat -n获得了
浏览 2提问于2014-07-10得票数 1
回答已采纳
2回答
我在一个内存不足的集群(使用PBS)上运行一个作业。在运行另一个作业时，我试图分别打印每个节点的内存状态。我创建了一个shell脚本，并在我的作业提交脚本中包含了对该脚本的调用。但是，当我提交我的工作时，它允许我在调用脚本的行上拒绝错误。我不明白为什么我会犯这个错误。
第二，我在想，我可以在我的脚本文件中有一个“免费手表”或“观看ps”，但现在我在想，这是否会导致我提交的工作陷入内存观察脚本中，并且永远不会继续到调用我的并行程序的主线。
毕竟，我如何才能实现在PBS中记录我提交的工作的内存。我的代码是一个使用MRMPI (MPI MapReduce)库的C++程序。
浏览 0提问于2015-09-12得票数 2
回答已采纳
1回答
此问题与相关。也就是说，当PBS/Torque‘忙’时，我提交的一些作业不会产生输出。我想，当许多作业被一个接一个地提交时，它会更忙，而且碰巧，在以这种方式提交的作业中，我经常得到一些不产生任何输出的作业。
下面是一些代码。
假设我有一个名为"x_analyse.py“的python脚本，它接受包含某些数据的文件作为其输入，并分析存储在该文件中的数据：
./x_analyse.py data_1.pkl
现在，假设我需要：(1)准备N个这样的数据文件: data_1.pkl，data_2.pkl，...，data_N.pkl (2)让"x_analyse.py“对每个文件进行操
浏览 0提问于2012-12-13得票数 4
回答已采纳
我有一个在bash shell中提交作业的脚本，如下所示
#!/bin/bash
# PBS -l nodes=1:ppn=1
#PBS -l walltime=00:30:00
#PBS -N xxxxx
但是，在我提交作业后，我在xxxxx.e8980文件中收到如下错误消息：
/home/xxxxx/.bashrc: line 1: /etc/ini.modules: No such file or directory
但是文件/etc/ini.modules就在那里。为什么系统找不到它？
非常感谢!
浏览 0提问于2014-04-29得票数 1
我正在使用PBS，HPC提交串行编写的C代码。我必须在5个不同的目录中运行5个代码。当我选择一个节点和5个核心时，select=1:ncpus=5，使用./submit &提交它。它分叉和运行所有的5个工作。当我选择5个节点和1个核心select=5:ncpus=1，并使用./submit &提交它的时候。第一个节点只有一个核心运行所有五个作业，其余4个线程是空闲的，速度下降到1/5。
我的问题是，是否也可以在节点之间分配作业？因为当我选择HPC select=1:ncpus=24时，它会得到Que而不是select=4:ncpus=6运行。谢谢。
浏览 0提问于2018-12-18得票数 1
我在PBS集群上运行Dask。我的节点是由于服务器负载的波动而花费不确定时间的下载。我已经设置了相当大的壁面时间(例如4小时)的作业，它应该能够包含许多单独的节点/下载。然而，我有数以万计的下载，所以作业将超时之前，所有下载完成。
两个问题：
当使用启动作业时，当作业超时时，新作业是否会自动启动以取代它们?当作业死亡时(例如由于超时)，在该作业上运行的节点是在另一个作业上重新启动还是丢失了？
谢谢!
浏览 4提问于2020-04-14得票数 0
回答已采纳
这是我的pbs文件：
#!/bin/bash
#PBS -N myJob
#PBS -j oe
#PBS -k o
#PBS -V
#PBS -l nodes=hpg6-15:ppn=12
cd ${PBS_O_WORKDIR}
./mycommand
在qsub文档页面上，似乎如果我把行PBS -k o，我应该能够检查我的主目录中名为myJob.oJOBID的文件中的实时输出。但是，当我在运行时检查tail -f或cat或more的输出时，它在文件中没有显示任何内容。只有当我终止作业时，文件才会显示输出。是否有什么我应该检查以使流实时刷新到输出文件？
浏览 4提问于2015-04-17得票数 4
1回答
我的PC有两个cpu xeon e5-2678v3，12个核心/24个线程每个cpu (总共24个核心/ 48个线程)我提交了slurm批处理作业，为我的代码请求多核(CFD fortran代码与英特尔fortran编译器在linux)代码运行良好，但似乎所有48个线程只在一个cpu上运行，而不是双cpu。我使用上面相同的slurm批处理作业文件检查了串行和openMP运行；结果是相同的结果和相同的计算速度。请告诉我如何使用所有的2个CPU来运行代码？
第一个作业文件，system以所有48个线程运行：*
#!/bin/sh
#PBS -N Ogive
#PBS -o output
#PBS
浏览 2提问于2020-05-19得票数 0
1回答
我想知道PBS的调度算法是否考虑到了PBS作业的任何参数，如壁时间，并对作业的优先级产生了影响。不幸的是，我未能找到PBS日程安排的细节。有人能告诉我或者指给我看吗？
另外，是否有一种方法可以查看下一步执行哪个作业？
浏览 3提问于2016-07-07得票数 1
回答已采纳
当向PBS队列系统提交作业脚本时，会自动或由用户指定壁时间，例如
#PBS -l walltime=1:00:00
问题是这一次是否可以从作业脚本中访问。是否有环境变量或其他方法来获取此壁时间。
最后，作业脚本应该不时地决定是否有足够的时间来做更多的工作，这样作业就不会被排队系统杀死。
更新：
至少如果用户在资源列表中指定了壁时间，我可以提出以下解决办法(为bash工作)
read _ _ PBS_WALLTIME <<< `qstat -f $PBS_JOBID | grep "Resource_List.walltime"`
它解析qstat输出中的壁时
浏览 5提问于2013-04-05得票数 7
2回答
我提交了一个使用qsub运行并行R的作业，我的目的是让R程序在4个不同的核心上运行，而不是8个核心。以下是我在PBS文件中的一些设置：
#PBS -l nodes=1:ppn=4
....
time R --no-save < program1.R > program1.log
我正在发出命令ta job_id，并且我看到列出了4个核心。但是，该作业会占用大量的内存(31944900k used vs 32949628k total)。如果我使用8个内核，作业会因为内存限制而挂起。
top - 21:03:53 up 77 days, 11:54, 0 users,
浏览 0提问于2011-01-03得票数 1
回答已采纳
1回答
我正在尝试将python作业提交给PBS，并将打印出来的内容作为输出。一个简单的例子是：
python test.py：
import time
print(time.time())
pbs提交文件job_test.pbs：
#!/bin/bash
#PBS -l nodes=2:ppn=8,walltime=8:00:00
#PBS -N test
#PBS -q gpu
module load anaconda/3 torque cuda80 cudnn
cd /path-to-the-test.py-program
python test.py
最后，qsub命令：
qsub job
浏览 0提问于2017-07-28得票数 1
因此，我同时运行以下pbs文件：
qsub /mnt/folder/prueba1_1 qsub /mnt/folder/prueba01
A这是文件
prueba1_1
#!/bin/bash
#PBS -N pruebaF
#PBS -V
#PBS -l nodes=1:ppn=1
#PBS -q batch
#PBS -j eo
cd /mnt/folder
mpiexec -f machinefile ./cpi2>>salida1_1.o
prueba01
#!/bin/bash
#PBS -N pruebaF
#PBS -V
#PBS -l nodes=1:ppn=1
浏览 4提问于2015-02-12得票数 0
我们有一个集群执行不同的任务。它使用扭矩调度器进行计算模拟。我们也有一个交互仿真，这也需要充分的计算能力。交互模拟是一个OpenMPI程序，在每个节点上启动进程。
因此，我们希望有以下几点:如果交互模拟启动，所有的pbs作业都应该转移到后台，从而释放交互模拟的工作量。
在这两种不同的并行化方案中，这甚至可能吗？
我尝试了以下方法:通过在/etc/security/ line中添加一行，为torque队列的用户分配更低的优先级
user hard priority 10
对于每个节点上的每个用户。但是调度程序忽略了这一点，pbs作业仍然得到一个很好的值0。
该集群正在使用Cen
浏览 0提问于2018-07-02得票数 -1
1回答
我的脚本(13-4.sh)是：
#!/bin/sh
#PBS -N sample
#PBS -l nodes=4:ppn=64
#PBS -q batch
#PBS -o $HOME/qpms9-2/out/14-4.out
#PBS -e $HOME/qpms9-2/error/14-4.out
#PBS -l walltime=100:00:00
mpirun $HOME/qpms9-2/run_mpi $HOME/qpms9-2/14-4 -l 14 -d 4
当我写这个命令时: qsub 13-4.sh
答案如下: qsub:作业超过队列资源限制MSG=cannot满足队列最大节点数要
浏览 0提问于2015-08-02得票数 0
1回答
我试图在一个使用光泽文件系统的RHEL5集群上运行一组非常大的批处理作业。我在大约1%的工作中遇到了一个奇怪的错误:他们找不到一个他们都在使用的文本文件。再现错误的脚本如下所示：
#!/usr/bin/env bash
#PBS -t 1-18792
#PBS -l mem=4gb,walltime=30:00
#PBS -l nodes=1:ppn=1
#PBS -q hep
#PBS -o output/fit/out.txt
#PBS -e output/fit/error.txt
cd $PBS_O_WORKDIR
mkdir -p output/fit
echo 'sub
浏览 3提问于2013-08-15得票数 2
由于HPC的特殊配置，运行代码的最佳方法是将数据从头节点复制到特定节点上的硬盘驱动器上，以便在其上运行分析(我们一次使用一个节点)。
因为PBS动态地将节点分配给作业，所以我事先不知道应该将数据复制到哪个节点。我希望提取将在哪个节点上运行作业的信息，并将其动态插入到我的脚本中。
因此，当我的脚本启动时，它首先将数据从头节点复制到一个可用节点，然后在数据被复制到的特定节点上对此数据运行作业脚本。
这真的可行吗？我想我可以使用$PBS_NODEFILE，但它只包含可用的节点列表，而不是“当前选定的”节点列表。我查看了PBS选项和特殊变量，但是没有什么明显的可以以这种方式应用。
为了澄清这一点，我不
浏览 0提问于2018-11-28得票数 0
假设我有一个在384个MPI进程(24个计算节点，每个计算节点16个核心)上运行的代码，并使用以下简单脚本将我的作业提交到作业队列
#!/bin/bash
#PBS -S /bin/bash
#PBS -l nodes=24:ppn=16
#PBS -l walltime=01:00:00
cd $PBS_O_WORKDIR
module load openmpi
mpirun mycode > output_file
下面的场景是可能的:我需要再分配一个具有16个核心的节点，使用'openmp‘执行一些特定的计算，并在某个时刻使用计算结果更新384个进程中的其余进程。所以现在
浏览 0提问于2013-07-02得票数 3
回答已采纳
3回答
我有一个向PBS排队系统提交多个串行作业的BASH脚本。提交作业后，脚本结束。然后，这些作业在集群上运行，当它们都完成后，我可以继续下一步。典型的工作流程可能涉及其中的几个步骤。
我的问题是：
有没有办法让我的脚本在提交完成后不退出，而是在该脚本提交的所有作业在集群上完成后才退出？
浏览 1提问于2014-09-05得票数 3
我的园区中的集群使用PBS TORQUE进行作业管理。
在软件中有几个节点是过时的。如果我的作业被发送到其中一个节点，它将失败。有没有办法排除作业请求中的特定节点(或节点列表)？
浏览 1提问于2014-10-01得票数 2
在slurm中，如果在作业运行期间我所需的资源不够，会发生什么情况？例如，#SBATCH --memory=10G; #SBATCH --cpus-per-task=2; python mytrain.py在myscript.sh中。在我运行sbatch myscript.sh之后，成功地为作业分配了所需的cpu (2)和内存(10G)。但是在作业运行过程中，程序需要超过10 Gb的内存(就像加载一个大的视频数据集)，我发现作业不会被终止。该作业仍将正常工作。所以我的问题是:当我低估了我需要的资源时，有没有什么副作用？(内存似乎还可以，但是如果所需的cpu数量不够，是否仍然可以呢？)
浏览 17提问于2020-08-07得票数 0
1回答
我一直试图在我的PBS脚本中使用多个节点来运行几个独立的作业。每个单独的作业应该使用8个核，集群中的每个节点都有32个核。因此，我希望每个节点运行4个作业。我的PBS脚本如下。
#!/usr/bin/env bash
#PBS -l nodes=2:ppn=32
#PBS -l mem=128gb
#PBS -l walltime=01:00:00
#PBS -j oe
#PBS -V
#PBS -l gres=ccm
sort -u $PBS_NODEFILE > nodelist.dat
#cat ${PBS_NODEFILE} > nodelist.dat
export
浏览 0提问于2019-01-17得票数 2
回答已采纳
4回答
PBS，刷新标准输出
、、、
我有一个长时间运行的扭矩/PBS任务，我想监控输出。但日志文件仅在作业完成后才会被复制。有没有办法说服PBS更新它？
浏览 1提问于2012-05-10得票数 13
回答已采纳
2回答
我尝试在安装了torque和openmpi 1.3.2的集群上运行MPI作业，但总是收到以下错误：
“尝试启动进程等级0时，由于找不到可执行文件: executable：-p节点: compute-101-10.local，mpirun无法启动指定的应用程序。”
我正在使用以下脚本来执行qsub：
#PBS -N mphello
#PBS -l walltime=0:00:30
#PBS -l nodes=compute-101-10+compute-101-15
cd $PBS_O_WORKDIR
mpirun -npersocket 1 -H compute-101-10,compute-
浏览 3提问于2012-05-13得票数 0
2回答
有时，当我在PBS集群上运行作业时，我真的希望将joblog (-o文件)放在两个地方。一个在$PBS_O_WORKDIR中用于将所有东西放在一起，另一个${HOME}/jobOuts/用于贪婪/叫醒/等等……
从命令行执行测试适用于tee
echo "hello" | qsub -o `tee $HOME/out1.o $HOME/out2.o $HOME/out3.o`
但是，一旦我尝试将其放入我的PBS脚本中，如果我将其放入PBS脚本和qsub中，它将不起作用
####Parameterized PBS Script ####
#PBS -S /bin/bash
#PBS
浏览 9提问于2013-04-17得票数 4
2回答
并行运行多个串行相关作业
、、、
我正在基于PBS的集群上运行一些CFD模拟。我将运行大量案例，因此希望在集群节点上进行预处理。我需要做两个步骤，第一步是网格化，当网格化完成后，我想运行网格划分例程。为了避免手工工作，我想在pbs的作业脚本编程。
我可以通过运行以下命令并行运行所有案例的网格化：
#!/usr/bin/env bash
#PBS -q regular
#PBS -l nodes=1:ppn=8
#PBS -N prep_tst_2
#PBS -l walltime=6:00:00
cd $PBS_O_WORKDIR
hexp -batch -project tst_1.igg &
hexp -bat
浏览 2提问于2014-03-16得票数 3
我正在运行一个bash脚本，它多次在基于Linux的集群上提交一些pbs作业。每个提交都调用Matlab，读取一些数据，执行计算，并将结果写回my。
这个过程运行良好，无一例外。对于某些计算，m文件启动、加载所有内容，而不是执行计算，但在将结果打印到stdout时，作业终止。
pbs的日志文件不显示错误消息，matlab不显示错误消息。代码在我的电脑上运行得很好。我没有主意了。
如果有人知道我能做什么，我会很感激的。
预先感谢jbug
编辑:是否有可能迫使matlab达到文件的末尾？能帮上忙吗？
编辑@18:00:如HBHB在下面的注释中所要求的，下面是说明外部*.sh文件如何调用matlab
浏览 0提问于2016-09-29得票数 0
回答已采纳
我在一个有8个节点的集群上进行MPI编程，每个节点都有一个Intel Xeon hexcore处理器。我的mpi代码需要三个处理器。
我使用qsub提交作业。当我使用"qstat -n“检查作业正在运行的处理器时，它显示类似cn004/0*3的内容。
那么，这是否意味着它只在一个处理器上运行？
因为它不会比我使用单处理器时更快(这是在两种情况下域大小相同的情况下)
我用来提交的脚本如下
#! /bin/bash
#PBS -o logfile.log
#PBS -e errorfile.err
#PBS -l cput=40:00:00
#PBS -lselect=1:ncpus=3:
浏览 0提问于2013-06-29得票数 1
回答已采纳
1回答
.pbs文件中的朴素并行
、、、、
是否可以在PBS文件中的for循环中执行并行化？
下面是我的attempt.pbs文件。我想分配4个节点，同时为每个节点分配16个进程。我已经成功地做到了这一点，但现在我有4个作业，我想向每个节点发送一个作业。(我需要这样做，因为排队algo会让我等待几天才能在我正在使用的集群上提交4个单独的作业)
#!/bin/bash
#PBS -q normal
#PBS -l nodes=4:ppn=16:native
#PBS -l walltime=10:00:00
#PBS -N HuMiBi000
#PBS -o HuMiBi.000.out
#PBS -e HuMiBi.000.err
#P
浏览 3提问于2013-09-23得票数 1
4回答
在集群上测试MPI
、、、、
我正在一个集群上学习OpenMPI。这是我的第一个例子。我希望输出将显示来自不同节点的响应，但它们都来自同一个节点node062。我只是想知道为什么以及如何从不同的节点得到报告来显示MPI实际上是将进程分发到不同的节点？谢谢和问候！
ex1.c
/* test of MPI */
#include "mpi.h"
#include <stdio.h>
#include <string.h>
int main(int argc, char **argv)
{
char idstr[2232]; char buff[22128];
浏览 3提问于2010-01-31得票数 4
回答已采纳
我已经安装了扭矩4.2.6，因为它支持GPU。
每当我提交一个作业时，它都不会被执行，它总是保持在队列中。
我的剧本是
#!/bin/bash
#PBS -l nodes=1:ppn=1:gpus=1
#PBS -l walltime=00:30:00
#PBS -q batch
#PBS -o $HOME/out_$PBS_JOBID
#PBS -e $HOME/err_$PBS_JOBID
#PBS -j oe
#PBS -m bae
#PBS -V
echo PBS JOB id is $PBS_JOBID
echo PBS_NODEFILE is $PBS_NODEFILE
echo
浏览 3提问于2014-04-10得票数 2
我使用gnu并行在一个高性能(HPC)计算集群上启动代码，该集群每个节点有2个CPU。集群使用扭矩便携式批处理系统(PBS)。我的问题是澄清GNU并行的--作业选项在这个场景中是如何工作的。
当我运行一个调用GNU并行的PBS脚本时，没有--作业选项，如下所示：
#PBS -lnodes=2:ppn=2
...
parallel --env $PBS_O_WORKDIR --sshloginfile $PBS_NODEFILE \
matlab -nodiplay -r "\"cd $PBS_O_WORKDIR,primes1({})\"" ::: 10 2
浏览 6提问于2014-03-06得票数 9
回答已采纳
我想在一个100节点的分布式内存集群中并行一个C串行代码。该星系团由25个叶片组成，每个叶片由infiniband每个核心4颗。在我使用PBS在不同的节点之间传播程序的几个串行运行之前。现在我想知道：
在这种情况下，什么是最好的选择: OpenMP、MPI或OpenMPI (目前我不想尝试一种混合方法，因为我已经开始学习了)。
我在哪里可以找到例子/教程？
对于具有主For循环的简单串行代码，OpenMP/MPI/OpemMPI是否总是比PBS这样的排队方法执行得更好？
浏览 2提问于2010-12-15得票数 5
回答已采纳
我正在使用MPI (mpi4py)编写mpi4py python代码，并且我希望在一个HPC集群中的队列中实现我的代码跨多个节点(每个节点有16个处理器)。
我的代码结构如下：
from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()
count = 0
for i in range(1, size):
if rank == i:
for j in range(5):
res = some_function(some_
浏览 3提问于2017-05-25得票数 4
回答已采纳
我如何计算出墙时间(mem？vmem?)如果PBS作业(PBS Pro)没有出现在stodut/sterr日志中，那么它实际上是不是最终使用了？
浏览 0提问于2015-12-09得票数 0
这是我使用的作业脚本，
#!/bin/bash
#PBS -q batch
#PBS -N simulation
#PBS -j n
#PBS -o /dev/null
#PBS -l nodes=1:ppn=1,pmem=3400mb
#PBS -l ncpus=1,mem=3400mb
cd ${PBS_O_WORKDIR} && \
./executable
我得到了这个错误：
Operating system error: Cannot allocate memory
Allocation would exceed memory limit
我已经尝试增加ppn和n
浏览 45提问于2018-02-06得票数 0
1回答
mpirun是否需要指定-np？
、、、、
我以前跑起来就像 mpirun -np N ./c_or_python_script 但是，在具有PBS作业提交队列的集群上(我不知道这种类型的提交被称为什么)，示例脚本不需要这个-np N参数！我还是会给你的。有什么关系？我在下面的集群中指定了一个模拟示例脚本。 #!/bin/sh
#PBS -V
#PBS -N mpi_job
#PBS -q normal
#PBS -A etc
#PBS -l select=4:ncpus=64:mpiprocs=64
#PBS -l walltime=04:00:00
cd $PBS_O_WORKDIR
mpirun ./test_mpi.ex
浏览 493提问于2021-02-03得票数 0
回答已采纳
类似于：
#PBS -t 0-99
#PBS -d "~/$PBS_ARRAYID.output"
我在这里要做的是使用作业的数组id重新定义作业数组中每个单独作业的工作目录。这是有效密码吗？
在发送到集群之前，我需要知道，因为我无法在那里运行测试。
浏览 2提问于2014-10-06得票数 3
回答已采纳
qsub和HPCs的新手。我有三个小问题：
我想要有一种更好的方法来知道哪个作业脚本对应于哪个stderr和stdout。我知道我可以像这样手动输入作业名称及其stderr和stdout (好吧，现在我在stderr和stdout中使用$PBS_JOBNAME.$PBS_JOBID )，但是6个月后，我将很难知道从哪个作业脚本生成stderr和stdout $PBS_JOBNAME.$PBS_JOBID。我正在考虑使用作业脚本名称作为stderr和stdout的前缀，这样我就可以很容易地将它们关联起来，但除了手动编辑脚本之外，是否有一些变量可以设置为自动执行？
2 #PBS -N test
浏览 6提问于2016-08-03得票数 0
如果我需要“并行”运行多个串行程序(因为问题简单但耗时--我需要为同一个程序读取许多不同的数据集)，如果我只使用一个节点，那么解决方案就是简单的。我所做的就是在每个命令之后，例如在作业脚本中，用一个符号和一个符号继续提交串行作业：
./program1 &
./program2 &
./program3 &
./program4
它自然会在不同的处理器上运行每个串行程序。这在登录服务器或独立工作站上运行得很好，当然，对于只请求一个节点的批处理作业也是如此。
但是，如果我需要运行相同程序的110个不同实例来读取110个不同的数据集呢？如果我使用一个提交110 ./prog
浏览 3提问于2011-03-28得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
