PBS批量作业提交
PBS（Portable Batch System）是一种用于批量作业提交和管理的开源作业调度系统。它允许用户将计算任务分解为多个作业，并按照优先级和资源需求进行调度和执行。以下是对PBS批量作业提交的完善且全面的答案：
概念： PBS（Portable Batch System）是一种开源的作业调度系统，用于批量作业的提交和管理。它提供了一个集中式的作业队列，允许用户将计算任务分解为多个作业，并按照优先级和资源需求进行调度和执行。
分类： PBS可以分为两种类型：PBS Torque和PBS Pro。PBS Torque是开源版本，而PBS Pro是商业版本，提供了更多高级功能和支持。
优势：
- 资源管理：PBS可以有效地管理计算资源，包括处理器、内存、存储等，以确保作业能够按时完成。
- 作业调度：PBS可以根据作业的优先级和资源需求进行调度，以最大化系统的利用率和作业的执行效率。
- 可扩展性：PBS可以轻松地扩展到大规模的计算集群，支持数千甚至数万个节点的同时作业提交和管理。
- 灵活性：PBS提供了丰富的配置选项和作业控制命令，使用户能够灵活地管理和控制作业的执行过程。
应用场景： PBS适用于各种需要批量作业提交和管理的场景，包括科学计算、工程仿真、数据分析等。它可以帮助用户高效地利用计算资源，提高作业的执行效率和系统的利用率。
推荐的腾讯云相关产品： 腾讯云提供了一系列与作业调度和计算资源管理相关的产品，可以与PBS配合使用，以满足不同用户的需求。
- 腾讯云弹性计算（Elastic Compute）：提供了虚拟机实例，用户可以根据需要弹性地调整计算资源的规模和配置。 产品介绍链接：https://cloud.tencent.com/product/cvm
- 腾讯云批量计算（BatchCompute）：提供了高性能的批量计算服务，支持作业的快速提交和管理。 产品介绍链接：https://cloud.tencent.com/product/bc
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：提供了容器化的计算环境，可以方便地部署和管理作业。 产品介绍链接：https://cloud.tencent.com/product/tke
总结： PBS（Portable Batch System）是一种用于批量作业提交和管理的开源作业调度系统。它可以帮助用户高效地管理计算资源，调度和执行作业，并提高作业的执行效率和系统的利用率。腾讯云提供了一系列与作业调度和计算资源管理相关的产品，可以与PBS配合使用，满足不同用户的需求。
相关·内容
我可以使用非交互式批处理作业和/或交互式批处理作业这两种方法向PBS提交作业。但是，我需要在函数中使用pbs命令。在另一个世界里，我需要这样的结构：
#!/bin/sh
pbs_setup () {
#PBS -l $1
#PBS -N $2
#PBS -q normal
#PBS -A $USER
#PBS -m ae
浏览 5提问于2015-06-03得票数 0
我使用PBS qsub在集群上运行一个脚本，该脚本必须输出一个带有批处理作业提交时间的报告文件。
批作业提交时间是它加入PBS批作业的时间。
我检查了所有PBS的默认变量，但没有发现任何与作业提交时间有关的内容。
我想知道如何在不创建新的输入变量的情况下得到这一次。
谢谢。
浏览 2提问于2013-06-21得票数 1
回答已采纳
3回答
我想在hpc中提交一个作业，该作业正在运行java应用程序。我编辑pbs_script文件如下：#/bin/sh #PBS -q序列#PBS -l nodes=1:ppn=4模块加载java-jdk/1.7.0-17 java myjavapp
我提交了作业$qsub pbs_script，但是作业返回一个错误:找不到或加载主类myjava。但是我使用相同的命令在命令行下运行java程序。有什么问题吗？
浏览 0提问于2014-04-03得票数 1
尊敬的UNIX/PBS专家： 我是UNIX HPC系统(CentOS Linux7(核心)，Linux3.10.0-693.5.2.el7.x86_64)的用户，我没有任何根权限。在HPC系统中提交了各种作业，几乎所有资源都在使用中。其他用户的作业可能会运行数周，而我提交的作业将在不到一天的时间内完成。我的目标是在第一批资源释放后运行我的作业，而不是等待所有其他用户完成他们的作业。 我提交的作业的编号为qid 66005.pbs。但是，此时运行的最后一个作业的编号为55004.pbs。通过检查job: qstat 55005的状态，我获得: qstat: Unknown Job Id 550
浏览 38提问于2019-12-15得票数 0
2回答
如何迭代qsub作业？
让一个变量i=2:10，对于每个i，我想运行"tmp.r“，并在转到下一个i之前暂停10秒。我的脚本名是test.pbs。我试过这个：
for i in `seq 1 10`;do;qsub job$i.sub;sleep 10;done
但此提交的作业将立即返回..
我想在Cray XE6上运行这个。我的R代码使用遍历算法，因此作业的迭代提交将使其更高效。
你知道如何使用bash或python做到这一点吗？
谢谢!
浏览 0提问于2013-06-06得票数 0
1回答
我正在使用一个集群，该集群在Linux上使用作业管理软件，并按照以下步骤提交作业
qsub script.sh
通常情况下，我的script.sh是如下形式的，例如，当使用R运行作业时
#!/bin/bash
#PBS -N jobName
#PBS -o output-log
#PBS -e error-log
#PBS -t 1-10
#PBS -l walltime=12:00:00
#PBS -l nodes=1:ppn=16
#PBS -S /bin/bash
#Early out if non zero exit status.
set -e
if [ -n "${
浏览 3提问于2017-09-04得票数 1
回答已采纳
1回答
我正在尝试使用Unix中的time命令来计时我的作业。
但是，当我提交作业时，我收到来自作业本身的输出，但没有收到来自time命令的输出。我已经在提交的Bash作业中使用date命令进行了测试，似乎工作得很好，所以我不确定为什么我的time作业不能工作。有人知道为什么会这样吗？
下面是我正在使用的Bash文件：
#!/bin/sh
#PBS -N MPITest
#PBS -l nodes=5,walltime=00:10:00
#PBS -M xxxx@email
#PBS -m abe
module load openmpi-x86_64
time mpirun a.out myname
浏览 0提问于2014-05-01得票数 1
1回答
我在远程集群中运行了许多小型计算作业，其中作业提交由PBS管理。通常，在PBS (bash)脚本中，我指定要通过命令提交作业的队列。
#PBS -q <queue_name>
我需要选择的作业队列取决于特定队列上的负载。每次在提交作业之前，我都会通过终端上的命令来分析这个问题。
qstat -q
它为我提供了如下输出
Queue Memory CPU Time Walltime Node Run Que Lm State
---------------- ------ -------- -------- ---- --- --- -- -----
qu
浏览 4提问于2014-07-15得票数 1
1回答
.pbs文件中的朴素并行
、、、、
是否可以在PBS文件中的for循环中执行并行化？
下面是我的attempt.pbs文件。我想分配4个节点，同时为每个节点分配16个进程。我已经成功地做到了这一点，但现在我有4个作业，我想向每个节点发送一个作业。(我需要这样做，因为排队algo会让我等待几天才能在我正在使用的集群上提交4个单独的作业)
#!/bin/bash
#PBS -q normal
#PBS -l nodes=4:ppn=16:native
#PBS -l walltime=10:00:00
#PBS -N HuMiBi000
#PBS -o HuMiBi.000.out
#PBS -e HuMiBi.000.err
#P
浏览 3提问于2013-09-23得票数 1
2回答
链式数组PBS作业
、、、、
我试图使用PBS高性能计算机作业调度程序链接两个计算作业。我的脚本如下：
名为1.pbs的脚本
#!/bin/bash
#PBS -N 1
#PBS -q thin
#PBS -l walltime=0:03:00
#PBS -l select=1:ncpus=1
#PBS -j oe
#PBS -J 1-10
cd $PBS_O_WORKDIR
echo 'SCRIPT 1'
qsub -W depend=afterok:${PBS_ARRAY_ID} 2.pbs
名为2.pbs的脚本：
#!/bin/bash
#PBS -N 2
#PBS -q
浏览 4提问于2017-06-28得票数 0
我有一个在bash shell中提交作业的脚本，如下所示
#!/bin/bash
# PBS -l nodes=1:ppn=1
#PBS -l walltime=00:30:00
#PBS -N xxxxx
但是，在我提交作业后，我在xxxxx.e8980文件中收到如下错误消息：
/home/xxxxx/.bashrc: line 1: /etc/ini.modules: No such file or directory
但是文件/etc/ini.modules就在那里。为什么系统找不到它？
非常感谢!
浏览 0提问于2014-04-29得票数 1
1回答
我正在创建一个网站，它产生PBS-作业，基于表单输入的用户.我还想创建一个页面，用户可以在其中查看某个项目的状态。这包括以下内容：
提交日期(提交工作的日期/时间)；
这个已经起作用了。当提交作业时，表单中的所有信息都将使用INSERT INTO ...发送到数据库，包括sysdate()作为提交日期。
队列时间(作业进入队列的日期/时间)；
启动时间(作业开始运行的日期/时间)；
完成时间(完成脚本的日期/时间)；
当脚本在Linux服务器上运行时，我希望PBS在作业运行时在各自的时间返回这些内容。也许qstat可以用来做这个，但我不确定.
有
浏览 7提问于2014-02-13得票数 2
我正在使用Redhat和pbs排队系统向有限元分析代码提交作业。我通常有一个文件夹，其中包含我想要运行的.dat文件和将提交.dat文件的.pbs文件。要提交.dat文件，我将在包含这两个文件的目录中运行命令"qsub *.pbs“。
如何在包含.dat文件的目录之外提交或直接运行"qsub *.pbs“。我通常是从.dat文件往上两个目录。
谢谢
浏览 2提问于2013-06-05得票数 0
也许，这是一个关于SGE上的qsub的愚蠢问题。
我通过脚本提交作业
#PBS -V
#PBS -l select=1:ncpus=20:mpiprocs=20,walltime=01:00:00
#PBS -o /path/to/out.file
#PBS -e /path/to/errors.txt
#PBS -q smp
#PBS -m ae
#PBS -M myemail@address
#PBS -P Projectname
#PBS -I
#PBS -N Job
mpirun -np 20 mpiexecutable args input.file
"mpiexecu
浏览 2提问于2016-10-11得票数 1
当向PBS队列系统提交作业脚本时，会自动或由用户指定壁时间，例如
#PBS -l walltime=1:00:00
问题是这一次是否可以从作业脚本中访问。是否有环境变量或其他方法来获取此壁时间。
最后，作业脚本应该不时地决定是否有足够的时间来做更多的工作，这样作业就不会被排队系统杀死。
更新：
至少如果用户在资源列表中指定了壁时间，我可以提出以下解决办法(为bash工作)
read _ _ PBS_WALLTIME <<< `qstat -f $PBS_JOBID | grep "Resource_List.walltime"`
它解析qstat输出中的壁时
浏览 5提问于2013-04-05得票数 7
2回答
我有以下的小脚本- myjob.qsub：
#!/bin/sh -login
#PBS -l walltime=00:15:00
#PBS -l nodes=1:ppn=1
#PBS -l mem=2gb
#PBS -N myrun05168
/myexecutable >mylog.log
我确实通过以下方式使其可执行：
chmod u+x myexecutable
当我尝试运行时，将目录更改为可执行文件的文件夹，然后对作业求和：
qsub myjob.qsub
给我没有/myexecutable文件或目录的错误。
我尝试使用"./"：
#!/bin/s
浏览 5提问于2012-08-14得票数 2
2回答
嗨，我正在建立一个软件管道(一个广泛的生物信息注释工具)，最初是为了提交SGE作业而编写的，但我在PBS/Torque集群中。对于如何将这些脚本从SGE转换为PBS，有什么想法吗？还是一款可以将SGE工作提交给PBS的软件？
谢谢，马库斯
浏览 5提问于2014-09-29得票数 1
回答已采纳
1回答
在编写Perl脚本提交PBS作业的过程中，我注意到输出文件只能由所有者使用(rw-)经过一些研究，我发现您可以将#PBS -W umask=002放在作业脚本中，以使其他人可以访问它。
Perl：
my $client = PBS::Client->new();
my $wd = $dir_temp;
my $name = "demultiplex";
my $queue = "default";
my $wallt = "72:00:00";
my $job_demultiplex = PBS::Client::Job ->
浏览 4提问于2014-04-04得票数 2
回答已采纳
我在锁定的作业队列中有几个状态为UserHold的作业。有没有办法编辑启动它们的PBS文件？我之前使用过qalter来更改walltime、组或名称。这次我想在提交的PBS文件中更改aprun调用的参数。
浏览 9提问于2013-12-05得票数 2
1回答
mpirun是否需要指定-np？
、、、、
我以前跑起来就像 mpirun -np N ./c_or_python_script 但是，在具有PBS作业提交队列的集群上(我不知道这种类型的提交被称为什么)，示例脚本不需要这个-np N参数！我还是会给你的。有什么关系？我在下面的集群中指定了一个模拟示例脚本。 #!/bin/sh
#PBS -V
#PBS -N mpi_job
#PBS -q normal
#PBS -A etc
#PBS -l select=4:ncpus=64:mpiprocs=64
#PBS -l walltime=04:00:00
cd $PBS_O_WORKDIR
mpirun ./test_mpi.ex
浏览 493提问于2021-02-03得票数 0
回答已采纳
1回答
如何同时提交多份R工作？
、、、
我有一个R脚本，它运行多个文件，比如file=1到50。我通常提交重复的工作，例如5次，每次10个文件，通过改变R-脚本中的数字。那么，我怎样才能一次提交5份工作而不提交5次呢？此外，我希望更新每个作业的<>default.out和错误文件。
示例bash代码：
#!/bin/bash
#PBS -l nodes=1:ppn=20,walltime=05:00:00
#PBS -m e
#PBS -o default.out
#PBS -e errorfile
module load R/4.0
Rscript ~/r_script1.R
浏览 0提问于2021-05-22得票数 1
我在一个有8个节点的集群上进行MPI编程，每个节点都有一个Intel Xeon hexcore处理器。我的mpi代码需要三个处理器。
我使用qsub提交作业。当我使用"qstat -n“检查作业正在运行的处理器时，它显示类似cn004/0*3的内容。
那么，这是否意味着它只在一个处理器上运行？
因为它不会比我使用单处理器时更快(这是在两种情况下域大小相同的情况下)
我用来提交的脚本如下
#! /bin/bash
#PBS -o logfile.log
#PBS -e errorfile.err
#PBS -l cput=40:00:00
#PBS -lselect=1:ncpus=3:
浏览 0提问于2013-06-29得票数 1
回答已采纳
我正在使用MPI (mpi4py)编写mpi4py python代码，并且我希望在一个HPC集群中的队列中实现我的代码跨多个节点(每个节点有16个处理器)。
我的代码结构如下：
from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()
count = 0
for i in range(1, size):
if rank == i:
for j in range(5):
res = some_function(some_
浏览 3提问于2017-05-25得票数 4
回答已采纳
2回答
我有一个64节点的集群，运行PBS Pro。如果我提交数百个作业，我可以一次运行64个作业。这很棒，除非所有64个作业恰好都是I/O限制，并且都在读/写相同的磁盘。在这种情况下，我希望仍然能够提交所有作业，但在给定的时间内最多只能运行10个作业。对qsub是否有一个咒语，允许我这样做，而不需要拥有对集群的PBS服务器的管理权限？
浏览 1提问于2010-01-13得票数 9
我正在使用PBS排队系统，并使用以下bash作业脚本提交作业
#PBS -l nodes=1:ppn=1
#PBS -l walltime=1:30:00
./aprogram $input
使用qsub -v "input=myinputfile“script.job
这种方法工作得很好，只是如果我运行作业，更改输入文件中的某些内容而不重命名，然后很快重新运行作业，程序得到的输入文件仍然是旧的输入文件。
显然，文件隐藏在某个地方，如果时间太短，则不会重新读取(等待几分钟就可以了)。有没有人知道我在哪里可以擦除文件，这样它就可以被正确读取？
浏览 1提问于2015-05-23得票数 0
1回答
我有4个目录(名字:1，2，3，4)。每个文件都有一个C代码的可执行文件，文件名为submit。使用#PBS -l select=2:ncpus=2，给我4名工作人员(节点-1 2名，节点-2 2名)。
任务:我需要独立地在4个不同的文件夹上运行每个4个文件。
#PBS -l select=2:ncpus=2
./1/submit&
./2/submit&
./3/submit&
./4/submit&
上述分叉方法只选择节点-1，并在节点-1的两个工人之间对所有4个作业进行分叉，而从不进入节点-2。
#PBS -l select=2:ncpus=2
mpir
浏览 2提问于2019-11-20得票数 2
我正在使用PBSPro，并试图使用qsub命令行来提交作业，但似乎无法将输出和错误文件命名为我想要的。目前使用：
qsub -N ${subjobname_short} \
-o ${path}.o{$PBS_JOBID} -e ${path}.e${PBS_JOBID}
... submission_script.sc
Where $path=fulljobname (i.e. more than 15 characters)
我知道在提交工作之后$PBS_JOBID是不会被设定的.
有什么想法吗？
谢谢
浏览 0提问于2014-10-21得票数 2
回答已采纳
1回答
我的脚本开头有以下几行：
#!/bin/bash
#PBS -j oe
#PBS -o ~/output/a
在用qsub提交这个脚本之后，在作业完成之后，~/output/下就没有文件a了。我在这里错过了什么？
浏览 0提问于2014-10-16得票数 0
回答已采纳
2回答
qsub数组作业延迟
、、、、
#!/bin/bash
#PBS -S /bin/bash
#PBS -N garunsmodel
#PBS -l mem=2g
#PBS -l walltime=1:00:00
#PBS -t 1-2
#PBS -e error/error.txt
#PBS -o error/output.txt
#PBS -A improveherds_my
#PBS -m ae
set -x
c=$PBS_ARRAYID
nodeDir=`mktemp -d /tmp/phuong.XXXXX`
cp -r /group/dairy/phuongho/garuns $nodeDir
cp /grou
浏览 0提问于2016-07-05得票数 0
1回答
此问题与相关。也就是说，当PBS/Torque‘忙’时，我提交的一些作业不会产生输出。我想，当许多作业被一个接一个地提交时，它会更忙，而且碰巧，在以这种方式提交的作业中，我经常得到一些不产生任何输出的作业。
下面是一些代码。
假设我有一个名为"x_analyse.py“的python脚本，它接受包含某些数据的文件作为其输入，并分析存储在该文件中的数据：
./x_analyse.py data_1.pkl
现在，假设我需要：(1)准备N个这样的数据文件: data_1.pkl，data_2.pkl，...，data_N.pkl (2)让"x_analyse.py“对每个文件进行操
浏览 0提问于2012-12-13得票数 4
回答已采纳
1回答
我正在尝试将python作业提交给PBS，并将打印出来的内容作为输出。一个简单的例子是：
python test.py：
import time
print(time.time())
pbs提交文件job_test.pbs：
#!/bin/bash
#PBS -l nodes=2:ppn=8,walltime=8:00:00
#PBS -N test
#PBS -q gpu
module load anaconda/3 torque cuda80 cudnn
cd /path-to-the-test.py-program
python test.py
最后，qsub命令：
qsub job
浏览 0提问于2017-07-28得票数 1
2回答
我有一个模板文件，用于将PBS作业提交给服务器。我需要复制这个模板的n个拷贝。最后，我想输入以下命令或类似的内容：
copy n pbs_template
我希望将新制作的重复文件命名为：
pbs_template_1
pbs_template_2
pbs_template_3
pbs_template_4
pbs_template_n....
以下是我到目前为止.
function copy() {
INPUT=pbs_template
number=$1
shift
for n in $(seq $number); do
cp "$INP
浏览 4提问于2017-03-16得票数 0
1回答
假设我向PBS提交了一个文件(file1.pbs)，它就会排队。在这个文件中，我指的是计算机将运行的第二个文件(file2.namd)。然后，当file1.pbs排队时，我在file2.namd中做了一个重要的更改。保存file2.namd后，检查作业，它仍然是排队的(尚未运行)。我的问题是:更改是实现的，还是计算机已经读取了file2.namd，即使作业排队了？谢谢
浏览 5提问于2016-06-13得票数 0
回答已采纳
我有一堆作业要提交到PBS队列中，输出应该在之后在本地进行后处理。由于作业是相似的(而且我不想经常手动更改它)，我编写了一个bash脚本，在本地生成一个PBS作业脚本，然后提交作业。我的问题是:如何让bash脚本等到PBS作业完成后再开始后处理？(经常检查作业的状态不是一种选择。)我还能做什么呢？
非常感谢所有的提示，提示或解决方案！
编辑:如评论中所示(谢谢)，有些编辑：
便携式批处理系统
文档可在这里获得：
不过，我考虑了可能的解决方案，并想出了以下一个无法工作的解决方案:我可以让bash脚本等待请求的时间，作为作业的挂钟时间。但是，有两个复杂的问题:第一，作业可能不需要那么多
浏览 2提问于2013-08-22得票数 1
我希望能够轻松地改变我通过脚本提交给nodes、ppn等等给qsub的数量。也就是说，我想做一些这样的事：
qsub script.sh --name=test_job --nodes=2 --ppn=2 --arg1=2
使用如下脚本：
#/bin/bash
#PBS -N ${NAME}
#PBS -l nodes=${NODES}:ppn=${PPN},walltime=${WALLTIME}
#PBS -q ${QUEUE}
#PBS -m ${MAILOPTS}
#PBS -M ${EMAIL}
/some/command ${ARG1}
因此，我希望能够传递参数，这些参数既可以更
浏览 4提问于2017-02-17得票数 3
回答已采纳
因此，现在我使用qsub在集群上提交作业，但它们似乎总是在单个节点上运行。我目前通过执行以下操作运行它们
#PBS -l walltime=10
#PBS -l nodes=4:gpus=2
#PBS -r n
#PBS -N test
range_0_total = $(seq 0 $(expr $total - 1))
for i in $range_0_total
do
$PATH_TO_JOB_EXEC/job_executable &
done
wait
如果您能告诉我是否做错了什么，或者只是因为我的测试任务太小，我将不胜感激。
浏览 4提问于2015-06-17得票数 2
1回答
我正在尝试编写一个作业数组，以便各个作业开始的时间点略有不同。(因为我调用的程序使用一天中最接近秒的时间作为随机种子，如果同时提交所有作业，它将生成相同的结果。)
以下是我正在使用的指令：
#!/bin/bash
#PBS -N test
#PBS -t 1-10 # Job array
#PBS -a hhmm.ss # Deferred execution
echo Time is `date` >> test.out
但我希望-a是间隔开的。我想写一个小的子例程，打印出这种格式的随机数，并将其提供给-a，但我
浏览 6提问于2014-10-10得票数 0
我尝试使用Berkeley Lab检查点(BLCR)方案对torque作业调度器处理的作业进行检查点操作，但在尝试cr_run 'my_exec‘时抛出错误，因为我认为可执行文件是在编译时静态链接的。提交脚本看起来像(简化的伪版)：
#!/bin/bash
#PBS -q workq
#PBS -l nodes=1:ppn=4
#PBS -l pmem=1gb,pvmem=2gb
#PBS -l walltime=30:00:00
#PBS -o out.log
#PBS -N jobname
#PBS -j oe
cd $PBS_O_WORKDIR
NNODES=$(uniq $
浏览 5提问于2013-10-02得票数 1
3回答
有没有一种方法可以在提交作业之前直接将参数传递给.pbs脚本？我需要循环遍历由不同数字表示的文件列表，并应用脚本来分析每个文件。
我能想到的最好的是以下几点：
#!/bin/sh
for ((i= 1; i<= 10; i++))
do
export FILENUM=$i
qsub pass_test.pbs
done
其中，pass_test.pbs是以下脚本：
#!/bin/sh
#PBS -V
#PBS -S /bin/sh
#PBS -N pass_test
#PBS -l nodes=1:ppn=1,walltime=00:02:00
#P
浏览 2提问于2012-04-11得票数 12
回答已采纳
5回答
我想在不创建离散作业文件的情况下提交qsub作业。因此，假设我有一个名为"get_time.py“的python脚本，它只报告时间。而不是像这样做一个提交脚本：
cat>job.sub<<eof
#PBS -l walltime=1:00:00
cd $PBS_O_WORKDIR
get_time.py
eof
然后...and提交作业：qsub job.sub
我希望能够绕过文件创建步骤，并将构造想象成如下所示：qsub -d . -e get_time.py
其中-e是我想象中的参数，它告诉qsub下面是要发送到调度程序的代码，而不是使用一
浏览 2提问于2013-11-21得票数 3
回答已采纳
3回答
我有一个向PBS排队系统提交多个串行作业的BASH脚本。提交作业后，脚本结束。然后，这些作业在集群上运行，当它们都完成后，我可以继续下一步。典型的工作流程可能涉及其中的几个步骤。
我的问题是：
有没有办法让我的脚本在提交完成后不退出，而是在该脚本提交的所有作业在集群上完成后才退出？
浏览 1提问于2014-09-05得票数 3
下面是我尝试过的一个简单的实验：
给出一个名为"sim.exe“的任务来进行模型模拟，然后我使用MPI在一个节点(共享内存系统)上同时启动x "sim.exe”。我用x尝试了四种不同的值(例如，1，4，8，16)。然后通过PBS报告“使用的内存”和“使用的Vmem”检查内存使用情况。我观察到，对于这些不同的运行，“使用的内存”和“使用的vmem”保持不变，不更改"mem“= 8,432 KB和"vmem”= 489,716 KB。
根据post 关于mem和vmem和进程的实际内存使用情况的说法，我对"mem“和"vmem”的理解是作业使用的内存
浏览 0提问于2019-03-24得票数 0
我使用PBS作业数组来提交许多作业。有时一小部分工作搞砸了，不能成功地运行。是否有一种自动检测失败作业并重新启动它们的方法？
浏览 3提问于2017-01-25得票数 1
回答已采纳
2回答
我在一个内存不足的集群(使用PBS)上运行一个作业。在运行另一个作业时，我试图分别打印每个节点的内存状态。我创建了一个shell脚本，并在我的作业提交脚本中包含了对该脚本的调用。但是，当我提交我的工作时，它允许我在调用脚本的行上拒绝错误。我不明白为什么我会犯这个错误。
第二，我在想，我可以在我的脚本文件中有一个“免费手表”或“观看ps”，但现在我在想，这是否会导致我提交的工作陷入内存观察脚本中，并且永远不会继续到调用我的并行程序的主线。
毕竟，我如何才能实现在PBS中记录我提交的工作的内存。我的代码是一个使用MRMPI (MPI MapReduce)库的C++程序。
浏览 0提问于2015-09-12得票数 2
回答已采纳
1回答
我正在尝试编写一个代码来提交集群上的作业，并使用其他人以前的代码作为模板；是否有人可以一步一步地向我解释每一行？我想我理解节点和墙壁时间，因为我看过一些教程，但我在理解最后3行时遇到了困难。
#!/bin/bash
#PBS -l nodes=1:ppn=12
#PBS -l walltime=96:00:00
#PBS -q python
cd $PBS_O_WORKDIR
perl cal_gerp_crmcre.pl GERP++ CRM_NCR.data >CRECRM_NCR.gp
浏览 0提问于2016-08-05得票数 2
2回答
我正在尝试在集群中运行matlab脚本(ga_opt_main.m)。我必须编写一个作业提交文件，它本质上只是一个shell脚本。但是我从来没有写过shell脚本，下面就是我写的
#!/bin/bash
#PBS -q *queuename*
#PBS -l nodes=1:ppn=20
#PBS -l walltime=02:00:00
#PBS -N ga_opt_main
module load matlab/R2011b
module list
unset DISPLAY
matlab -nodisplay -nodesktop -r *dire
浏览 0提问于2012-08-04得票数 3
2回答
我正在使用服务器上的PBS队列。我想自动提交几个作业，因此需要用路径替换变量。由于不可能将参数放入与队列一起运行的脚本中，因此我希望将通常使用的shell变量替换为硬编码的参数。
我需要的是：
#! /bin/sh
#PBS -N runme_$file
#PBS -o $file.out
#PBS -e $file..err
#PBS -q batch
#PBS -j oe
#PBS -m abe
#PBS -r n
#PBS -l nodes=1:ppn=1
#PBS -l walltime=24:00:00
/home/example/proggie script $file $par
浏览 0提问于2011-06-07得票数 0
回答已采纳
qsub和HPCs的新手。我有三个小问题：
我想要有一种更好的方法来知道哪个作业脚本对应于哪个stderr和stdout。我知道我可以像这样手动输入作业名称及其stderr和stdout (好吧，现在我在stderr和stdout中使用$PBS_JOBNAME.$PBS_JOBID )，但是6个月后，我将很难知道从哪个作业脚本生成stderr和stdout $PBS_JOBNAME.$PBS_JOBID。我正在考虑使用作业脚本名称作为stderr和stdout的前缀，这样我就可以很容易地将它们关联起来，但除了手动编辑脚本之外，是否有一些变量可以设置为自动执行？
2 #PBS -N test
浏览 6提问于2016-08-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
