我正在以数组的形式提交作业。有时，一个作业会因为难以诊断的gpu内存问题而出错。只需重新运行作业即可获得成功。 我想要做的是捕获这个错误，记录它，并将作业放回slurm的队列中重新运行。如果数组作业不能做到这一点，那也没关系，使用数组并不是必须的(尽管这是首选)。我尝试过使用
浏览 40提问于2019-04-25得票数 1
回答已采纳
2回答
我使用--array运行slurm作业数组，我想运行大约2000个任务/数组项。但是，这超出了集群一次提交约500个作业的限制。
有没有什么小贴士/最佳实践来拆分这一切呢？我想一次提交所有的数组，如果可能的话，仍然可以将数组id参数1-2000传递给我的程序。我认为像等待提交数组片段这样的事情可能会有帮助，但目前我不确定如何做到这一点。
浏览 0提问于2020-11-10得票数 0
我使用的计算机集群有20个节点，每个节点有16个CPU。我尝试使用"sbatch XX.sbatch“命令向所有节点提交1,000个作业。我想要的是320个作业同时运行，即每个节点16个作业，或每个CPU 1个作业。
浏览 6提问于2021-03-11得票数 0
1回答
假设我在一个txt文件(var.txt)中有以下变量列表： AAABBB#SBATCH --job-name test#SBATCH --time 04:00#SBATCH--erro
浏览 18提问于2021-11-16得票数 1
回答已采纳
我在SLURM上运行以下作业数组： #!/bin/bash
#SBATCH --partition=scavenge#SBATCH --time=1:00:00module load Python/3.6.4-iomkl-2018a
python run.py ${SLURM_ARRAY_TASK_ID} 我的许多
浏览 339提问于2020-08-19得票数 2
回答已采纳
我使用的集群刚刚切换到SLURM，我试图做一些我认为非常简单的事情。我有一个脚本，我想在许多按顺序编号的文件上运行，例如：python script.py file2.gz#!
浏览 0提问于2018-09-17得票数 0
回答已采纳
1回答
将参数传递到slurm脚本
、、、、
我使用slurm脚本在集群上运行用于Matlab计算的数组。每个脚本都使用一个数组来循环matlab参数。#SBATCH --array=1-128matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, f
浏览 0提问于2019-06-18得票数 2
回答已采纳
我正在尝试使用slurm提交一组作业，但它并不像我预期的那样工作。我的bash脚本是test.sh###Arrayecho TEST MESSAGE 1test.py代码：
print(&
浏览 1提问于2022-07-12得票数 0
回答已采纳
我有一个问题，我需要启动相同的脚本，但使用不同的输入参数。M的每一次试验都几乎达到了我工作的集群的时间限制(并且我没有特权更改它)。因此在实践中，我需要运行独立于NxM的作业。因为每个批处理作业都有相同的节点/cpu配置，并调用相同的python脚本，除了更改输入参数之外，原则上，在伪语言中，我应该有一个sbatch脚本，它应该执行以下操作：
#!看看，
浏览 5提问于2017-01-28得票数 9
回答已采纳
我正在尝试向Slurm服务器提交大量作业(数百个)，并希望避免为我想要运行的每个作业提交新的shell脚本。提交的代码是一个Python脚本，它接受shell脚本中的两个输入变量，并且这些变量是在不同作业之间唯一变化的变量。以下是适用于单个作业的简短shell脚本的示例： #!/bin/bash
#
浏览 1898提问于2021-04-02得票数 0
当我们通过sbatch提交作业时，通过增量命令提交作业的pid值。根据我的观察，这个命令再次从1开始。sbatch -N1 run.sh//目标是在可能的情况下更改提交的批处理作业的id。
例如，Q1在slurm下有一个正在运行的作业
浏览 3提问于2017-04-10得票数 0
回答已采纳
1回答
我有两个作业脚本要提交给SLURM，jobA.sh和jobB.sh。jobA是一个数组作业，我希望jobB仅在所有jobA完成后启动。我的jobA.sh脚本是：#SBATCH -A TRIGWMS # cores per task#
#SBATCH --array/myjobA_$SLURM_<em
浏览 12提问于2018-09-10得票数 5
回答已采纳
我一直在使用一个由200个节点组成的集群，每个节点有32个核心，用于模拟随机过程。我必须对同一系统进行大约10000次模拟，所以我在一个节点的32个内核中运行相同的模拟(使用不同的RNG种子)，直到它完成所有10000次模拟。(每个模拟完全独立于其他模拟) 在这样做的过程中，根据种子的不同，一些模拟比其他模拟需要更多的时间，一段时间后，我通常会分配给我完整的节点，但只有一个核心在运行</em
浏览 20提问于2020-10-23得票数 1
当使用sbatch提交作业时，是否将我的可执行文件的副本带到计算节点？还是它只是从/home/user/执行文件？有时，当我没有组织，我会提交一份工作，然后改变来源和重新编译，以提交另一份工作。这似乎不是一个好主意，特别是当工作仍然在排队的时候。同时，这似乎是应该允许的，如果在调用sbatch时创建了源的</
浏览 3提问于2022-02-22得票数 1
回答已采纳
2回答
我有下面的slurm脚本(script.sh)，它将与#SBATCH --array=0-24并行运行在HPC 25作业上。每个作业将从file.txt中获取一个变量，并将其用作$VAR变量。#SBATCH --job-name test#SBATCH --time 00-05:00#SBATCH<
浏览 3提问于2022-01-16得票数 1
我想创建一个SLURM worker数组，每当其中一个worker完成它的工作时，我想重新启动这个worker。如果可以在我的队列上运行无限持续时间的作业，我当然会这样做，但因为这是不可能的，所以我认为我应该创建一个无限系列的工作程序。
这在SLURM中是可能的吗？我认为我可以从worker数组中的最后一个worker内部提交sbatch命令来重新</em
浏览 3提问于2020-09-18得票数 0
我可以使用以下命令在登录节点上运行此脚本此外，我可以提交一个脚本submit.sh来运行该作业：found
当我尝试以数组的形式提交作业时，我发现我遇到了同样的问题。例如，当我使用
浏览 2提问于2018-10-24得票数 0
我的问题类似于这个问题。
不同的是，我的作业由N个独立的任务组成，每个任务有一个核心，而不是MPI程序的单个作业。对worker_script.sh的每个调用都是一个任务。我希望前32个任务运行，而其余68个任务将排队。当内核释放时，后面的任务就会运行。最终，当所有任务都运行<
浏览 2提问于2020-08-22得票数 1
根据的说法，srun是用来提交作业的，sbatch是用来提交作业供以后执行的，但是实际的差别对我来说并不清楚，他们的行为似乎是一样的。例如，我有一个有两个节点的集群，每个节点都有两个CPU。如果我连续执行srun testjob.sh & 5x，它将很好地排队等待第五个作业，直到CPU可用为止，执行sbatch testjob.sh也是如
浏览 21提问于2017-05-03得票数 148
回答已采纳
例如，我有一个名为myScript的脚本，它处理一个输入文件，还有一个文件名列表。也就是说，我得跑了有关存储在filenames.txt中的文件名列表。分发我在Slurm中找到的作业的唯一方法是指定-n参数，该参数重复您的命令或批处理脚本。但是请注意，我需要在每次运行中传递一个变量参数。在斯隆有可能这样做吗？我目前的解决方案是激发许多sbatch脚本，每个脚本都有一个指定<em
浏览 2提问于2015-02-14得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
