有没有办法根据脚本本身的值来设置slurm脚本作业数组的大小？
是的，可以根据脚本本身的值来设置slurm脚本作业数组的大小。在slurm脚本中，可以使用环境变量或命令行参数来动态设置作业数组的大小。
一种常见的方法是使用环境变量。在脚本中，可以定义一个环境变量来表示作业数组的大小，然后在提交作业时通过设置环境变量的值来指定数组大小。例如，可以在脚本中使用以下语句来获取环境变量的值：
#!/bin/bash
#SBATCH --array=1-${ARRAY_SIZE}
# 获取环境变量的值
ARRAY_SIZE=$SLURM_ARRAY_SIZE
# 执行作业
echo "作业数组大小为：$ARRAY_SIZE"在提交作业时，可以使用sbatch命令来设置环境变量的值，例如：
sbatch --export=ARRAY_SIZE=10 script.sh这样就可以动态设置作业数组的大小为10。
另一种方法是使用命令行参数。在脚本中，可以通过解析命令行参数来获取作业数组的大小。例如，可以在脚本中使用以下语句来获取命令行参数的值：
#!/bin/bash
#SBATCH --array=1-${ARRAY_SIZE}
# 解析命令行参数
while getopts ":s:" opt; do
case $opt in
s)
ARRAY_SIZE=$OPTARG
;;
\?)
echo "无效的选项： -$OPTARG" >&2
exit 1
;;
esac
done
# 执行作业
echo "作业数组大小为：$ARRAY_SIZE"在提交作业时，可以使用sbatch命令来指定命令行参数的值，例如：
sbatch script.sh -s 10这样就可以动态设置作业数组的大小为10。
总结起来，可以通过环境变量或命令行参数来根据脚本本身的值来设置slurm脚本作业数组的大小。具体使用哪种方法取决于个人偏好和实际需求。
相关·内容
假设我要运行6233个模拟。这些命令被生成并存储在一个文件中，每一行一个。我想使用Slurm来调度和运行这些命令。然而，MaxArraySize的限制是2000年。因此，我不能使用一个作业数组来调度所有这些任务。
给出了一种解决方案，在中，我们创建四个单独的作业，并在文件中使用算术索引，最后一个作业有较少的任务要运行(233)。
是否可以使用一个带有一个作业ID的S批处理脚本来完成这个任务？
我在使用作业数组时设置了ntasks=1。在这种情况下，更大的任务有帮助吗？
Update：按照Damien的解决方案和给出的示例，我在bash脚本中得到了以下行：
curID=$(( $
浏览 9提问于2022-05-10得票数 1
回答已采纳
我正在向SLURM队列提交多个作业。每个作业使用1个GPU。每个节点有4个GPU。然而，一旦作业开始运行，它就会占用整个节点，留下3个空闲的GPU。有没有办法避免这种情况，这样我就可以向一个节点发送多个作业，每个节点使用一个GPU？
我的脚本如下所示：
#SLURM --gres=gpu:1
#SLURM --ntasks-per-node 1
#SLURM -p ghp-queue
myprog.exe
浏览 2提问于2018-03-21得票数 3
1回答
我在slurm中运行了一组并行作业(大约1000)，每个任务都必须分配给一个CPU。阅读，我发现了以下内容：
最佳实践，大量职务
考虑将相关工作放入具有多个作业步骤的单一Slurm作业中，这既是出于性能原因，也是为了便于管理。每个Slurm作业可以包含多个作业步骤，而Slurm中用于管理作业步骤的开销要比单个作业低得多。
作业数组是管理具有相同资源需求的批处理作业集合的有效机制。大多数Slurm命令可以作为单个元素(任务)或单个实体(例如，在单个命令中删除整个作业数组)来管理作业数组。
这似乎意味着具有多个作业步骤的单个作业(例如，一个具有多个srun调用的批处理脚本，每个调用具有相同
浏览 4提问于2019-07-25得票数 4
回答已采纳
1回答
我有三个剧本：
config.yaml、script.py和slurm.sh
我使用Slurm中的slurm.sh文件将作业提交给作业调度程序，该文件调用script.py文件，script.py文件从config.yaml文件加载配置。
看起来是这样的：
sbatch slurm.sh
现在，我更改config.yaml并提交另一份工作。但是，如果两个作业都在队列中，则config.yaml文件将被覆盖，两个作业将使用相同的配置。
有没有办法告诉slurm调度程序也缓存config.yaml文件？我知道这不适用于slurm.sh文件。
浏览 2提问于2018-07-04得票数 0
回答已采纳
1回答
将参数传递到slurm脚本
、、、、
我使用slurm脚本在集群上运行用于Matlab计算的数组。每个脚本都使用一个数组来循环matlab参数。
1)是否有可能创建一个shell脚本来循环另一个变量？
2)可以将变量传递给slurm脚本吗？
例如，我的slurm文件当前看起来像
#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";
我经常需要运行这个数组来处理许多不同
浏览 0提问于2019-06-18得票数 2
回答已采纳
如何从另一个脚本访问每个作业的退出代码。我正在尝试自动化这个过程，并使用shell脚本提交成批的slurm作业。有没有办法访问每个作业的退出代码？
浏览 35提问于2018-05-26得票数 0
让我们假设使用slurm在HPC上运行以下bash脚本(bash.sh)：
#!/bin/bash
#SBATCH --job-name test
#SBATCH --ntasks 4
#SBATCH --time 00-05:00
#SBATCH --output out
#SBATCH --error err
#SBATCH --array=0-24
readarray -t VARS < file.txt
VAR=${VARS[$SLURM_ARRAY_TASK_ID]}
export VAR
bash my_script.sh
此脚本将运行25次my_script.sh脚本，
浏览 13提问于2022-01-14得票数 0
回答已采纳
1回答
我试图通过SLURM提交作业，但通过S批处理包含SLURM命令，因此使用了批处理脚本。我创建的脚本确实提交了slurm作业，但也包含了其他我不确定它们来自何处的作业(见下文)；特别是作业中的.bat和.ext。任何关于正在发生的事情的洞察力都将受到赞赏。
我用以下内容创建了一个测试脚本：
批处理脚本(script.sh)
#! /bin/bash
#
#SBATCH --job-name="slurm_test"
#SBATCH --output=sbatch.out
#SBATCH --partition=xfr
#SBATCH --gres=tmpspace:2G
#SBA
浏览 1提问于2021-05-11得票数 0
我试图设置SLURM，使SLURM接受在某个目录中提交的作业，否则拒绝该作业。
要激活prolog脚本，我已经将slurm.conf设置为：
PrologSlurmctld=/etc/slurm-llnl/prolog/dircheck-prolog
/etc/slurm/prolog中的prolog脚本：
#!/bin/bash
if [[ $PWD = /home/slek/Desktop/scratch/* ]];
then
exit 0
fi
exit 1
但是，无论提交的位置如何，职务仍然被提交。如有任何建议，将不胜感激。
浏览 0提问于2019-05-04得票数 1
回答已采纳
2回答
我提交了一个玩具阵列作业在slurm。我的命令行是
$ sbatch -p development -t 0:30:0 -n 1 -a 1-2 j1
其中j1是脚本：
#!/bin/bash
echo job id is $SLURM_JOB_ID
echo array job id is $SLURM_ARRAY_JOB_ID
echo task id id $SLURM_ARRAY_TASK_ID
当我提交这个文件时，我会得到一个错误：
--> Verifying valid submit host (login1)...OK
--> Verifying valid jobna
浏览 9提问于2015-02-26得票数 7
回答已采纳
我想为我运行的每个Slurm作业创建一个唯一的目录。然而，mkdir似乎中断了SBATCH命令。当我试着：
#!/bin/bash
#SBATCH blah blah other Slurm commands
mkdir /path/to/my_dir_$SLURM_JOB_ID
#SBATCH --chdir=/path/to/my_dir_$SLURM_JOB_ID
touch test.txt
...the Slurm执行忠实地在/path/to/my_dir_$SLURM_JOB_ID创建目录，但跳过--chdir命令，并从调用批处理的工作目录执行--chdir脚本。
是否有方法为
浏览 1提问于2020-12-10得票数 2
回答已采纳
这种情况的基本情况是，我使用Python的subprocess模块运行SLURM脚本，该脚本将大量作业提交到我使用的一些高性能计算资源上的队列。我希望Python脚本等待所有提交的作业完成。我试着这样做：
proc = subprocess.Popen(['sbatch slurm.sh'],shell=True)
proc.wait()
但是，它只等待作业提交，而不是等待所有作业完成。有没有人有什么建议可以让它工作呢？
注意:我的一个想法是让子进程以某种方式与SLURM脚本生成的.out文件通信(并等待该文件完成编辑？)，但我不确定这是如何工作的。
谢谢你的任何想法！
浏览 1提问于2017-04-28得票数 2
1回答
在previous question中，我询问如何将作业B排队，使其在作业A之后开始，这是通过 sbatch --dependency=after:123456:+5 jobB.slurm 其中123456是作业A的id，:+5表示它将在作业A之后五分钟启动。我现在需要为几个作业执行此操作。作业B应依赖于作业A，作业C对应于B，作业D对应于C。 sbatch jobA.slurm将返回Submitted batch job 123456，我需要将作业id传递给除了第一个作业之外的所有依赖项的调用。由于我使用的是一个繁忙的集群，我不能依赖于将作业ids递增1，因为有人可能会在两者之间排队作业。
浏览 86提问于2021-01-12得票数 1
回答已采纳
3回答
我用脚本启动SLURM作业，脚本必须工作，这取决于它的位置，它是在脚本内部使用SCRIPT_LOCATION=$(realpath $0)获得的。但是SLURM将脚本复制到slurmd文件夹，并从那里开始作业，这会导致进一步的操作混乱。
是否有任何选项可以在slurm作业被移动/复制之前获得用于slurm作业的脚本的位置？
脚本位于网络共享文件夹/storage/software_folder/software_name/scripts/this_script.sh中，它必须：
找到自己的位置
返回software_name文件夹
将software_name文件夹复制到节点上的本
浏览 0提问于2019-07-10得票数 13
回答已采纳
我在CentOS 6.9上运行slurm17.11.7。我已经修改了我的/gpfs0/export/slurm/conf/epilog脚本。我最终希望将作业资源利用率信息打印到每个用户的作业所使用的stdout文件中。 在向其他用户推出它之前，我已经在脚本末尾的条件中对它进行了测试。下面是我修改后的epilog脚本： #!/bin/bash
# Clear out TMPDIR on the shared file system after job completes
exec >> /var/log/epilog.log
exec 2>> /var/log/epil
浏览 95提问于2019-01-18得票数 0
回答已采纳
1回答
我正在运行一个脚本，该脚本如下所示：
#!/usr/bin/env Rscript
#./geneiase -t static -i mydata.tab
如果我直接在命令行中对我的数据运行该脚本，它启动时不会出现错误或警告。
但是程序对计算的要求非常高，所以我需要使用名为Slurm的作业调度程序将作业提交到集群。
当我在批处理作业文件中编写完全相同的表达式(如第二段所示)，然后使用sbatch提交作业时，它会立即终止，并且不会返回任何有助于我理解问题的错误或输出。
我认为这与在$PATH中使用Rscript有关，但即使我将Rscript所在的目录添加到$PATH by：PATH=$PATH:
浏览 2提问于2017-11-02得票数 0
1回答
因此，我有一个使用多处理的python脚本，它有4种运行方式，这取决于它在运行时读取的环境变量APP_TYPE。
因此，我使用slurm --array使其并行。问题是，它没有生成4个作业，每个作业都有自己的任务(使用所有节点核在A/B/C/D模式下运行python脚本)，而是每次任务产生次数。也就是说，我运行sbatch batch.sh，它在每个作业中产生4个任务。请注意，我期待着在每个节点上运行每个作业一次，这样我就可以在多处理中使用节点的所有核心(在本例中，每个节点有28个核心)。
运行S批处理后，我得到消息：Submitted batch job 11200，我可以看到4个日志文件：
浏览 1提问于2021-05-28得票数 0
1回答
我尝试使用SLURM设置连续的作业，但失败了。
在当前作业结束时，我成功地为下一个作业创建了文件夹和输入文件。我也可以转到该文件夹，但当我提交它时，立即停止。该作业被提交，但随后什么也没有发生，它只是停止，没有任何错误消息。
下面是我是如何进行的：
cp CONFIG.OUT ../$NEXT_DIR/CONFIG.INI
cd ../$NEXT_DIR
pwd
sbatch run.npt
有人知道如何从SLURM脚本提交SLURM作业吗？
我可以用LSF做到这一点。
谢谢,
埃里克。
浏览 0提问于2015-04-02得票数 1
我有一个shell脚本，它向SLURM提交多个作业。这些作业是在以下循环中提交的：
nb_partitions=72
slurmids=() # storage of slurm job ids
for k in $(seq 1 $nb_partitions);
do
cd results/partition$k/MainFolder
ID=$(sbatch --parsable estimation.sh)
slurmids+=($ID)
cd ..
cd ..
cd ..
done
echo "Jobs ar
浏览 2提问于2021-07-01得票数 1
回答已采纳
我在一个集群上运行了几个实验。我不得不使用来自不同应用程序文件夹的如此多的脚本，并且很难跟踪当前正在运行的slurm脚本。有没有办法也使用squeue命令来知道脚本的位置？
我使用"squeue - username -all“命令列出我正在运行的所有作业
浏览 11提问于2019-10-25得票数 1
回答已采纳
4回答
我正在尝试为我在中列出的一个问题寻求帮助，从一些进一步的研究中，我认为Python脚本可能是答案。也就是说，我是Python的新手，不确定如何实现我的想法，也不确定它是否正确。
基本上，我认为我需要一个python脚本，它可以接受我传递给它的变量，然后将这些变量写到.sh文件中。有没有简单的方法可以做到这一点？
编辑:作为对一些评论的回应，我认为我应该更多地阐明我的问题。
我正在通过SLURM脚本运行matlab函数。SLURM脚本(我认为)是一种bash脚本，但它专门用于在HPC上调度作业。我的问题是，例如，我希望一次提交10个作业，但所有作业都将某个特定变量更改为某个值。现在，问题是我不能
浏览 1提问于2019-07-19得票数 0
Problem：在这个的启发下，我尝试编写一个包装器脚本来提交带bash变量的SLURM数组作业。但是，我遇到了像$SLURM_ARRAY_TASK_ID这样的SLURM环境变量的问题，因为它是一个空变量。
我怀疑这与test_wrapper.sh如何解析尚未定义的SLURM变量有关，但我似乎找不到解决方案。
下面我提供了一个简单python脚本的工作示例，该脚本应该以数组ID作为输入变量，但是当bash包装脚本调用它时，python脚本会在接收到空变量时崩溃。
test_wrapper.sh：
#!/bin/bash
for argument in "$@"
do
key
浏览 45提问于2022-09-16得票数 0
回答已采纳
考虑到一些使用sbatch --mail-type=ALL启动的SLURM作业，有没有办法在没有收到电子邮件通知的情况下取消它们？我正在考虑使用scontrol来更改作业的邮件设置或scancel的某种标志，但在SLURM手册中找不到任何有用的东西。
浏览 0提问于2020-04-28得票数 0
在Snakemake中，据我所知，我们只能根据作业尝试的次数动态地调整作业资源。当尝试在失败后重新调整资源时，从以下类型的集群故障中识别出来是有用的：
程序错误
暂态节点失效
失忆
超时
最后3种情况特别是通过不同的完成工作状态代码暴露给SLURM用户。状态脚本的snakemake接口将所有类型的故障合并为单个“失败”状态。
有没有办法这样做？或者这是一个计划好的功能？保留以前失败原因的列表，而不仅仅是attempts计数将是最有用的。
例如目标：
rule foo:
resources:
mem_gb=lambda wildcards, att
浏览 0提问于2018-05-02得票数 0
默认情况下，当将SLURM作业作为数组提交时，数组中的所有作业都共享相同的作业名称。在docs (此处：)中，它显示数组中的每个作业都可以通过scontrol (在"Scontrol“一节中描述)单独设置其名称。
这能直接从sbatch脚本中完成吗？
浏览 3提问于2020-02-10得票数 1
1回答
我在运行Ubuntu20.04的集群上安装了Slurm21.08.8-2。我有一个现有的工作流，它提交一个作业数组。我需要获得给定数组作业的失败子作业和成功子作业的计数。我一直在查看文档，还没有看到一个SLURM变量来提供这些计数。我知道我可以创建一些逻辑来计算这一点，但我希望有一个内置的变量可用。
有谁有很好的解决办法吗？
浏览 5提问于2022-10-24得票数 1
回答已采纳
我需要确保我的脚本中的所有命令都成功完成(返回0状态)。这就是为什么我的slurm脚本包含以下几行：
set -e
set -x
现在，我希望将整个脚本的退出状态写入slurm自动创建的日志文件中。我已经尝试了echo $SLURM_JOB_EXIT_CODE (没有成功)或echo $? (我不确定这是我需要的)作为我脚本的最后一行。
这样做的正确方法是什么？我需要区分“失败的”和“完成的”作业，最好是只检查日志文件。
浏览 5提问于2016-05-10得票数 1
1回答
假设我在一个txt文件(var.txt)中有以下变量列表： AAA
ABC
BBB
CCC 下面的R脚本(script.R)，其中x是var.txt中的一个变量： print(x) 和以下HPC slurm作业脚本(job.sh)： #!/bin/bash
#SBATCH --job-name test
#SBATCH --ntasks 8
#SBATCH --time 04:00
#SBATCH --output out
#SBATCH --error err
Rscript script.R 如何按顺序运行job.sh脚本4次，每次都在script.R中使用不同的变量？ 预期输出:使用
浏览 18提问于2021-11-16得票数 1
回答已采纳
在安装Slurm的HPC设置中，在用户使用ssh登录之后，将执行一个脚本，其中使用带有交互式bash的srun提交作业。脚本放在.profile上，用户不能修改它。这是bash脚本文件的内容。
srun -A <ACCOUNT_NAME> -p --mem=< MEMORY> -time=HH:MM:SS -N <NUM_NODES> -gres=GPU：<NUM_GPU>-pty /bin/bash -i
有办法阻止这个用户绕过slurm吗？因为用户无论如何都可以在作业id上执行scancel。还是有一种方法可以阻止用户执行scancel命
浏览 3提问于2022-08-25得票数 1
回答已采纳
3回答
随机化Slurm节点分配
、、、、
有没有人幸运地随机分配Slurm节点？我们有一个由12个节点组成的小集群，可供1-8人一次工作的任何地方使用，任务大小/长度不同。在测试我们的新Slurm设置时，如果没有交互和批处理作业的其他用户，作业总是转到分区的第一个节点。有办法随机化这个调度吗？
看起来，取决于用户的时间线，他们可以始终得到相同的节点，这可能掩盖硬件/配置中的问题，否则这些问题可能是可见的。我们的节点总是排他性的，所以我们只考虑随机的节点级调度.
浏览 0提问于2017-10-30得票数 3
我有一个文件，每行只有一个命令，如下所示： myprog.sh <args abc>
myprog.sh <args def> 我正在尝试将这些提交为数组中的作业。阵列应使用1台主机以及该主机上的所有cpus。相反，每个阵列使用2个主机，并在这两个主机上执行这两个命令。 我想要的： host1
- myprog.sh <args abc> slurm-1_1.out
- myprog.sh <args def> slurm-1_2.out slurm- 1 _1.out将具有来自作业1的标准输出，而slurm1_2.out将具有来自jo
浏览 100提问于2021-06-26得票数 0
我可以使用slurm批处理脚本和srun跨多个计算节点启动mpi作业。作为slurm脚本的一部分，我希望启动一个shell脚本，该脚本在作业使用的节点上运行，以收集有关在该节点上运行的作业任务的信息(使用top命令)。我希望shell脚本在节点级别运行，而不是在任务级别运行。shell脚本只在单个计算节点上运行得很好，对于使用单个计算节点的作业，我可以将其作为slurm脚本的一部分在后台运行。但是还不清楚如何使用srun让它在多个计算节点上运行。我尝试在slurm批处理脚本中使用多个srun命令，但shell脚本仅在计算节点上启动。
浏览 0提问于2020-04-14得票数 0
假设一个节点有多个CPU，有没有办法根据请求的CPU数量自动限制CPU和内存的使用？ 特别是，如果用户作业脚本请求2个GPU，则作业应自动限制为2*BaseMEM和2*BaseCPU，其中BaseMEM = TotalMEM/numGPUs和BaseCPU=numCPUs/numGPUs将在每个节点的基础上定义。 可以这样配置SLURM吗？如果不是，是否可以“虚拟”地将多GPU计算机拆分成具有适当CPU和MEM计数的多个节点？
浏览 72提问于2019-12-09得票数 3
回答已采纳
有没有办法使用sbatch将作业id记录到一个变量中，将作业提交给slurm？ job_id = sbatch --account my_account some_script.sh
echo $job_id
17210254
浏览 21提问于2020-09-24得票数 2
回答已采纳
2回答
情况:我可以访问3个远程服务器。一项工作需要一天或更长时间才能在服务器上完成。我希望在前一个作业完成后自动启动另一个作业。我不是这些远程机器的管理员。
有没有办法知道作业何时结束(或cpu负载何时降至阈值以下)，然后运行下一个作业(可能是在特定目录中运行某个shell脚本)？
归根结底，一个类似于PBS或SLURM的系统(没有那么健壮的思想)。
这是可行的吗？
浏览 1提问于2016-03-10得票数 0
是否有一种方法要求作业具有--gres=gpu:X对S批处理和运行作业提交？要么让作业需要该标志，要么设置每个作业(如DefMemPerNode )的默认gpus数。
我的slurm.conf当前设置为
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_Core
我们希望用户总是定义gpu预订。
如果没有办法通过slurm配置，是否有办法强迫gpu使用仅通过slurm，并防止访问gpu而不提交作业？
浏览 4提问于2022-02-15得票数 0
我使用rm命令意外地删除了终端中Slurm作业的作业提交脚本。据我所知，再也没有(相对容易的)方法来恢复那个文件了，我也没有把它保存在任何地方。我之前已经使用过这个作业提交脚本很多次了，所以有很多Slurm作业提交(都完成了)都使用过它。是否可以通过某种方式从以前已完成作业中恢复作业脚本？
浏览 26提问于2020-03-08得票数 2
回答已采纳
最近，我一直在尝试用Dask在一个使用SLURM调度器的HPC集群上做一些机器学习工作。重要的是，在这个集群上，SLURM被配置为每个作业24小时的硬墙时间限制。 最初，我只使用一个worker来运行代码，但是我的作业内存不足。我试图增加工作进程的数量(因此，也增加了请求节点的数量)，但工作进程被困在SLURM队列中(原因是这种队列被标记为“优先级”)。与此同时，主人会跑起来，最后撞到墙上的时间，留下工人们在他们最终开始的时候死去。 考虑到问题可能是我请求了太多的SLURM作业，我尝试将工人压缩到一个单一的、多节点作业using a workaround I found on github中
浏览 62提问于2021-09-13得票数 0
回答已采纳
1回答
我知道如何使用cgroups(分配内存、cpu使用率...)和slurm(提交、挂起/停止作业)。我想知道cgroups是如何使用slurm的。当我向slurm提交作业时，我可以在哪里修复内存或CPU使用率？我阅读了Slurm Schedmd()的文档，但它没有给出很好的解释。也许这是对我的误解。谁能解释一下如何使用slurm中的cgroup为作业分配一些资源？提前谢谢。
浏览 4提问于2017-05-22得票数 3
2回答
我在HPC环境中工作，并使用SLURM将我的作业提交到队列中。我正在编写自己的内存缓存机制，因此我想知道每个节点有多少内存可用，以便我可以扩展或重用空间。
有没有办法知道有多少内存可用。SLURM是否设置了任何环境变量。
浏览 6提问于2018-03-23得票数 1
我有一组依赖的Slurm作业正在成功提交。这些作业的设置如下：
a b
\ /
c
|
d
|
e
我需要提交这组工作1000次，每次参数化略有不同。如果我要在没有依赖项的情况下提交大量作业，我将使用作业数组对其他用户和调度程序友好。提交相关作业的作业数组的最佳实践是什么？
可能出现的问题:对于SBATCH (节点、任务-每个节点等)，每个作业(a/b - e)的参数化略有不同。
浏览 8提问于2022-08-17得票数 1
回答已采纳
我有一堆正在运行的作业数组(SLURM)。 例如，2552376_1、2552376_10、2552376_20、2552376_80、2552377_1、2552377_10、2552377_20、2552377_80等。 目前，我对以_1结尾的内容感兴趣。 有没有办法在不指定作业ids的情况下保存所有其他作业(因为我有数百个作业ids)？以下命令适用于保留所有作业： squeue -r -t PD -u $USER -o "scontrol hold %i" | tail -n +2 | sh 用于释放我使用的具有所需id的 squeue -r -u $USER -o &
浏览 78提问于2019-09-05得票数 2
回答已采纳
我最典型的用例是在多个目录(通常是R或Matlab)上运行一个脚本。我可以访问一个高性能的计算环境(基于SLURM)。从我目前的研究来看，我不清楚以下哪种方法是最有效地利用可用CPU/核心的方法。我还想确保我没有不必要地占用系统资源，所以我想再次检查以下两种方法中哪一种最合适。
方法1:
脚本中的并行化代码(MPI)。
将其包装在一个将脚本应用于所有目录的循环中。
将其作为一个MPI作业作为SLURM脚本提交。
方法2:
脚本中的并行化代码(MPI)。
创建一个MPI作业数组，每个目录一个作业，每个在目录上运行脚本。
我还是新手，所以如果我在这里搞错了什么，
浏览 1提问于2018-08-03得票数 1
回答已采纳
2回答
我使用--array运行slurm作业数组，我想运行大约2000个任务/数组项。但是，这超出了集群一次提交约500个作业的限制。
有没有什么小贴士/最佳实践来拆分这一切呢？我想一次提交所有的数组，如果可能的话，仍然可以将数组id参数1-2000传递给我的程序。我认为像等待提交数组片段这样的事情可能会有帮助，但目前我不确定如何做到这一点。
浏览 0提问于2020-11-10得票数 0
我正在开发一个新的mesos-slurm框架，其中来自外部的作业也可以被推送到slurm队列中。
更新，以更好地解释问题：mesos代理在HPC中编排作业的同一台计算机上安装了slurm。这个Slurm既可以从mesos执行器接收作业，也可以从其他方法接收作业(例如，第三方用户通过ssh将作业直接发送给slurm )。
因此，我希望代理在向mesos发送报价之前能够知道slurm队列的状态(正在运行和等待运行的作业数量)，并相应地提供资源。这不能仅仅通过知道执行者接受的任务来实现，因为HPC的其他资源可以被直接使用slurm的第三方用户占用。
换句话说，我想做的是定制代理了解可用资源的方式，以
浏览 3提问于2017-02-01得票数 2
我以为MaxRSS是用来理解SLURM作业的内存需求的；然而，现在我在质疑自己。
我从SLURM收到通知说我的工作失败了。
SLURM Job_id=7347729 Name=job.cph.proband结束，运行时00:01:21，OUT_OF_MEMORY
我使用sacct来检查作业失败的原因；但是，它似乎由于OOM错误而失败。这看起来很奇怪，因为它只尝试使用请求的1.61 Gb的3 Gb (这里显示为2.93 )。
要么我对MaxRSS的理解错了，要么这份工作因为另一个原因而失败了？
浏览 4提问于2020-10-26得票数 4
回答已采纳
我正在一个(非常)非均匀SLURM集群(版本2.6.6-2)上运行一些批串行程序，使用来执行发行版。我遇到的问题是，一些节点比其他节点完成任务的速度要快得多，最后出现了这样的情况，比如，一个分配4个节点的任务，但在半个模拟过程中只使用了1个节点。
在没有管理员权限的情况下，有没有办法释放这些未使用的节点之一？我可以通过在单个节点上运行4个作业，或者使用包含同构节点列表的文件来缓解这一问题，但这还远远不够理想。
作为参考，下面是我正在使用的脚本文件(改编自)
job.sh
#!/bin/sh
#SBATCH --job-name=test
#SBATCH --time=96:00:00
#SB
浏览 0提问于2014-07-24得票数 2
回答已采纳
1回答
我在我们的大学集群上运行作业(常规用户，没有管理权限)，它使用SLURM调度系统，我感兴趣的是绘制CPU和内存的使用情况，即在作业运行时。我了解sacct和sstat，我正在考虑在提交脚本中包含这些命令，例如在
#!/bin/bash
#SBATCH <options>
# Running the actual job in background
srun my_program input.in output.out &
# While loop that records resources
JobStatus="$(sacct -j $SLURM_JOB_ID
浏览 5提问于2017-05-08得票数 6
回答已采纳
我见过类似的问题，但与我的不完全相同：Use Bash variable within SLURM sbatch script，因为我不是在讨论slurm参数。 我想为我的每个示例文件启动一个slurm作业，所以假设我有3个vcfs，我想为每个vcfs运行一个作业： 我创建了一个脚本来遍历一个文件，在这个文件中我编写了sampleIds，以便对每个示例运行另一个脚本，如果我想直接用bash运行它，这将是完美的： while read line
do
sampleID="${line[0]}"
myscript.sh $sampleID 问题是我需要使用slurm运行脚本，
浏览 19提问于2020-04-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
