Slurm作业无法为多个节点请求GPU资源
Slurm是一个开源的高性能计算（HPC）集群管理系统，用于管理和调度计算集群中的作业。它可以帮助用户有效地管理计算资源，包括CPU、内存和GPU等。
针对Slurm作业无法为多个节点请求GPU资源的问题，可能有以下几个原因和解决方法：
- 节点配置问题：首先需要确保集群中的节点都具备GPU资源。如果某些节点没有安装或配置GPU，那么Slurm作业就无法在这些节点上请求GPU资源。可以通过检查节点配置和安装GPU驱动程序来解决此问题。
- Slurm配置问题：Slurm需要正确配置以支持GPU资源的请求。在Slurm的配置文件中，需要指定GPU资源的类型和数量，并确保Slurm能够正确识别和管理这些资源。可以通过检查Slurm配置文件（通常是slurm.conf）来解决此问题。
- 作业脚本问题：Slurm作业的提交脚本需要正确指定对GPU资源的请求。在作业脚本中，可以使用Slurm的资源请求指令（如--gres）来指定所需的GPU资源数量和类型。确保作业脚本中的资源请求与集群中可用的GPU资源相匹配。
- 集群资源管理问题：如果集群中的GPU资源已经被其他作业占用或保留，那么新的作业就无法请求到GPU资源。可以通过查看集群资源使用情况和调度情况来解决此问题。可以使用Slurm的命令（如sinfo、squeue）来查看集群资源状态和作业队列情况。
总结起来，解决Slurm作业无法为多个节点请求GPU资源的问题需要确保节点配置正确、Slurm配置正确、作业脚本正确，并且集群中有足够的可用GPU资源。如果问题仍然存在，可能需要进一步检查集群的硬件和软件配置，以及Slurm的日志和错误信息，以找到问题的根本原因。
腾讯云提供了一系列与高性能计算相关的产品和服务，包括弹性裸金属服务器、GPU云服务器、容器服务等，可以满足不同规模和需求的高性能计算场景。具体产品和服务的介绍和链接地址可以参考腾讯云的官方文档和网站。
相关·内容
是否有一种方法要求作业具有--gres=gpu:X对S批处理和运行作业提交？要么让作业需要该标志，要么设置每个作业(如DefMemPerNode )的默认gpus数。
我的slurm.conf当前设置为
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_Core
我们希望用户总是定义gpu预订。
如果没有办法通过slurm配置，是否有办法强迫gpu使用仅通过slurm，并防止访问gpu而不提交作业？
浏览 4提问于2022-02-15得票数 0
1回答
我们刚刚开始使用slurm来管理我们的GPU(目前只有2个)。我们使用的是ubuntu 14.04和slurm。我已经配置了gres.conf和srun的工作。问题是，如果我使用--gres=gpu:1运行两个作业，那么将成功分配两个GPU并开始运行作业；现在，我希望能够在没有--gres=gpu:1的情况下运行更多的作业(除了2个GPU作业)(即作业比只使用CPU和ram)，但这是不可能的。
错误消息说，它不能分配所需的资源(即使有24个CPU核)。
这是我的gres.conf：
Name=gpu Type=titanx File=/dev/nvidia0
Name=gpu Type=ti
浏览 8提问于2016-05-07得票数 2
回答已采纳
我正在向SLURM队列提交多个作业。每个作业使用1个GPU。每个节点有4个GPU。然而，一旦作业开始运行，它就会占用整个节点，留下3个空闲的GPU。有没有办法避免这种情况，这样我就可以向一个节点发送多个作业，每个节点使用一个GPU？
我的脚本如下所示：
#SLURM --gres=gpu:1
#SLURM --ntasks-per-node 1
#SLURM -p ghp-queue
myprog.exe
浏览 2提问于2018-03-21得票数 3
我是一个实习生，负责在三个运行ubuntu的计算单元上安装slurm。现在的工作方式是将ssh放入其中一个计算单元中，并在其中运行一个作业，因为所有三个单元都通过nfs挂载共享内存。否则，它们是不同的机器。
我的问题是，从我在文档中看到的情况来看，在安装slurm时，我会将每个计算单元指定为一个完全独立的节点，而我想要运行的任何使用多个核的作业仍然会受到单个节点上可用的核数的限制。然而，我的主管告诉我，这三个单元应该作为一个节点安装，当一个作业需要比单个计算单元上可用的内核更多的内核时，slurm应该只使用所有的核心。我们的意图是，我们不会改变执行作业的方式(就像并行化的R脚本)，在将作业发送
浏览 0提问于2020-02-29得票数 0
回答已采纳
1回答
有没有办法在Slurm上超额订阅GPU，即运行共享一个GPU的多个作业/作业步骤？我们只找到了超额订阅CPU和内存的方法，但没有找到GPU的方法。 我们希望在同一个GPU上并行运行多个作业步骤，并可选择指定每个步骤使用的GPU内存。
浏览 18提问于2019-03-15得票数 2
我正在使用slurm访问GPU资源。是否可以显示正在运行的slurm作业的GPU使用情况？就像在一个普通的交互式shell中使用nvidia-smi一样。
浏览 366提问于2019-12-06得票数 3
在slurm中，如果在作业运行期间我所需的资源不够，会发生什么情况？例如，#SBATCH --memory=10G; #SBATCH --cpus-per-task=2; python mytrain.py在myscript.sh中。在我运行sbatch myscript.sh之后，成功地为作业分配了所需的cpu (2)和内存(10G)。但是在作业运行过程中，程序需要超过10 Gb的内存(就像加载一个大的视频数据集)，我发现作业不会被终止。该作业仍将正常工作。所以我的问题是:当我低估了我需要的资源时，有没有什么副作用？(内存似乎还可以，但是如果所需的cpu数量不够，是否仍然可以呢？)
浏览 17提问于2020-08-07得票数 0
1回答
全。 在我的Slurm集群中，当srun或sbatch作业请求多个节点的资源时，它将无法正确提交。 这个Slurm集群有4个节点，每个节点有4个GPU。 我可以使用4个GPU同时执行多个作业。 但是我不能运行一个请求5个或更多GPU的作业。 以下消息将显示cise3状态为down，这是另一个问题。 错误消息： sbatch:错误:批处理作业提交失败:请求的节点配置不可用 start.sh： #!/bin/bash
#SBATCH -o code20.out
#SBATCH --partition=cup-hpc
#SBATCH --nodes=3
#SBATCH --ntasks-per-n
浏览 174提问于2020-04-18得票数 0
我有一个带有2个GPU的NVIDIA主机，有两个不同的远程用户需要在该主机上使用GPU。当每个任务都由SLURM管理的srun执行其任务时，其中一个将立即释放GPU资源，而对于另一个则处于等待资源的队列中。但是有两个GPU。为什么不是每个人都有GPU？我已经尝试过几种替代方案，它们都在参数中，但似乎在使用SRUN时，在交互形式下，负责执行任务的人在完成任务之前拥有整个机器领域。
浏览 20提问于2022-11-22得票数 0
我正在通过SLURM调度程序向集群提交作业，假设我可以访问集群中的5种类型的GPU。它们是A、B、C、D、E类型的GPU。我想提交一个作业，请求使用A或B或C类型的GPU，而不是D或E类型的GPU。因此，我需要一些带有--gres标志的or逻辑。 作为一个具体的示例，下面是当我请求一个单一类型的图形处理器(在本例中是RTX2080)时的样子：qlogin -p gpu --gres=gpu:rtx2080:1 --mem=8g -c 2我想这样做，但允许SLURM从允许的图形处理器类型列表中进行选择
浏览 39提问于2021-04-05得票数 1
我们的大部分工作要么是(相对的)低CPU和高内存(数据处理)，要么是内存低和CPU高(模拟)。我们拥有的服务器通常足够大(256 is；16核)，可以容纳同时运行的多个作业，我们希望使用slurm来调度这些作业。但是，在一个小型(4CPU) amazon服务器上进行测试，我无法工作。据我所知，我将不得不使用SelectType=select/cons_res和SelectTypeParameters=CR_CPU_Memory。但是，当使用单个CPU启动多个作业时，这些作业是按顺序启动的，而不是并行启动的。
我的slurm.conf
ControlMachine=ip-172-31-37-52
浏览 3提问于2020-11-22得票数 1
回答已采纳
下面是三个不同的sbatch脚本，它们产生了大致相似的结果。
(我只显示脚本不同的部分；##前缀表示通过将脚本提交给sbatch获得的输出。)
脚本0
#SBATCH -n 4
srun -l hostname -s
## ==> slurm-7613732.out <==
## 0: node-73
## 1: node-73
## 2: node-73
## 3: node-73
脚本1
#SBATCH -n 1
#SBATCH -a 1-4
srun hostname -s
## ==> slurm-7613733_1.out <==
## node
浏览 4提问于2017-09-29得票数 1
回答已采纳
我已经在2节点集群上安装了Slurm。两个节点都是计算节点，其中一个也是控制器。我能够一次成功地运行多个作业的srun。我正在运行GPU作业，并已确认可以使用srun在多个GPU上运行多个作业，最多可达系统中的GPU数量。 但是，当我尝试使用相同的测试文件运行sbatch时，它将只运行一个批处理作业，并且只在同时也是控制器的计算节点上运行。其他失败，sacct摘要中的ExitCode为1:0。如果我尝试强制它在不是控制器的计算节点上运行，它将不会运行，并显示1:0退出代码。但是，只需使用srun就可以在任何计算节点上运行。 我已经确保/etc/slurm/slurm.conf文件与机器的规格
浏览 79提问于2019-02-14得票数 0
如果我没有指定任何--gres=gpu:1选项，那么进程将耗尽计算节点中的所有GPU。
我们只对GPU共享使用Slurm，所以我们希望每个进程都自动分配一个GPU .是否可以在默认情况下指定srun --gres=gpu:1
浏览 1提问于2020-12-12得票数 2
回答已采纳
我想在提交作业之前查看GPU的内存。我设法让slurm告诉我模型：
<code>A0</code>
但我想看看内存的大小。我知道我可以使用<code>D1</code>登录到队列并使用<code>D2</code>查看资源，但是队列太满了，可能需要16小时才能给我提供资源。我如何告诉slurm告诉我这些队列GPU拥有的GPU内存？
浏览 173提问于2020-11-14得票数 0
1回答
大家好，所以我试图设置一个新的hpc集群，我创建了一个帐户，添加了一个用户，并使用一个分区添加了im，但是当我运行一个作业时，它会给我一个错误，即请求节点配置不可用，我检查了我的slurm.conf，但是在我看来，我需要一些帮助--错误Batch job submission failed: Requested node configuration is not available。
#
# See the slurm.conf man page for more information.
#
SlurmUser=slurm
#SlurmdUser=root
SlurmctldPort
浏览 9提问于2022-07-21得票数 1
回答已采纳
抱歉问了个愚蠢的问题。我们使用slurm-16.05.9设置了一个小型集群。sinfo命令显示：
NODELIST NODES PARTITION STATE CPUS S:C:T MEMORY TMP_DISK WEIGHT AVAIL_FE REASON
g01 1 batch* idle 40 2:20:2 258120 63995 1 (null) none
g02 1 batch* idle 40 2:20:2 103285 64379
浏览 9提问于2022-08-25得票数 1
我有几千个作业要在一个有16个节点的SLURM集群上运行。这些作业只能在大小为7的可用节点的子集上运行。一些任务是并行化的，因此使用了单个节点的所有CPU能力，而其他任务是单线程的。因此，应该在单个节点上同时运行多个作业。任何任务都不应在多个节点上生成。
目前，我提交的每个作业如下：
sbatch --nodelist=myCluster[10-16] myScript.sh
然而，此参数使slurm等待，直到提交的作业终止，因此留下3个节点完全未使用，并且根据任务(多线程或单线程)，当前活动节点在CPU能力方面也可能处于低负载下。
强制slurm在指定节点上同时运行多个作业的sbatch的最
浏览 1提问于2014-10-06得票数 28
回答已采纳
我们使用SLRUM在节点之间共享CPU和GPU资源。有时GPU作业无法提交，因为有人提交了完整的CPU作业。在这种情况下，它浪费了GPU资源。
我如何制定政策来避免这种冲突？
例如，是否可以限制GPU作业的节点上的最大CPU作业计数？
(节点资源: 48个CPU核心，4个GPU卡，-->限制CPU作业最多44个，保留4个GPU作业。)
浏览 39提问于2021-03-09得票数 1
回答已采纳
当我使用选项--gres= GPU :1向一个具有两个GPU的节点提交SLURM作业时，如何获得分配给该作业的GPU的ID？为此目的是否存在环境变量？我使用的GPU都是nvidia GPU。谢谢。
浏览 11提问于2017-05-14得票数 11
回答已采纳
场景:我已经在一台Ubuntu机器上安装了。用户可以登录这台机器来完成一些GPU和非GPU任务.
目标：--我想阻止那些用户直接使用GPU。只有使用slurm启动的作业才能使用GPU。
我所做的:为了防止GPU的直接使用，我更改了/dev/nvidiaN (chown root.gpu /dev/nvidia*)的所有者，现在只有组gpu中的用户才能使用它们。这是可行的。问题是: slurm作业当然是以与其启动时相同的用户身份运行的，因此这些提交的作业也不能使用任何GPU。
有办法实现这个目标吗？我考虑使用镜像用户(user -> user-slurm在组gpu中，但没有登录)，也可以使
浏览 0提问于2018-08-09得票数 2
我有一个极其基本的问题，不知何故，我一直没有找到答案。让我们假设我可以访问运行slurm的集群，并且需要在集群上运行Python作业。让我们假设我的代码中有，而不是是用来支持多处理的。我有什么理由需要多个内核吗？或者我应该坚持一个节点和一个核心？
相反，如果我想运行5次相同的脚本(例如，使用不同的输入变量)，那么要求为每个作业分配一个节点和分配一个核心之间有什么区别，还是需要5个节点，每个节点都有一个核心呢？
浏览 2提问于2020-08-29得票数 1
回答已采纳
我一直致力于使用CUDA加速作业的处理时间。通常这将是相当简单的，但是我遇到了一个相当有趣的问题。我们正在使用slurm来调度我们的作业，通过添加CUDA代码并启用编译，它将单个作业的时间减少了一半。在查看GPU上的负载时会出现此问题。在启用CUDA之前，我们可以在每个节点上运行6个作业。但是，启用CUDA后，我们只能在每个GPU上的每个节点上运行2个作业。
最初，我认为我的提交脚本有问题，于是尝试添加以下内容：
--ntasks-per-node=6
添加到提交命令。
这将返回一个错误，声明：
sbatch: error: Batch job submission failed: Reque
浏览 0提问于2018-08-16得票数 1
回答已采纳
1回答
我试图在Slurm19.05集群中设置一个抢占，但我不知道如何使抢占工作像我计划的那样工作。
基本上，我有两个QOS。
$ sacctmgr show qos format=name,priority,preempt
Name Priority Preempt
---------- ---------- ----------
normal 0
premium 5000 normal
以下是我的优先购买配置中的相关设置：
# SCHEDULING
SelectType=select/cons_res
FastSched
浏览 2提问于2019-08-29得票数 2
1回答
我为Slurm写了一个节能插件，这样我就可以和云提供商一起使用Slurm了。
我分配的节点可以同时运行多个作业。假设我可以运行10个作业/节点。
目前，如果我请求一个作业，它会启动一个节点(创建一个云VM)。如果我立即请求第二个作业，Slurm将启动第二个节点。
我希望Slurm仅在当前通电的第一个节点不能处理新作业的情况下才给第二个节点通电。否则，将新作业也分配给当前通电的节点。
这可以通过配置来实现吗？
非常感谢！
浏览 1提问于2018-04-13得票数 0
我们的SLURM集群中有一些相当胖的节点(例如，14个核心)。我试图将其配置为可以并行运行多个批处理作业，例如，每个请求3个核心。但是，我不能让它起作用。
示例批处理作业：
#!/bin/bash
#
#SBATCH --job-name=job1
#SBATCH --output=job1.txt
#
#SBATCH -c 3
#SBATCH -N 1
srun sleep 300
srun echo $HOSTNAME
摘录自slurm.conf文件：
TaskPlugin=task/cgroup
SelectType=select/cons_res
SelectTypeParameter
浏览 0提问于2017-06-12得票数 2
我正在设置一个带有两个“物理”节点的SLURM集群。两个节点中的每个节点都有两个GPU。
我想给出一个选项，只使用其中一个GPU (并让另一个GPU仍然可用于计算)。我设法用gres设置了一些东西，但后来我意识到，即使只使用其中一个GPU，节点也会被占用，而另一个GPU无法使用。
有没有办法将GPU设置为消耗品，并在单个节点内拥有两个“节点”？并为每个分配有限数量的CPU和内存？
浏览 1提问于2018-12-19得票数 1
我正在开发一个新的mesos-slurm框架，其中来自外部的作业也可以被推送到slurm队列中。
更新，以更好地解释问题：mesos代理在HPC中编排作业的同一台计算机上安装了slurm。这个Slurm既可以从mesos执行器接收作业，也可以从其他方法接收作业(例如，第三方用户通过ssh将作业直接发送给slurm )。
因此，我希望代理在向mesos发送报价之前能够知道slurm队列的状态(正在运行和等待运行的作业数量)，并相应地提供资源。这不能仅仅通过知道执行者接受的任务来实现，因为HPC的其他资源可以被直接使用slurm的第三方用户占用。
换句话说，我想做的是定制代理了解可用资源的方式，以
浏览 3提问于2017-02-01得票数 2
我正在运行机器学习(ML)作业，这些作业使用很少的GPU内存。因此，我可以在一个GPU上运行多个ML作业。
为此，我想在gres.conf文件中添加多行代码，指定相同的设备。但是，slurm deamon似乎不接受这个，服务返回：
fatal: Gres GPU plugin failed to load configuration
我还有什么办法让这件事成功吗？
或者用SLURM不同的方法来实现这一点？
这是一个笑脸，但这一个似乎是特定于一些数据自动化系统的代码，并已启用编译。似乎比我的一般情况更具体的事情(或者至少就我所理解的情况而言)。
浏览 0提问于2021-12-02得票数 1
回答已采纳
我有一个slurm的用例，我想知道是否有办法处理它。
约束
I想运行几个作业(比如60个作业)。每个作业需要几个小时，例如3h/作业。在slurm管理的集群中，使用一个队列，每个节点有4个gpu(因此我可以将批处理脚本限制为一个节点)。每个作业需要1个gpu。<code>G 211</code>
Problem：如果我将所有内容都放在队列中，即使我只指定了一个节点，也会阻塞4个gpus。
想要的解决方案：通过只使用2个gpus来避免阻塞整个机器。
我怎样才能把它们放到队列中，而不把所有4个gpus都拿走呢？
例如，我是否可以创建一种子文件，仅限于节点的资源子集？
浏览 2提问于2022-06-24得票数 0
如何在下面更改slurm脚本，以便每个python作业都得到一个唯一的GPU？这个节点有4个GPU，我想每个GPU运行一个python作业。问题是所有作业都使用第一个GPU，其他GPU是空闲的。
#!/bin/bash
#SBATCH --qos=maxjobs
#SBATCH -N 1
#SBATCH --exclusive
for i in `seq 0 3`; do
cd ${i}
srun python gpu_code.py &
cd ..
done
wait
浏览 12提问于2022-01-04得票数 0
1回答
如果在slurm集群上运行数组作业，如何重新启动失败的工人作业？
在Sun引擎队列中，可以将#$ -r y添加到作业文件中，以指示如果作业失败，应该重新启动作业--此标志的Slurm等效于什么？
浏览 2提问于2018-06-02得票数 1
回答已采纳
2回答
我写这篇文章是因为自从我使用slurm以来，我一直无法正确地使用ray。每当我使用这些命令时：
ray.init
培训师= A3CTrainer(env =“my_env”)(我已经注册我的env了)
程序崩溃时会收到以下消息：
01000000ffffffffffffffffffffffffffffffffffffffffffffffff core_worker.cc:137:未能将员工注册为Raylet。IOError: RayletClient无法向raylet注册员工。没有这样的文件或目录
这个程序在我的电脑上运行得很好，这个问题随着Slurm的使用而出现。我只向slu
浏览 15提问于2022-06-01得票数 4
我开始使用Slurm，我假设我传递给sbatch的提交脚本在控制器上运行，标记为srun的步骤将在计算节点上作为作业步骤运行。考虑下面的示例：
#!/bin/bash
#SBATCH --cpus-per-task 12
#SBATCH --gres=gpu:1
#SBATCH --job-name=hello
hostname
srun hostname
我希望看到的是我提交的机器的主机名，然后是为该作业分配的计算节点的名称。相反，整个脚本似乎都在计算节点上运行。我在日志中看到计算节点的主机名，然后它失败了，因为它在该节点上找不到srun：
/var/spool/slurm/d/job00
浏览 288提问于2019-05-24得票数 1
回答已采纳
我们正在寻找与salloc分配的一些建议。目前，鉴于：
% salloc -n 4 -c 2 -gres=gpu:1
% srun env | grep CUDA
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
然而，我们希望不仅仅是设备0被使用。
是否有一种方法可以使用srun/mpirun指定一个salloc以获得以下内容？
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=1
CUDA_VISIBLE_DEVI
浏览 5提问于2017-09-05得票数 3
我们在一台配备了4个GPU的计算机服务器上设置Slurm。我一直在尝试找到一种方法，让Slurm将作业分配给随机GPU，其中我以一种轻松的方式使用“随机”，这意味着例如，如果正在使用GPU 1，那么请求GPU资源的新作业应该在随机GPU上分配那些空闲的(0，2，3)。
问题是，就像现在一样，Slurm总是先分配GPU0，然后分配GPU1，然后分配2，3。这会导致GPU0随着时间的推移执行相当多的作业，因此消耗得更快。随机选择会更好。
我读过关于Sbatch等的文档，但似乎可以选择一个特定的GPU来运行作业，但不能像上面描述的那样随机选择它。
浏览 9提问于2021-05-27得票数 2
我使用SLURM分配作业，并且我有一个名为“卡片”的通用资源。在slurm.conf中有一行：
GresTypes=cards
在节点配置行中不包含此资源。相反，我尝试在gres.conf中配置它：
NodeName=mynode-01 Name=cards Count=2
不幸的是，scontrol show node mynode-01显示了Gres=(null)。
所有节点都可以访问slurm.conf和gres.conf。我试着运行scontrol reconfigure并重新启动SLURM守护进程--这没有帮助。
浏览 8提问于2021-12-14得票数 0
我有一个bash脚本submit.sh，用于向Slurm服务器提交培训作业。它的工作原理如下。正在做什么
bash submit.sh p1 8 config_file
将提交一些与config_file相对应的任务到分区p1的8个GPU。p1的每个节点都有4个GPU，因此该命令请求2个节点。
submit.sh的内容可以概括如下，其中我使用sbatch提交一个Slurm脚本(train.slurm)：
#!/bin/bash
# submit.sh
PARTITION=$1
NGPUs=$2
CONFIG=$3
NGPUS_PER_NODE=4
NCPUS_PER_TASK=10
sb
浏览 9提问于2021-01-29得票数 2
回答已采纳
1回答
在使用slurm的服务器上配置jupyter的正确方法是什么？在阅读完之后，我通过slurm执行我的python脚本，如下所示(我不确定这是否有效)：
$ srun -n 1 --time=02:00:00 --cpus-per-task=14 --mem=64gb --part=cluster-job --gres=gpu:rtx2080ti:1 python ./src/main.py
然后，我得到了：
srun: job 2216877 queued and waiting for resources
当我这样做的时候：
(base) [user@cluster ~]$ squeue -
浏览 178提问于2021-06-10得票数 1
回答已采纳
3回答
随机化Slurm节点分配
、、、、
有没有人幸运地随机分配Slurm节点？我们有一个由12个节点组成的小集群，可供1-8人一次工作的任何地方使用，任务大小/长度不同。在测试我们的新Slurm设置时，如果没有交互和批处理作业的其他用户，作业总是转到分区的第一个节点。有办法随机化这个调度吗？
看起来，取决于用户的时间线，他们可以始终得到相同的节点，这可能掩盖硬件/配置中的问题，否则这些问题可能是可见的。我们的节点总是排他性的，所以我们只考虑随机的节点级调度.
浏览 0提问于2017-10-30得票数 3
我使用来使用一些计算集群，它有-ntasks或-n。显然，我已经阅读了它的文档()：
S批处理不启动任务，它请求分配资源并提交批处理脚本。此选项通知Slurm控制器，在分配中运行的作业步骤将启动最大数量的任务，并提供足够的资源。默认为每个节点一个任务，但请注意--cpus每个任务选项将更改此默认设置。
我不明白它的具体含义是：
在分配内运行将启动最多数量的任务，并提供足够的资源。
我有几个问题：
我想我的第一个问题是“任务”这个词的意思是什么，而与“工作”这个词在SLURM上下文中的区别是什么。我通常认为一个作业是在sbatch下运行bash脚本，就像在sbatch my_
浏览 4提问于2016-08-27得票数 73
我有一个由100个作业组成的作业数组。我希望最多可以将作业数组中的2个作业分配给同一个节点。我怎么能用SLURM做这件事？谢谢!
浏览 4提问于2017-11-19得票数 3
回答已采纳
1回答
我的PC有两个cpu xeon e5-2678v3，12个核心/24个线程每个cpu (总共24个核心/ 48个线程)我提交了slurm批处理作业，为我的代码请求多核(CFD fortran代码与英特尔fortran编译器在linux)代码运行良好，但似乎所有48个线程只在一个cpu上运行，而不是双cpu。我使用上面相同的slurm批处理作业文件检查了串行和openMP运行；结果是相同的结果和相同的计算速度。请告诉我如何使用所有的2个CPU来运行代码？
第一个作业文件，system以所有48个线程运行：*
#!/bin/sh
#PBS -N Ogive
#PBS -o output
#PBS
浏览 2提问于2020-05-19得票数 0
1回答
目前，我们已经建立了Slurm来管理一个由六个节点组成的小型集群，每个节点有四个GPU。到目前为止，这已经很好了，但是现在我们希望使用Intel Corei7-5820K CPU来完成只需要CPU处理能力的任务。每个CPU有6个核心和12个线程，每个GPU需要一个线程/逻辑核心，因此剩下8个线程(每个节点)可以用于“只使用CPU”作业。
目前的配置：
cat /etc/slurm-llnl/gres.conf
Name=gpu File=/dev/nvidia0
Name=gpu File=/dev/nvidia1
Name=gpu File=/dev/nvidia2
Name=gpu Fil
浏览 0提问于2016-05-19得票数 1
回答已采纳
我一直在使用SLURM请求特定的GPU，如下所示；
--gres=gpu:TYPE:1
在我使用的集群上，有4个不同的GPU可用，它们都有自己特定的gres类型。
对于某些作业，我并不关心使用哪个GPU，所以我可以指定：
--gres=gpu:1
然而，有时我希望有一些特定的类型，但在这些类型中，我并不真正关心是哪种类型。基本上是第一个可用的。
因此，我希望指定如下内容：
--gres=gpu:TYPE1:1 OR --gres=gpu:TYPE2:1
这样它就会选择最早可用的那个。
然而，我一直无法找到这样的选择。此选项是否存在SLURM？
浏览 15提问于2019-07-16得票数 6
1回答
我知道如何使用cgroups(分配内存、cpu使用率...)和slurm(提交、挂起/停止作业)。我想知道cgroups是如何使用slurm的。当我向slurm提交作业时，我可以在哪里修复内存或CPU使用率？我阅读了Slurm Schedmd()的文档，但它没有给出很好的解释。也许这是对我的误解。谁能解释一下如何使用slurm中的cgroup为作业分配一些资源？提前谢谢。
浏览 4提问于2017-05-22得票数 3
我正在尝试设置Slurm -我只有一个登录节点(称为ctm-log-01)和一个计算节点(称为ctm-深层-01)。我的计算节点有几个CPU和3个GPU。
我的计算节点一直处于drain状态，我无法确定从哪里开始.
登录节点
sinfo
ctm-login-01:~$ sinfo
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST
debug* up infinite 1 drain ctm-deep-01
原因是什么？
sinfo -R
ctm-login-01:~$ sinfo -R
REASON
浏览 3提问于2020-12-11得票数 1
回答已采纳
我的程序由两部分组成，A和B，都是用C++编写的。B是从单独的DLL加载的，并且能够在CPU或GPU上运行，具体取决于它的链接方式。当启动主程序时，它创建A的一个实例，该实例又创建B的一个实例(然后在本地可用的GPU或第一个GPU上工作)。
当使用mpirun (或通过slurm启动mpirun)启动程序时，为每个MPI rank创建A的一个版本，该版本又为其自身创建B的一个版本。当系统中只有一个GPU时，将使用此GPU，但如果系统中有多个GPU，会发生什么情况？无论是否有多个GPU可用，B的所有版本是否都放在同一个GPU上，或者它们是否均匀分布？
有什么方法可以影响这种行为吗？不幸的是，我的
浏览 3提问于2019-08-06得票数 0
我正在尝试在运行Ubuntu的Virtualbox上安装slurm。我们使用它通过web界面运行长时间运行的作业，并使用slurm对作业进行排队和运行。我正在使用VirtualBox为开发创建一个沙箱。 我已经设置了slurm，但是当我将一个作业排入队列并运行squeue时，我得到： $ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
2 debug test.sh pchandle PD 0:00
浏览 729提问于2021-10-14得票数 2
回答已采纳
最近，我一直在尝试用Dask在一个使用SLURM调度器的HPC集群上做一些机器学习工作。重要的是，在这个集群上，SLURM被配置为每个作业24小时的硬墙时间限制。 最初，我只使用一个worker来运行代码，但是我的作业内存不足。我试图增加工作进程的数量(因此，也增加了请求节点的数量)，但工作进程被困在SLURM队列中(原因是这种队列被标记为“优先级”)。与此同时，主人会跑起来，最后撞到墙上的时间，留下工人们在他们最终开始的时候死去。 考虑到问题可能是我请求了太多的SLURM作业，我尝试将工人压缩到一个单一的、多节点作业using a workaround I found on github中
浏览 62提问于2021-09-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
