如何为slurm作业指定每个核心的最大内存
为slurm作业指定每个核心的最大内存，可以通过在slurm作业脚本中使用--mem-per-cpu参数来实现。该参数用于指定每个核心的最大内存限制。
具体步骤如下：
- 在slurm作业脚本中添加以下代码：
#SBATCH --mem-per-cpu=<memory_limit>其中，<memory_limit>表示每个核心的最大内存限制，可以使用以下单位：
- K：千字节
- M：兆字节
- G：吉字节
- 将
<memory_limit>替换为您希望为每个核心分配的最大内存量。例如，如果您希望每个核心的最大内存限制为2GB，则可以将代码修改为：
#SBATCH --mem-per-cpu=2G这样，当您提交slurm作业时，每个核心将被限制在指定的最大内存量内运行。
推荐的腾讯云相关产品：腾讯云弹性计算Elastic Cloud Compute（ECC）。 产品介绍链接地址：https://cloud.tencent.com/product/ecc
相关·内容
1回答
我为Slurm写了一个节能插件，这样我就可以和云提供商一起使用Slurm了。
我分配的节点可以同时运行多个作业。假设我可以运行10个作业/节点。
目前，如果我请求一个作业，它会启动一个节点(创建一个云VM)。如果我立即请求第二个作业，Slurm将启动第二个节点。
我希望Slurm仅在当前通电的第一个节点不能处理新作业的情况下才给第二个节点通电。否则，将新作业也分配给当前通电的节点。
这可以通过配置来实现吗？
非常感谢！
浏览 1提问于2018-04-13得票数 0
抱歉问了个愚蠢的问题。我们使用slurm-16.05.9设置了一个小型集群。sinfo命令显示：
NODELIST NODES PARTITION STATE CPUS S:C:T MEMORY TMP_DISK WEIGHT AVAIL_FE REASON
g01 1 batch* idle 40 2:20:2 258120 63995 1 (null) none
g02 1 batch* idle 40 2:20:2 103285 64379
浏览 9提问于2022-08-25得票数 1
我们使用SLURM管理计算集群上的作业调度，并且在内存管理方面遇到了问题。具体来说，我们无法找到如何为特定任务分配内存。
考虑以下设置：
每个节点都有32 has内存。
我们有一个设置--mem=24GB的SLURM作业
现在，假设我们想同时运行该SLURM作业两次。然后，我期望(或希望)发生的是，当我通过两次调用sbatch runscript.sh对其进行两次排队时，两个作业中的一个将在一个节点上运行，另一个将在另一个节点上运行。但是，与目前的情况一样，SLURM将两个任务安排在同一个节点上。
我们发现的可能原因之一是，它似乎只检查24 by的内存是否可用(即，其他节点没有
浏览 5提问于2017-09-27得票数 2
回答已采纳
我的slurm作业使用几个节点，我想知道每个节点对正在运行的作业的最大内存使用量。我能做什么?
现在，我可以对每个节点进行ssh并执行free -h -s 30 > memory_usage，但我认为一定有更好的方法。
浏览 5提问于2022-02-07得票数 0
Slurm管理一个具有8 8core/64 and ram和16 8core/128 and ram节点的集群。有一个低优先级的“长”分区和一个高优先级的“短”分区。在长分区中运行的作业可以由短分区中的作业挂起，在这种情况下，来自挂起的作业的页面大部分被推送到交换。(交换用途仅用于此目的，而不用于活动作业。)
如何在slurm中配置每个节点中用于作业的RAM+swap总量？
有MaxMemPerNode参数，但这是一个分区属性，因此不能容纳分区中不同节点的不同值。
有MaxMemPerCPU参数，但这可以防止低内存作业与大内存作业共享未使用的内存。
浏览 2提问于2017-05-16得票数 1
回答已采纳
我想为slurm中的批处理作业指定每个内核的最大内存量 我可以看到两个sbatch内存选项： --mem=MB maximum amount of real memory per node required by the job.
--mem-per-cpu=mem amount of real memory per allocated CPU required by the job. 这两个选项都适合我的需要 如何实现这一目标有什么建议吗？
浏览 146提问于2020-09-16得票数 1
我们的大部分工作要么是(相对的)低CPU和高内存(数据处理)，要么是内存低和CPU高(模拟)。我们拥有的服务器通常足够大(256 is；16核)，可以容纳同时运行的多个作业，我们希望使用slurm来调度这些作业。但是，在一个小型(4CPU) amazon服务器上进行测试，我无法工作。据我所知，我将不得不使用SelectType=select/cons_res和SelectTypeParameters=CR_CPU_Memory。但是，当使用单个CPU启动多个作业时，这些作业是按顺序启动的，而不是并行启动的。
我的slurm.conf
ControlMachine=ip-172-31-37-52
浏览 3提问于2020-11-22得票数 1
回答已采纳
2回答
我在HPC环境中工作，并使用SLURM将我的作业提交到队列中。我正在编写自己的内存缓存机制，因此我想知道每个节点有多少内存可用，以便我可以扩展或重用空间。
有没有办法知道有多少内存可用。SLURM是否设置了任何环境变量。
浏览 6提问于2018-03-23得票数 1
我正在与SLURM调度程序在共享计算空间上使用snakemake。我的大多数规则只需要很少的资源/CPU，而有几个规则需要很多资源。我想设置snakemake为每个规则使用最少的资源，除了需要大量资源的规则。根据我的测试，在集群模式下提交每个规则作为子作业时，snakemake将始终使用config.yaml中的核心计数和内存请求。当我在每个规则中定义线程和mem_mb时，它在将规则作为作业提交时不会考虑这些值。在集群模式下，有没有办法让snakemake在提交作业时查看规则的线程/mem_mb，或者根据每个规则定制SLURM资源请求？下面是我的config.yaml (在代码中我称之为cl
浏览 25提问于2021-09-18得票数 0
我想在大量不同的输入文件上运行相同的程序。我可以把每一个都作为一个单独的Slurm提交来提交，但是我不想一次抛掉1000个作业来淹没队列。我一直在试图找出如何处理相同数量的文件，方法是先创建一个分配，然后在分配中循环使用srun的所有文件，给每个调用分配一个单独的核心。问题是，无论我做什么，一次只运行一个工作步骤。我能想到的最简单的测试案例是：
#!/usr/bin/env bash
srun --exclusive --ntasks 1 -c 1 sleep 1 &
srun --exclusive --ntasks 1 -c 1 sleep 1 &
srun --excl
浏览 8提问于2016-02-19得票数 7
回答已采纳
所以我有一个由slurm运行的python3作业。python作业使用了大量的多处理，生成了大约20个左右的线程。代码并不完美，使用了大量内存，偶尔会遇到一些意外的数据并抛出错误。这本身不是问题，我不需要20个过程中的每一个都完成。 问题是，有时某些东西会导致程序创建名为core.356729的文件(点后的数字会发生变化)，而这些文件非常庞大！比如1 GB的数据。最终我得到了太多，以至于我没有任何磁盘空间，我所有的作业都停止了。我不知道它们是什么，它们的内容是人类不可读的。谷歌搜索"core files slurm“或"core.number files”都没有给出任何相关信
浏览 275提问于2021-08-07得票数 1
回答已采纳
我有几千个作业要在一个有16个节点的SLURM集群上运行。这些作业只能在大小为7的可用节点的子集上运行。一些任务是并行化的，因此使用了单个节点的所有CPU能力，而其他任务是单线程的。因此，应该在单个节点上同时运行多个作业。任何任务都不应在多个节点上生成。
目前，我提交的每个作业如下：
sbatch --nodelist=myCluster[10-16] myScript.sh
然而，此参数使slurm等待，直到提交的作业终止，因此留下3个节点完全未使用，并且根据任务(多线程或单线程)，当前活动节点在CPU能力方面也可能处于低负载下。
强制slurm在指定节点上同时运行多个作业的sbatch的最
浏览 1提问于2014-10-06得票数 28
回答已采纳
1回答
我用来触发snakemake的命令是：
snakemake --snakefile Snakefile --configfile config.json --latency-wait 60 --rerun-incomplete --keep-going --notemp --reason --use-singularity --singularity-args "--bind /somepath/folder" --jobs 400 --cores 16 --cluster-config clusterConfiguration/cluster.json --cluster &
浏览 2提问于2019-12-12得票数 0
回答已采纳
1回答
我记得一些最新版本的YARN有一个配置参数，它控制一个作业可以使用的内存(或核心)的数量。我试着从网上找到它，但我还没找到。如果你知道参数，请告诉我。
我知道一种方法是使用某种调度程序，但现在我需要一个作业级别的控制，这样作业就不会滥用整个系统。
谢谢!
浏览 0提问于2016-11-24得票数 0
1回答
当我通过sbatch使用Slurm运行作业时，有时它会生成一个文件名为core.12345 (在不同的时间具有不同的5位字符串)。我没有找到任何关于这个文件的功能和为什么生成它的文档，但是在文档中有一些。
这个文件是做什么的，为什么要生成它？(它甚至是由Slurm生成的，还是其他什么东西？)
有什么方法可以抑制它的产生吗？(它很大，按几千兆字节的大小计算，并自动写入集群上的主目录)
浏览 0提问于2019-06-10得票数 2
回答已采纳
我已经在谷歌上搜索过了，并阅读了文档。
我的本地集群正在使用SLURM。我想检查以下内容:每个节点有多少核？队列中的每个作业预留了多少个核心？
任何建议都将不胜感激！
浏览 1提问于2016-12-23得票数 26
回答已采纳
#!/bin/bash
#SBATCH -p RM-shared
#SBATCH -n 4
#SBATCH -t 24:00:00
#SBATCH --array=1-
我正在尝试启动一个阵列，对于阵列中的每个任务，我希望它使用RM共享分区上的4个核心。我这样做是否正确，或者这是否指定通过的阵列输出的所有任务必须共享4个核心？
我将为此提出一个单独的问题，但由于某种原因，当我运行此命令时，$SLURM_ARRAY_TASK_ID变量为空……
当我跑的时候
echo "My SLURM_ARRAY_TASK_ID: " $SLURM_ARRAY_TASK_ID
在我的头文件设置作
浏览 56提问于2021-06-10得票数 0
1回答
根据这里的答案，用户可以通过What does the --ntasks or -n tasks does in SLURM?的ntasks参数并行运行多个作业，后跟srun。要问一个后续问题-如何指定在以这种方式并行运行作业时所需的内存量？ 如果3个作业并行运行，每个作业需要8G内存，是在sbatch中指定24G内存(即来自所有作业的内存总和)还是不在sbatch中给出内存参数，而是为每个srun指定8G内存
浏览 49提问于2018-12-28得票数 3
回答已采纳
我想让调度作业的用户使用-t, --time=<time>列出任何作业时间限制。但是，当用户没有设置时间限制时，我希望设置一个默认的时间限制，例如1小时。我在slurm.conf中找不到任何设置来做这件事。
浏览 3提问于2020-02-12得票数 3
回答已采纳
1回答
在集群上运行openmp
、、、
我必须在具有不同配置(例如不同节点数)的集群上运行openmp程序。但是，我面临的问题是，每当我试图用两个节点运行程序时，同一段程序就会运行两次，而不是并行运行。
我的节目-
gettimeofday(&t0, NULL);
for (k=0; k<size; k++) {
#pragma omp parallel for shared(A)
for (i=k+1; i<size; i++) {
//parallel code
}
#pragma omp barrier
for (i=k+1; i<size; i
浏览 1提问于2013-10-13得票数 3
因此，我在2台笔记本电脑(2个节点)上运行slurm作业，我注意到这两台笔记本电脑都变得非常迟钝，以至于鼠标甚至不能移动。当我使用htop时，我发现作业使用了4个内核，使用率为100%。我确信这个作业不会占用太多的cpu资源。如何使slurm只使用所需的cpu能力？
浏览 29提问于2021-05-27得票数 0
回答已采纳
我正在使用AWS上的SLURM来玩一个集群。我定义了以下参数：
#!/bin/sh
[...]
#SBATCH --ntasks=216
#SBATCH --constraint=c5n.18xlarge
现在我该如何理解ntasks呢？这个参数到底是什么？它与vCPU的数量有什么关系？因此，将提供的节点数量？
AFAIK，它不对应于vCPU的数量，因为我试图选择一个72的倍数(有72 vCPU)，并且它不对应于提供的EC2实例的数量。
我看到我还可以使用其他参数，例如：
#SBATCH --ntasks-per-node=2
#SBATCH --cpus-per-task=1
但是，对我来说
浏览 10提问于2021-06-01得票数 0
回答已采纳
我试图在SLURM上提交一组作业，但是睡眠命令并没有像预期的那样工作。我想每10秒启动一次工作。但是，此代码等待10秒才能启动整个作业数组。如何修改下面的bash文件？
#!/usr/bin/env bash
# The name to show in queue lists for this job:
#SBATCH -J matlab.sh
# Number of desired cpus:
#SBATCH --cpus=1
#SBATCH --mem=8gb
# The time the job will be running:
#SBATCH --time=167:00:00
#
浏览 2提问于2017-12-22得票数 0
回答已采纳
1回答
要通过slurm将作业提交到集群，我可以指定一个#SBATCH --ntasks-per-node={cpus}作业需要多少CPU。但是，这将将作业发送到至少有这么多CPU的任何节点。这通常是很好的，但是假设我在一个具有24个CPU和40个CPU节点的集群中。如果我提交了一个24核心作业，其中一些将转到40个CPU节点，阻止对这些节点的进一步计算(除非它们恰好要求16个或更少)。
是否有一种方法可以指定我希望节点最多有一定数量的CPU？我知道可以使用我接受的节点列表来提交作业，但我希望有一种方法可以做到这一点，而不必将这个列表手动插入到各种不同的作业脚本中。
浏览 4提问于2021-01-01得票数 0
我们正在运行一个小型群集环境，其中Intel Xeon节点通过Infiniband连接。登录节点未连接到infiniband互连。所有节点都运行Debian Jessie。
我们在Login节点上运行Slurm 14.03.9。由于系统OpenMPI已经过时，并且不支持MPI3接口(我需要)，所以我编译了一个自定义的OpenMPI 2.0.1。
当我通过手动启动MPI作业时
mpirun --hostfile hosts -np xx program_name,
它运行良好，也可以在多个节点上运行，并且充分利用了Infiniband。好的。
然而，当我从Slurm runscript内部调用我
浏览 70提问于2016-09-15得票数 3
回答已采纳
我有一个极其基本的问题，不知何故，我一直没有找到答案。让我们假设我可以访问运行slurm的集群，并且需要在集群上运行Python作业。让我们假设我的代码中有，而不是是用来支持多处理的。我有什么理由需要多个内核吗？或者我应该坚持一个节点和一个核心？
相反，如果我想运行5次相同的脚本(例如，使用不同的输入变量)，那么要求为每个作业分配一个节点和分配一个核心之间有什么区别，还是需要5个节点，每个节点都有一个核心呢？
浏览 2提问于2020-08-29得票数 1
回答已采纳
1回答
我想在HPC上使用Slurm调度程序并行一个R脚本。
SLURM配置为SelectType: CR_Core_Memory。
每个计算节点有16个核心(32个线程)。
我将R脚本传递给Slurm，配置如下，使用作为SLURM的接口。
#!/bin/sh
#SBATCH --job-name={{ job_name }}
#SBATCH --partition=normal
#SBATCH --output={{ log_file | /dev/null }} # you can add .%a for array index
#SBATCH --error={{ log_file | /dev
浏览 0提问于2019-02-27得票数 3
回答已采纳
1回答
我用来在HPC集群上运行一些Matlab模拟。 集群运行SLURM。 我的Matlab脚本的输出之一是一个GIF文件，它显示了我正在模拟的内容的时间演变。GIF文件的每一帧都是通过命令"getframe“获得的，该命令获取显示的快照。 当我在我的计算机上运行Matlab脚本时，GIF文件看起来很完美，因为快照的分辨率与我的计算机相同。当我在HPC集群上运行相同的Matlab脚本，通过SLURM提交作业时，GIF文件看起来很糟糕，因为它的分辨率非常低。毕竟，HPC集群没有实际的显示器，可能只有一个虚拟显示器。 所以，这就是我的问题:我可以在提交作业时更改虚拟显示器的分辨率，以便Matl
浏览 25提问于2021-01-14得票数 0
1回答
我有一个名为“test.sub”的提交脚本：
#!/bin/bash
#SBATCH --workdir=./
#SBATCH -o test.out
#SBATCH --partition=debug
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --requeue
#SBATCH --job-name=test
x=0
while [ $x -le 100 ]; do
echo "Test $x" >> test.out
sleep 100
x=$(($x+1))
done
当我提交这个作业脚本时
浏览 2提问于2018-03-28得票数 2
回答已采纳
1回答
我使用的是带有Dask的SLURM集群，并不完全理解配置部分。文件中谈到了工作和工人，甚至有一节讨论了两者之间的区别：
在分布式中，工作者是dask集群中的一个Python和节点，用于两个目的: 1)服务数据，2)执行计算。作业是提交给作业排队系统并由其管理的资源(例如PBS、SGE等)。在“达克作业队列”中，单个作业可能包括一个或多个员工。
问题是我还是不明白。我使用“任务”一词来引用使用客户端提交的单个函数，即带有client.submit(task, *params)调用的函数。
我对Dask工作方式的理解是，已经设置了n_workers，并且每个任务都提交给了一组这样的工作人员。在给
浏览 26提问于2022-05-04得票数 0
我在slurm中使用sbatch运行了许多作业，如下所示：
#!/usr/bin/env python
#SBATCH --job-name=Python
#SBATCH --array=1-200
#SBATCH --mem=4000
#SBATCH --time=0-18:20
#SBATCH --mail-type=ALL
#SBATCH --mail-user=my_mail@yahoo.com
然而，似乎正在发生的是slurm为每个数组发送了一封电子邮件。但是，我不希望slurm这样做，我只希望当slurm数组都运行完毕(或失败)时给我发送一封电子邮件。也就是说，当一个特定的任务(以
浏览 1提问于2016-10-22得票数 3
1回答
我们的集群使用SLURM来管理我们的作业队列。Slurm正在监控每个帐户使用了多少核心小时数，并将降低从使用了超过分配的核心小时数的帐户提交的作业的优先级。
slurm中有没有一个命令可以显示我的帐户的这些限制？我想知道在被降级之前我可以使用的核心小时数。
浏览 0提问于2012-12-06得票数 4
回答已采纳
1回答
我正在通过作业队列在slurm上运行dask，并且我已经得到了三个错误，非常一致.
基本上，我的问题是，是什么导致了这些失败？乍一看，问题是太多的工作人员同时写入磁盘，或者我的工作人员正在分叉进入许多其他进程，但是很难跟踪这一点。我可以ssh进入节点，但是我没有看到异常数量的进程，每个节点都有一个500 be的ssd，所以我不应该写得太多。
下面的所有内容都是关于我的配置的信息
我的设置如下：
cluster = SLURMCluster(cores=1, memory=f"{args.gbmem}GB", queue='fast_q', name=args.n
浏览 0提问于2018-11-05得票数 0
回答已采纳
1回答
我在我们的大学集群上运行作业(常规用户，没有管理权限)，它使用SLURM调度系统，我感兴趣的是绘制CPU和内存的使用情况，即在作业运行时。我了解sacct和sstat，我正在考虑在提交脚本中包含这些命令，例如在
#!/bin/bash
#SBATCH <options>
# Running the actual job in background
srun my_program input.in output.out &
# While loop that records resources
JobStatus="$(sacct -j $SLURM_JOB_ID
浏览 5提问于2017-05-08得票数 6
回答已采纳
1回答
我用python编写的多进程代码在我的电脑上运行得很好。但是当我使用slurm时，我得到了一个Exceed job内存错误。我想不出如何解决这个问题。在this link中，@jaap建议使用cgroup记帐，但我不知道如何实现它。我也没有授权去修改它。有人能给出一个解决方案吗？下面你可以看到我的slurm代码： #!/bin/bash
#SBATCH -p mid1
#SBATCH -A rrrr
#SBATCH -J python_auvergne
#SBATCH -n 1
#SBATCH -c 16
#SBATCH --time=04-00:00:00
#export PATH=$/
浏览 70提问于2019-03-21得票数 2
1回答
假设我使用以下配置运行slurm作业：
#!/bin/bash
#SBATCH --nodes=1 # set the number of nodes
#SBATCH --ntasks=1 # Run a single task
#SBATCH --cpus-per-task=4 # Number of CPU cores per task
#SBATCH --time=26:59:
浏览 2提问于2018-02-18得票数 1
回答已采纳
我希望将以下变量打印到Slurm生成的标准输出文件slurm-XXXXX.out中。现在，我正在为每个作业生成一个单独的.info文件。
echo "SLURM Job ID : ${SLURM_JOB_ID}" >> $SLURM_SUBMIT_DIR/$jobName.$JOBID.info
echo "SLURM Job name : ${SLURM_JOB_NAME}" >> $SLURM_SUBMIT_DIR/$jobName.$JOBID.info
echo "SLURM Node list
浏览 0提问于2021-01-27得票数 0
回答已采纳
1回答
我的PC有两个cpu xeon e5-2678v3，12个核心/24个线程每个cpu (总共24个核心/ 48个线程)我提交了slurm批处理作业，为我的代码请求多核(CFD fortran代码与英特尔fortran编译器在linux)代码运行良好，但似乎所有48个线程只在一个cpu上运行，而不是双cpu。我使用上面相同的slurm批处理作业文件检查了串行和openMP运行；结果是相同的结果和相同的计算速度。请告诉我如何使用所有的2个CPU来运行代码？
第一个作业文件，system以所有48个线程运行：*
#!/bin/sh
#PBS -N Ogive
#PBS -o output
#PBS
浏览 2提问于2020-05-19得票数 0
1回答
我正在Raspberry Pi 4的集群上设置Slurm，成功地在我的24 RPi集群上配置和使用Slurm，并允许每个RPi执行4个MPI任务。因此，如果我对所有节点(-N 24)和所有核心(-n 96)进行MPI运行(或者使用"srun“或”s批处理“(和批处理脚本))，它就会像我所期望的那样工作。
一个典型的"slurm.conf“行用于RPi节点的例子是：
NodeName=foo-001 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
此表单有24个节点项。整个分区条目是：
Partit
浏览 11提问于2022-02-24得票数 1
我们已经将sge的slurm用于我们的集群作业排队系统。在sge中，当您使用qstat函数时，它会打印每个作业使用的cpus/插槽的数量--在slurm中有没有简单的方法可以做到这一点？squeue只显示每个作业使用的节点数。谢谢。 JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
1981 q run-01 root R 16:21 1 node001
1982 q
浏览 59提问于2020-11-20得票数 2
回答已采纳
我是一个实习生，负责在三个运行ubuntu的计算单元上安装slurm。现在的工作方式是将ssh放入其中一个计算单元中，并在其中运行一个作业，因为所有三个单元都通过nfs挂载共享内存。否则，它们是不同的机器。
我的问题是，从我在文档中看到的情况来看，在安装slurm时，我会将每个计算单元指定为一个完全独立的节点，而我想要运行的任何使用多个核的作业仍然会受到单个节点上可用的核数的限制。然而，我的主管告诉我，这三个单元应该作为一个节点安装，当一个作业需要比单个计算单元上可用的内核更多的内核时，slurm应该只使用所有的核心。我们的意图是，我们不会改变执行作业的方式(就像并行化的R脚本)，在将作业发送
浏览 0提问于2020-02-29得票数 0
回答已采纳
1回答
我正在尝试使用SLURM在集群上运行粒子群优化问题，优化算法由单核matlab进程管理。每个粒子求值都需要在两个Python程序之间交替进行多个MPI调用，直到结果收敛。每次MPI调用最多需要20分钟。
最初，我天真地将每个MPI调用作为单独的SLURM作业提交，但由此产生的排队时间使其比在本地串行运行每个作业慢。我现在正在尝试找出一种提交N节点作业的方法，该作业将持续运行MPI任务，以利用可用的资源。matlab进程将使用文本文件标记来管理此作业。
这里有一个伪代码bash文件，它可能有助于说明我试图在较小的规模上做什么：
#!/bin/bash
#SBATCH -t 4:00:00 #
浏览 23提问于2017-06-18得票数 4
我正在向SLURM队列提交多个作业。每个作业使用1个GPU。每个节点有4个GPU。然而，一旦作业开始运行，它就会占用整个节点，留下3个空闲的GPU。有没有办法避免这种情况，这样我就可以向一个节点发送多个作业，每个节点使用一个GPU？
我的脚本如下所示：
#SLURM --gres=gpu:1
#SLURM --ntasks-per-node 1
#SLURM -p ghp-queue
myprog.exe
浏览 2提问于2018-03-21得票数 3
1回答
如果在slurm集群上运行数组作业，如何重新启动失败的工人作业？
在Sun引擎队列中，可以将#$ -r y添加到作业文件中，以指示如果作业失败，应该重新启动作业--此标志的Slurm等效于什么？
浏览 2提问于2018-06-02得票数 1
回答已采纳
1回答
我需要提交一个slurm作业，它需要在具有64个核心节点的集群上有一个可被7除的核心计数。一种解决方案是运行一个7节点/16核心作业，这很好，因为并行化在这7组核心之间运行得非常好(这7个组之间的通信非常少)。
然而，这项工作的调度变得困难，因为7个节点一次很难打开16个核心。是否有以下列配置提交作业的方法？
显式请求2个节点，一个使用64个核，另一个使用48个核。
允许作业将这7个节点作业组合起来，将多个节点分配到一个节点上，这样它就可以简单地找到由16个核心组成的7个组。
我唯一不能允许的是将16个核心组分割成两个节点，因为这将极大地损害性能。
这在slurm 20.11.8上运行
浏览 5提问于2022-02-25得票数 1
回答已采纳
我以为MaxRSS是用来理解SLURM作业的内存需求的；然而，现在我在质疑自己。
我从SLURM收到通知说我的工作失败了。
SLURM Job_id=7347729 Name=job.cph.proband结束，运行时00:01:21，OUT_OF_MEMORY
我使用sacct来检查作业失败的原因；但是，它似乎由于OOM错误而失败。这看起来很奇怪，因为它只尝试使用请求的1.61 Gb的3 Gb (这里显示为2.93 )。
要么我对MaxRSS的理解错了，要么这份工作因为另一个原因而失败了？
浏览 4提问于2020-10-26得票数 4
回答已采纳
1回答
进程的最大超时
、、
我有一个剧本，我想需要几天才能完成。基本上，它在队列未满时提交slurm作业，并且在此过程中可以等待一段时间。
脚本导致不完整的结果，使我认为有一个最大的执行时间。这种默认超时真的存在吗？如果是的话，我怎样才能重置到无限的时间？
浏览 0提问于2018-10-05得票数 0
我正在运行大约400个文件通过SLURM管道与批处理。当我用sbatch ./myscript.sh file_x对一个任务排队时，所有的文件都会排队到同一个节点。
我在S批处理脚本的开头尝试了一个#SBATCH参数的变体，但没有成功。到目前为止，我尝试过的是：
#!/bin/bash
#SBATCH -N 1
#SBATCH -n 60
#SBATCH -o slurm_out/output_%j.txt
#SBATCH -e slurm_error/error_%j.txt
和
#!/bin/bash
#SBATCH -n 60
#SBATCH -o slurm_out/output_%j
浏览 0提问于2019-07-10得票数 2
回答已采纳
假设我有一个具有一个节点和36个CPU核心的集群，但是我希望SLURM管理和分配这些核心中的20个。是否有一种配置SLURM的方法，使其“world”仅由整个CPU的这个子集组成？
注意，这与对特定作业设置限制不同。在上面的示例中，我需要这样一种情况:如果job1请求20个cpus，而job2请求5，SLURM在分配job2之前等待job1完成(而不是立即启动job2，因为总共有36个cpus )。
浏览 13提问于2022-02-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
