我很好奇是否有一种方法可以设置Slurm分区，这样调度程序就可以查询可用的分区，并根据请求的资源量分配给一个分区，例如。假设我有几个队列： small_cpu = node1,2,3 <- assigned when requesting <= 10 coresfail/backfill = nodes10,11,12 <- assigned when th
浏览 41提问于2019-03-08得票数 1
回答已采纳
我正在开发一个新的mesos-slurm框架，其中来自外部的作业也可以被推送到slurm队列中。
更新，以更好地解释问题：mesos代理在HPC中编排作业的同一台计算机上安装了slurm。这个Slurm既可以从mesos执行器接收作业，也可以从其他方法接收作业(例如，第三方用户通过ssh将作业直接发送给slurm )。因此，我希望代理在向mesos发送报价之前能够知道slurm队列
浏览 3提问于2017-02-01得票数 2
场景:我们有两个Ubuntu服务器，每个服务器都有一个用户。用户帐户有一些绑定到主机IP地址和特定端口的特定软件(我们不能更改端口号，因为它是一个标准)。我想知道处理这种情况的最好方法是什么？我们可以有多个用户，但这仍然不能解决端口正在使用的问题。当我们登录时，如果有一种方法来判断是否有人在使用这台机器，那就太好了。
任何想法都很感谢，谢谢！
浏览 0提问于2023-02-18得票数 0
在mpirun和srun之间，我正在考虑哪个进程启动程序在优化资源方面更好。假设集群中的一个计算节点总共有16个核心，我有一个作业，我想使用10个进程来运行。如果我使用启动它，它是否能够检测到我的请求的核心数量少于每个节点中可用的核数，并且将自动从单个节点分配所有10个核？我认为在一个节点上运行所有进程可以减少通信时间。在上面的示例中，让我们进一步假设每个节点都有2个CPU，并且每个节点的核心分布是相等的，因此8个核心/CPU和规范规定每个节点有48 GB内存
浏览 5提问于2020-10-28得票数 0
我想开始为--multirun特性使用hydra配置，并使用SLURM将所有作业排入队列。我知道有Submitid插件。但我不确定，整个管道如何与Horovod合作。假设我想使用hydra -multirun来运行几个多gpu实验，我想使用slurm来排队运行，因为我的资源是有限的，并且大部分时间都是按顺序运行的，我想使用Horovod来同步我的网络的梯度。这个设置会开箱即用吗？如果slurm负责资源，我需要指定CUDA_VISIBLE_DEVICES吗？我需要如何调整
浏览 50提问于2020-09-28得票数 0
回答已采纳
我正在配置Slurm调度程序，我需要限制分区(队列)上并发运行的最大作业数。也就是说，我有两个分区，短的和长的，具有相同的计算节点，但是有不同的时间限制和优先级。
浏览 0提问于2014-07-11得票数 1
1回答
我试图在Slurm19.05集群中设置一个抢占，但我不知道如何使抢占工作像我计划的那样工作。 normal 0以下是我的优先购买配置中的相关设置OverSubscribe=FORCE:1 State=UP Nodes=compute01,compute02
我的计划是允许premium作业抢占normal作
浏览 2提问于2019-08-29得票数 2
1回答
我在使用Slurm数组时遇到了一些问题，因为它们占用的CPU是请求的两倍。我们有一个具有60个可用于Slurm队列的核心的节点，当我启动一个具有24个cpus的玩具阵列示例时，sinfo告诉我们它们正被48个cpus使用。: " $SLURM_ARRAY_TASK_ID
奇怪的是，当我用squeue -o "%.15i %.25j %.8u %.2t %.9P %C %.6D %R %.10M %e%l"检查每个用户占用的内核时，<em
浏览 1提问于2021-04-22得票数 0
当我将by SBATCH作业提交给HPC时，我相信slurm基于资源分配节点，在我的示例中，主机总是在Node 0上产生，它被设置为按字母顺序排列的node/machine名称中的第一个。如果在我的nodefile中分配资源slurm，是否有任何方法手动设置主机节点？
我可以用-mincpus来修复这个问题，但是我只需要超过一个cpu就可以了。其他增加--mem-per-cpu或仅增加--
浏览 2提问于2019-10-09得票数 0
我在单个节点(控制和计算)上使用Slurm，似乎无法正确限制内存。该脚本似乎使用小内存值(3G)调用SBATCH，但我看到顶部的值超过25G。Sacct给了我正确的值： squeue -o "%C %m"2 3G 这是我的slurm.conf： ###JobFileAppend=0#JobSubmitPlugins=1#La
浏览 395提问于2020-11-05得票数 1
回答已采纳
背景：我必须将我的Snakemake管道从一个节点的使用调整到一个具有资源管理的集群。使用特定于SLURM的Snakemake配置文件，我的规则成功地作为SLURM作业提交，因此我继续将Snakemake指令resources添加到每个非本地规则中，以优化队列调度。这些设置都采用了，我的管道也按预期完成了。我想，每个组应该只有一个resource设置，但是我找不到它背后的逻辑上的在线资源。
问题：如何在组作业中定义不同的资源<
浏览 5提问于2021-11-12得票数 0
回答已采纳
我已经将这个大文件拆分为29个可管理的片段，以便在SLURM上作为数组运行。然而，它们在工作负载队列中已经存在很长时间了，而如果我可以请求整个节点(32个cpus)，它们将进入一个单独的队列，具有更快的可用性。有没有办法告诉SLURM在节点中的所有cpus上并行运行这些片段上的命令，而不是作为串行数组？
浏览 0提问于2018-07-17得票数 0
我在S批处理脚本的开头尝试了一个#SBATCH参数的变体，但没有成功。到目前为止，我尝试过的是：#SBATCH -N 1#SBATCH -o slurm_out/output_%j.txt#SBATCH -o slurm_out/output_%j.txt
#SBATCH -e slurm_error&
浏览 0提问于2019-07-10得票数 2
回答已采纳
1回答
我在slurm中运行了一组并行作业(大约1000)，每个任务都必须分配给一个CPU。每个Slurm作业可以包含多个作业步骤，而Slurm中用于管理作业步骤的开销要比单个作业低得多。
作业数组是管理具有相同资源需求的批处理作业集合的有效机制。大多数Slurm命令可以作为单个元素(任务)或单个实体(例如，在单个命令中删除整个作业数组)来管理作业数组。不过，我的问题是，我不想为其他人阻塞资源；如果我使用1000个srun调
浏览 4提问于2019-07-25得票数 4
回答已采纳
最近，我一直在尝试用Dask在一个使用SLURM调度器的HPC集群上做一些机器学习工作。重要的是，在这个集群上，SLURM被配置为每个作业24小时的硬墙时间限制。我试图增加工作进程的数量(因此，也增加了请求节点的数量)，但工作进程被困在SLURM队列中(原因是这种队列被标记为“优先级”)。考虑到问题可能是我请求了太多的SLURM作业，我尝试将工人压缩到一个单一的、多节点作业using a worka
浏览 62提问于2021-09-13得票数 0
回答已采纳
我正在尝试弄清楚如何配置SLURM，以便用户在使用SLURM命令(salloc、sbatch、srun)时需要指定--account。实际上，我想禁用默认帐户行为。
浏览 0提问于2014-09-05得票数 1
我正在管理一个PBS/torque HPC集群，现在我正在使用斯隆设置另一个集群。在PBS集群中，我可以设置一个队列，使其只接受qmgr -c "set queue interactive_q disallowed_types = batch"的交互式作业，而只接受qmgr -c "但是，在浏览正式的SLURM文档后，我无法找到与SLURM相对应的设置。
如何将SLURM集群上
浏览 0提问于2022-01-21得票数 2
回答已采纳
我有一个slurm的用例，我想知道是否有办法处理它。I想运行几个作业(比如60个作业)。每个作业需要几个小时，例如3h/作业。在slurm管理的集群中，使用一个队列，每个节点有4个gpu(因此我可以将批处理脚本限制为一个节点)。每个作业需要1个gpu。<code>G 211</code>想要的解决方案：通过只使用2个gpus
浏览 2提问于2022-06-24得票数 0
2回答
我在HPC环境中工作，并使用SLURM将我的作业提交到队列中。我正在编写自己的内存缓存机制，因此我想知道每个节点有多少内存可用，以便我可以扩展或重用空间。
有没有办法知道有多少内存可用。SLURM是否设置了任何环境变量。
浏览 6提问于2018-03-23得票数 1
1回答
大家好，所以我试图设置一个新的hpc集群，我创建了一个帐户，添加了一个用户，并使用一个分区添加了im，但是当我运行一个作业时，它会给我一个错误，即请求节点配置不可用，我检查了我的slurm.conf，但是在我看来##
#SlurmdUser=root#JobCredentialPrivateKey=
#Job
浏览 9提问于2022-07-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
