创建多头节点hpc集群

文章/答案/技术大牛

发布

1回答

cluster-computing、hpc、torque

我有一个HPC集群，其中几个webapp安装在docker容器中，队列是使用Torque管理的。每个应用程序都将作业提交到HPC集群，通过ssh连接到它，然后运行qsub：ssh user@cluster qsub bla blabla。有用于交换数据的共享文件夹。我对这种设置不太满意，我想知道是否有可能在每个docker上运行一个主节点，并直接在其中使用qsub，而无需进行ssh连接。我更喜欢使用torque，但我对其他解决方案持开放态度。

浏览 18提问于2019-05-06得票数 1

2回答

Windows HPC服务器和Azure

azure、hpc

我读到可以在Azure中使用Windows HPC服务器。它说人们可以在本地的头节点上运行HPC服务器，并使用云上的计算节点。我的问题是，我是否可以在Azure上创建一个头节点，并在Azure上使用计算节点。如果有一些关于如何做到这一点的教程，那将是非常有帮助的。

浏览 0提问于2011-05-01得票数 0

回答已采纳

1回答

作为虚拟机的HPC集群主节点

virtual-machines、cluster、hpc

对于给定的小型HPC集群(~16个节点)，使用主节点作为用户登录和与SLURM交互的前端，而不是作为计算节点。主节点目前是一个裸金属服务器.由于集群太小，所以提出了将主节点迁移到虚拟机而不是裸金属节点的想法，以便有一个额外的计算节点。将主节点作为HPC集群的虚拟机的利弊是什么？

浏览 0提问于2021-02-11得票数 1

1回答

微软HPC集群- AD还是AD？

active-directory、hpc、ad-lds

关于部署HPC集群的说明(例如，TechNet中本页的步骤1.5 )非常清楚，HPC群集节点“必须是Active域的成员”。 Active轻量级目录服务是否提供此功能？也就是说，HPC集群可以将AD用于其域，还是需要完整的AD DS ( domain )角色？

浏览 0提问于2012-09-20得票数 2

回答已采纳

2回答

使用Snakemake处理SLURM指令而无需在登录节点上运行进程

slurm、snakemake

我试图使用Snakemake来处理高性能HPC上RNASeq管道的运行，使用SLURM来调度作业。我读到Snakemake本机支持使用snakemake --cluster在集群上使用SBATCH调度作业，但是这会创建一个CATC-22：如果从登录节点运行snakemake --cluster，则它生成的Snakemake进程将继续在登录节点上运行，直到管道停止运行为止，这会降低登录节点的性能并违反HPC集群的规则。如果从计算节点运

浏览 12提问于2022-08-05得票数 1

1回答

无法将计算节点添加到HPC集群中

azure、hpc

我正在尝试用Azure VM作为头节点和计算节点来设置HPC集群环境。未能与远程SDM存储进行通信。连接失败。

浏览 3提问于2015-02-23得票数 0

1回答

Azure HPC集群AutoGrowShrink未触发

azure、hpc

我在Azure中设置了Azure HPC集群，其中有一个头节点和两个计算节点，运行良好。我能够从Excel提交一份工作，完美地获得结果。现在，我正在尝试自动缩放集群，我已经上传了证书到Azure订阅，并更新了Cert商店和注册中心的头节点，如这里所述。我已经使用PS设置了AutoGrowShrink属性，这似乎也正确地设置了。PS C:\Program Files\Microsoft HPC Pack 2012\Bin> Get-HpcClusterPrope

浏览 4提问于2016-10-05得票数 1

回答已采纳

1回答

如何在HPC集群上创建分布式后缀树

mpi、hpc

我想为4 GB的输入字符串创建一个后缀树。理想情况下，内存中的树大小约为100 GB。我不能在普通的桌面上做到这一点。有没有办法在windows HPC集群上做到这一点？如何将后缀树分布在HPC的不同计算节点上？

浏览 0提问于2011-02-02得票数 2

1回答

使用SLURM的Jenkins按需构建代理

jenkins、hpc、slurm

我可以访问一个使用SLURM调度作业的HPC集群。我想评估让Jenkins向集群提交作业。这不是一个理想的解决方案。每个Jenkins作业都必须编写为使用srun。多个命令的脚本很困难。计算节点没有运行Jenkins代理，因此功能有限。每当作业在队列中时，

浏览 0提问于2021-04-28得票数 1

1回答

如何给予每个人对HPC集群中所有节点的sudo权限

cluster-computing、sudo、hpc、sudoers

我有一个100个节点的CentOS 7.5hpc集群，我希望每个人都可以在所有节点上运行根用户拥有的脚本，/usr/sbin/Drocaches.sh。登录到所有100个节点并执行visudo将是非常痛苦的，并且容易出错。是否可以在head节点上创建/etc/sudoers.d文件，并将其仅发送到集群中授予每个人执行/usr/sbin/Drocaches.sh权限的每个<e

浏览 1提问于2018-11-15得票数 0

回答已采纳

1回答

Windows HPC -头节点是什么？

windows

http://www.microsoft.com/hpc/en/us/product/cluster-computing.aspx 从基本HPC集群的设置来看，头节点是否是服务器，就像服务器刀片的机架？

浏览 0提问于2011-03-14得票数 1

1回答

C# Microsoft -调试问题

c#、debugging、breakpoints、hpc

我有一个问题，运行一个简单的代码(Hello World)在Microsoft HPC上。代码有一个断点。在调试模式下编译代码后，当我通过IScheduler将可执行文件提交到节点(我正在使用的节点)时，它不会命中断点，但是如果我只是直接在节点(我所在的节点)上调试代码，它就会命中断点。当我使用HPC IScheduler时，它显示“当前不会命中断点。没有为该文档加载任何符号。”

浏览 1提问于2013-05-21得票数 0

回答已采纳

1回答

除了management，Windows还有哪些集群管理软件？

windows、cluster、hpc

有没有开放源码的解决方案？也许，更便宜的商业广告？我很惊讶谷歌搜索不会给我带来任何有意义的东西。

浏览 0提问于2010-09-13得票数 1

回答已采纳

1回答

光泽与高性能化配置

storage、cluster、high-performance、lustre

我有一个包含22个节点的HPC集群，一个头节点作为运行岩石群操作系统的主节点(这是基于CentOS的)。现在我们的数据已经达到了极限，我们不能再向主服务器添加磁盘了。我们是否必须将光泽操作系统和MDS连接到同一个网络上，并与高性能计算机节点(10.10.0.0&#

浏览 0提问于2018-01-29得票数 0

1回答

不提供订阅服务

azure、certificate、hpc

我正试图设置一个Windows HPC集群的Azure。THe集群已经正常工作，我可以在本地网络上的机器上启动作业。当我尝试为Azure节点创建节点模板时，我输入我的订阅ID并选择证书(我已经上传到azure了)，并得到错误消息，在此订阅下没有找到任何服务我已经跟踪了关于在head节点、本地机器和蔚蓝中设置证书的所有文档

浏览 0提问于2015-01-27得票数 1

回答已采纳

1回答

makefile中的主机名操作

bash、shell、makefile、gnu-make

在我的makefile中，我有以下条件using ifeq指令ifeq ($(HOST),tier2-p-login-1-hpc) export HDF5_CXX=mpic++endif 我确实在集群的任意节点上执行了命令，其主机名的格式为tier2-p-login-xxx-hpc，其中xxx表示一个特定的节点(例如tie

浏览 0提问于2019-12-08得票数 0

1回答

构建Windows服务器集群hpc

cluster、windows、windows-server-2012-r2、windows-cluster、hpc

我正在尝试设置一个具有head节点和2x计算节点的Windows集群。到目前为止，我已经成功地安装了：(感谢本教程http://msdn.microsoft.com/en-us/library/jj884142.aspx)-2x使用Windows 2012标准R2和HPC 2012 R2的计算节点此外，我通过添加节点向导在

浏览 0提问于2014-08-05得票数 2

1回答

HPC包2016：“传出消息的身份检查失败”错误

windows、wcf、dns、mpi、hpc

Hello溢出社区，当我试图使用Microsoft HPC Pack 2016向本地计算机集群添加节点时，遇到以下错误：无法联系节点‘节点-A08’来执行更改。传出邮件的标识检查失败。如果这是一个合法的远程端点，则可以通过在创建通道代理时将DNS标识‘not-A08’显式指定为EndpointAddress的标识属性来解决此问题。最终，我想编写和测试我自己的MPI程序，同时使用HPC作为集群管理器，但我似乎无法通过设置集群的这一

浏览 3提问于2017-05-18得票数 0

1回答

在弱扩展测试中优先处理小型HPC作业的最佳作业调度器策略是什么？

job-scheduling、openmpi、hpc、intel-mpi

我对在HPC集群上执行弱扩展测试感兴趣。为了达到这个目的，我在1,2,4,8,16,32,64个节点上运行了几个小测试，每次模拟所花费的时间少于1分钟到最长1小时。可以，以及这种作业调度政策在多大程度上会导致HPC资源的滥用。考虑一个假设的在32个节点上进行高性能模拟的例子，它被分成几个小的1小时的模拟，由于上面第1点提供的解决方案？注: HPC中心使用的作业调度和管理系统是MOAB。每个集群节点配备2个Xeon6140个CPU@2.3 GHz (Sk

浏览 4提问于2019-09-25得票数 0

2回答