使用qalter删除SGE作业的资源需求
SGE（Sun Grid Engine）是一种流行的集群调度器，用于管理和调度计算资源。在使用SGE时，如果需要删除已提交的作业的资源需求，可以使用qalter命令。
qalter是SGE的一个命令行工具，用于修改已提交作业的参数和属性。要删除作业的资源需求，可以使用以下命令：
qalter -l h=!resource_name job_id
其中，resource_name是要删除的资源名称，job_id是要修改的作业的标识符。使用"!"表示将资源需求设置为空，即删除该资源需求。
使用qalter删除SGE作业的资源需求具有以下优势：
- 灵活性：通过修改作业的资源需求，可以根据实际需求灵活调整计算资源的使用情况。
- 资源管理：使用SGE可以更好地管理集群中的计算资源，确保作业的执行不会造成资源冲突和浪费。
- 调度效率：通过合理分配和管理资源，可以提高作业的调度效率和整体系统性能。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云弹性容器实例（Elastic Container Instance）：提供便捷的容器化部署和管理服务，支持快速创建、启动和调度容器实例，满足高效部署和弹性伸缩的需求。详情请参考：https://cloud.tencent.com/product/ece
- 腾讯云弹性伸缩组（Auto Scaling）：帮助用户根据实际负载情况自动调整计算资源的扩展和收缩，提供高可用和高效的应用部署和运维。详情请参考：https://cloud.tencent.com/product/as
以上是关于使用qalter删除SGE作业的资源需求的完善且全面的答案，希望能对您有所帮助。
相关·内容
我试图恢复/重新提交滞留作业(运行在SGE调度程序上)，原因是节点崩溃，或者说AWS spot实例被删除？有人能帮忙恢复这样的工作吗？我一直试图理解qsub的用法，但无法配置一些将自动重新提交此类作业的内容。
也无法使用qconf命令配置队列，因为只有root & sge_admin用户可以运行该命令，我确实有root-privileges，但要求我设置SGE_ROOT环境变量，但仍然抛出错误来设置变量。
任何形式的援助都将不胜感激。
浏览 3提问于2020-11-09得票数 1
回答已采纳
2回答
高低优先级队列
、、
我希望在CPU/GPU集群中有两个队列，一个具有高优先级，一个具有低优先级。因此，在高优先级队列中提交的作业将与等待作业一起跳到列表的首位。这怎么可能在SGE？
浏览 0提问于2014-05-02得票数 0
回答已采纳
我在一个有8个核心的Ubuntu10.10服务器上安装了Sun引擎(Version6.2u5)。为了能够预留多个插槽，我有这样一个并行环境(PE)：
pe_name serial
slots 999
user_lists NONE
xuser_lists NONE
start_proc_args /bin/true
stop_proc_args /bin/true
allocation_rule $pe_slots
control_slaves FALSE
job_is_first_tas
浏览 0提问于2011-07-05得票数 0
在我们的集群中，我可以使用sge当前配置的所有插槽。我不想在每次提交时偶然/检查过度使用我的特权。
有没有办法严格限制我的工作所能使用的职位数量？
我没有经理的权利，所以我不能像"如何在SGE上设置每个用户运行作业的最大数量？“这个问题那样做，尽管这正是我想要的。
浏览 0提问于2013-04-15得票数 0
1回答
我在一个包含四个节点的集群中为源代码构建了SGE。Centos7中的操作系统。当我在集群中提交一些简单的任务时，我发现只有一个任务在一个节点上运行。有什么问题吗？以下是我的任务代码：
sleep 60
echo "done"
这是我提交任务的命令：
DIR=`pwd`
option=""
for((i=0;i<5;i++));do
qsub -q multislots $option -V -cwd -o stdout -e stderr -S /bin/bash $DIR/test.sh
sleep 1
done
当运行qstat -f时，它显示
浏览 0提问于2017-04-11得票数 0
我有一个火花独立集群，没有安装其他作业调度程序。我想知道spark-submit是否可以用作火花作业和非火花作业的作业调度程序(例如，不是为spark编写的scala，也不是不使用RDD的)？
根据我的测试，spark-submit被用来提交非火花作业并成功地运行作业.但以下是我的问题：
下面的选项仍然有意义吗？--driver-cores --driver-memory --executor-memory --total-executor-cores
如果为1，是否意味着spark-submit可以使用FIFO维护火花作业和非火花作业的队列，但它不管理非火花作业的资源？
如果2为
浏览 3提问于2017-09-14得票数 0
回答已采纳
由于我在一个受FreeNX试图让阴影开始工作伤害的世界里，我偶然发现了一个简短的描述，描述了通过SGE作业启动vnc会话(我们的防火墙规则需要ssh隧道，所以我不太担心VNC本身的安全含义)。
我的问题是:是否可以设置空闲的过期时间(或者可能是简单的硬计时器Ex )。( 24小时)由提交的VNC SGE作业创建的新会话？
我也不确定在特定节点上启动VNC会话的正确SGE脚本语法是什么。
(参考墙壁过期计时器)
浏览 0提问于2012-05-03得票数 0
回答已采纳
我正在使用Sungrid6.2u5，我试图在4台主机上提交一些作业，我需要使用所有4台主机运行50个作业，但我想通知SGE，我希望在任何时候在第4台主机上只运行5个作业，我怎么做呢？
我是SunGrid.Could的新手，请给我介绍一下SGE的基本知识，我的意思是我从哪里开始呢？我在网上发现了这个
初学者太阳网格引擎6.2指南丹尼尔邓普顿
但显然这是为了系统管理员，我只是一个普通的用户，谁试图了解SGE的功能。
谢谢,
浏览 1提问于2016-03-06得票数 1
回答已采纳
我在Sun Grid引擎队列中有一堆等待处理的作业，但我刚刚提交了一个要优先处理的新作业。(最左列中的新工单是163981。)是否可以运行命令来要求服务器处理下一个163981作业，而不是140522作业数组中的下一个作业？如果其他人能在这个问题上提供任何建议，我将不胜感激。
浏览 0提问于2014-10-13得票数 2
如何在SGE中请求节点数(而不是procs)，同时提交作业？
例如，在TORQUE中，我们可以指定qsub -l nodes=3How请求节点的名称？
例如，在TORQUE中，我们可以通过qsub -l nodes=abc+xyz+pqr实现这一点，其中abc、xyz和pqr是主机名
对于单个主机名，qsub -l hostname=abc可以工作。但是如何在SGE?中分隔多个主机名？
浏览 1提问于2012-06-22得票数 12
回答已采纳
我是SGE的新手，当我尝试运行作业时，我遇到了这个错误：
“系统错误消息:无法运行作业:作业被拒绝:正提交优先级需要操作员特权。”
我添加了几个用户，创建了一个访问列表(用户)并将它们添加到其中，然后在我的主队列中设置user_lists = users。
用户是否也需要添加到操作符列表中？为什么会这样呢？
浏览 4提问于2015-06-04得票数 1
回答已采纳
地球问候，
dask能否取代资源管理系统(如SGE )作为调度程序？
我注意到dask可以使用SGE，但从长远来看，我真正想要的是用我可以从conda安装的东西替换SGE，看看dask文档，尝试一下似乎很有趣。SGE不再在较新的linux系统上轻松安装，因此如果dask可以在简单的anaconda安装之后使用，它可能会更好，特别是因为它运行在windows上。
然而，看一看文档，我仍然不清楚dask是否能做以下工作：
替换qsub命令
管理限制每台机器的进程数。
允许作业之间的依赖关系--在启动新批之前，我需要等待一批作业完成。
我查看了这个文档页面，它表明dask不适合我
浏览 1提问于2018-01-16得票数 1
回答已采纳
我想让您知道是否可以(如果是的话)调整下面的bash文件。
我有一个主Matlab脚本main.m，它反过来调用另一个Matlab脚本f.m。
应该使用不同的输入多次执行f.m。
我将其构造为数组作业。
我通常使用名为td.sh的bash文件将数组作业执行到我校的HPC中
#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y
#Run 237 tasks where each task has a different $SGE_TASK_ID ranging from 1 to 23
浏览 1提问于2018-12-05得票数 0
回答已采纳
1回答
我使用星团启动了几个EC2实例，并在每个节点上运行相同的管道。
我使用qsub提交作业，而不指定节点。为什么星团/SGE将作业分配给已经占用的节点而不是空节点？
这些节点可以相互借用线程和RAM吗？
有人能分享一些关于这些的想法吗？
浏览 6提问于2017-06-28得票数 0
2回答
我是新的蛇形和使用集群，所以我会感谢任何帮助！
我有一个在服务器上正常工作的snakefile，但是当我试图在集群上运行它时，我没有找到提交作业并让它执行的适当命令。就像其他用户发现的那样，它是“停滞”的。
我在SGE集群上运行它，其中只有一个节点( head节点)，我们通过该节点提交作业。我们不能以交互方式运行作业，也不能在head节点上运行密集命令。通常，我会运行bwa命令，如下所示：
qsub -V -b y 'bwa mem -t 20 /reference/hg38.fa in/R_1.fastq in/R_2.fastq |samtools view -S -bh -@ 7
浏览 11提问于2017-05-16得票数 1
回答已采纳
根据SGE 5.3手册，
插槽-可以在该队列中并发执行的作业数。
我对这些概念很陌生，我想从一个接一个的理解开始。
假设RAM是10G，如果有10个插槽，因此每个插槽有1G，那么只能运行小于1G的作业吗？如果工作只需要0.5G，那么剩下的0.5G就浪费在这个位置上了，对吧？如果是的话，网格的用途是什么?如果资源没有优化的话？
如果一个2G的作业在多个插槽中共享，这是一个并行作业还是一个正常作业？
在SGE v5.3和v6.0及以上版本中，队列和时隙概念有什么区别吗？
浏览 0提问于2015-06-02得票数 2
回答已采纳
1回答
从SGE节点的系统管理角度来看，是否可以强制用户通过qsub来运行长时间运行的程序，而不是独立运行？
问题是同一台机器既是控制节点又是计算节点。所以，我不能区分一个长时间运行的程序和一个用"gcc“编译的用户。理想情况下，我希望强制用户通过qsub提交长时间运行的作业(例如，超过一个小时)。我甚至不介意有点刻薄，甚至不介意杀死运行超过一个小时但不是通过qsub提交的作业。
到目前为止，我所能做的就是发送电子邮件，要求用户“请使用qsub！”……
我查看了SGE配置，似乎没有任何相关内容。但也许我刚刚错过了something...any帮助将不胜感激！谢谢!
浏览 0提问于2012-07-17得票数 0
我使用apt在我的ubuntu16.04服务器上安装了sge。然而，当我使用qsub提交作业时，qstat -j "*"只能显示错误作业和正在运行的作业信息。sge是否有一些命令或选项来显示所有作业信息(包括成功完成的作业)
浏览 6提问于2018-12-12得票数 0
2回答
我们有一组机器，每台都有4个GPU。每个作业应该能够要求1-4个GPU。这里有一个问题:我想让SGE告诉每个工作，它应该采取的GPU(s)。与CPU不同的是，如果一次只有一个进程访问GPU，则GPU的工作效果最好。所以我想：
Job #1 GPU: 0, 1, 3
Job #2 GPU: 2
Job #4 wait until 1-4 GPUs are avaliable
我遇到的问题是，SGE将允许我在每个节点上创建一个包含4个单元的GPU资源，但是它不会显式地告诉GPU要使用的作业(只会得到1或3，或者其他什么)。
我想要创建4资源(gpu0, gpu1, gpu2, gpu3)，但
浏览 6提问于2012-05-11得票数 4
回答已采纳
在阅读了qstat和sge_qstat手册之后，我仍然不知道我可以使用什么方法来以编程方式解析我的SGE6.1系统中的默认队列的名称:这就是说，如果我执行qsub命令，将提交作业的队列的名称。
我有一个空文件在：
~/.sge_qstat # actually the file doesn't exist
并且此文件仅包含'-u *'：
$SGE_ROOT/$SGE_CELL/common/sge_qstat
我希望有一个方法，能够以编程方式获得队列的名称，其中作业将在默认情况下提交。与此LSF命令中grep后面的名称等效的内容：
lsid 2>/dev/n
浏览 0提问于2013-04-09得票数 0
回答已采纳
因此，我在SGE队列中有挂起的作业。作业正在使用参数运行 -l h_rt=1200,h_vmem=16g 我知道我可以使用qalter来更改参数。 qalter -l h_rt=1300 jid 但是如何删除这些参数呢？
浏览 14提问于2019-06-05得票数 1
1回答
我要用“sge”运行一百万批作业。
大约10,000个作业被很好地执行，但是在执行一个小时之后，它们停止运行。
经过大约一个小时的运行，这一过程会减慢，并最终停止。
检查错误消息不会确认任何错误。
我只能查看下面的信息。
“所有队列都会因为超载或满载而下降”
如何设置布局以正常运行？
有一个主服务器，四个客户端和文件共享使用nfs和每个系统运行在码头和码头旋流。
作业执行速度减慢时执行qstat
$qstat -j
queue instance "peteris.q@sge00" dropped because it is full
queue instance "pe
浏览 3提问于2018-05-27得票数 1
有没有人有在网格引擎/ Sun网格引擎/网格引擎的儿子上运行Docker并能够的经验？问题是，当I qsub docker run ...时，容器中的实际进程是由docker守护进程而不是docker客户端运行的，这意味着进程树是不同的。
SGE有没有办法跟踪不同树中进程的资源(我假设没有)？
另一种选择是qsub一个脚本，该脚本首先启动docker守护进程，然后运行所需的docker run命令，以便所有进程都位于SGE启动的同一进程树中。这将要求sge具有启动守护程序的权限(root访问权限)，并且还可能导致主机上运行多个docker守护程序。
备用进程树的另一个问题是，如果提交的作业指定
浏览 1提问于2016-02-10得票数 3
4回答
使用一个非常简单的zsh脚本：
#!/bin/zsh
nums=(1 2 3)
num=$nums[$SGE_TASK_ID]
$SGE_TASK_ID是太阳网格引擎的任务id。我正在使用qsub提交一组作业。
我正在遵循qsub手册页()中的建议，并将我的阵列作业提交为
#script name: job_script.sh
qsub job_script.sh -t 1-3
没有为此阵列作业设置$SGE_TASK_ID ...有谁知道为什么吗？
谢谢!
浏览 6提问于2013-05-10得票数 2
回答已采纳
2回答
我目前在一个SGE集群上工作，并且有提交许多作业的代码，这些作业是用python编写的，并且是并行的。 代码末尾的输出是一组包含数字数据的文件。每个python作业执行一些计算，然后依次输出到每个文件。为了输出到文件，我的代码读取文件中的数据，将它计算出的内容添加到数据中，然后输出回文件。 我的问题是这样的；因为所有的作业都是并行运行的，并且所有的作业都为每个输出文件做贡献；我的作业彼此冲突。我经常收到关于不兼容文件大小之类的错误。我认为原因是有时两个作业会在大约相同的时间尝试读取文件，并发生冲突。 我的问题是:当并行运行(可能有多个)多个作业，每个作业都多次贡献同一个文件时，有没有一种好的
浏览 51提问于2020-04-15得票数 0
回答已采纳
1回答
我想从一个文件夹中获取一些模型，并将它们用于数组作业的sge脚本中。因此，我在SGE脚本中做了以下操作：
MODELS=/home/sahil/Codes/bistable/models
numModels=(`ls $MODELS|wc -l`)
echo $numModels
#$ -S /bin/bash
#$ -cwd
#$ -V
#$ -t 1-$[numModels] # Running array job over all files in the models directory.
model=(`ls $MODELS`)
echo "Starting ${mo
浏览 1提问于2014-09-12得票数 2
回答已采纳
我发现我的SGE作业中的任何bash错误都会导致整个作业停止，并进入错误状态。我理解这一点的重要性，但在某些情况下，糟糕的编程可能会导致bash错误，我希望忽略这些错误并继续运行SGE作业的其余部分。
当bash错误发生时，qsub/SGE有没有可能不将作业置于错误状态？
浏览 2提问于2016-04-11得票数 0
2回答
我在SGE上提交一个带有参数-l的作业，如下所示：
qsub -pe orte 4 -l nodes=4 run.sh
但是，系统会显示：
Unable to run job: unknown resource "nodes".
你能告诉我为什么和如何解决它吗？非常感谢!
浏览 1提问于2015-01-03得票数 0
我有一段python代码，它在一台装有multiprocessing.Pool的机器上运行，用于许多独立的作业。我想知道是否有可能在SGE网格上使其更加并行，例如，网格的每个节点为这些独立的作业运行多个线程。
最初，我有：
# function def
# some_function(param1, param2, param3, process_index)
func = functools.partial(some_function, file_list, param1, param2, param3)
pool = multiprocessing.Pool(processes=s
浏览 1提问于2017-03-30得票数 3
我想使用SGE调度程序qsub选项向cfncluster中的单个节点独占提交作业。有谁知道在cfncluster中为作业保留或使用完整实例的正确方法。
qsub -l hostname=node@123 script.sh
但我不想指定主机名，因为我们不知道节点的主机名，因为它还没有启动。是否有指定节点数或cores.Thanks的选项。
浏览 3提问于2016-07-28得票数 1
这可能是一个重复或太天真的问题，但我找不到合适的关键字搜索谷歌。我正在从一些使用SGE和SLURM的作业示例bash脚本中学习，我无法完全理解背后的逻辑。在SGE的剧本里，我们有
#$ -cwd # Current working directory
#$ -N JobTest1 # Name of submitted job
对于SLURM，我们有
#SBATCH --job-name=JobTest1
#SBATCH --output=TestOutput.log
我了解到，如果您的qsub或S批处理脚本，#$或#SBATCH后面的内容将作为参数传递给命令
浏览 5提问于2022-05-17得票数 1
回答已采纳
1回答
网格引擎之子-版本SGE 8.1.9，CentOS 7。 我们希望实现具有作业调度优先级队列，因此高优先级队列的作业总是被调度在任何其他低优先级队列之前。说明:3个队列: High.q，Medium.q和Low.q当作业排队时，一旦资源可用，High.q中的作业需要优先执行，即使它们是稍后提交的。仅当没有High.q作业挂起时，Medium.q作业才能执行。对于排在Low.q之前的Medium.q作业也是如此。 我们尝试在每个队列中进行如下设置:对于高.q: seq_no 0优先级0对于Medium.q: seq_no 1优先级5对于低.q: seq_no 2优先级10 我们的集群设置为:
浏览 48提问于2019-05-30得票数 0
我正在使用提交和监控作业到SGE (太阳网格引擎)。我在GUI中有以下状态
队列中活动的作业
运行作业
已完成的工作
失败的乔布斯
状态未定
有时我找不到地位未定的工作。当我在SGE主机的终端上使用qstat检查作业状态时，我可以看到所有作业都在运行，而没有一个作业失败。状态未确定通常会误导用户，因为用户可能会认为状态未定的作业存在某种问题。
因此，我知道问题不在于SGE，而在于drmaa库。
有人知道为什么drmaa不能确定状态吗？
浏览 1提问于2013-01-10得票数 1
我正在尝试使用get sun gridending (sge)在集群的所有节点上运行MPI作业的单独进程。
实际情况是，每个节点都有12个处理器，因此SGE将我60个进程中的12个分配给5个单独的节点。
我希望它为30个可用节点中的每个节点分配2个进程，因为在每个节点上运行12个进程(dna序列比对)时，这些节点将耗尽内存。
所以我想知道是否有可能显式地让SGE将进程分配给给定的节点？
谢谢,
保罗。
浏览 0提问于2010-07-29得票数 3
2回答
当我向SGE提交一个包含qsub的作业时，该作业的外壳程序将不会读取.bashrc。是否存在类似于.bashrc的文件，该文件将由以qsub启动的所有作业的外壳程序读取
我知道有一个.sge_request文件，但它只包含qsub的默认选项，而不是像.bashrc这样的命令列表。我想要的是为我的工作设置一些环境变量，比如$PATH和$LD_LIBRARY_PATH。我不认为我能用.sge_request做到这一点，但如果我能做到，那也能解决我的问题。
浏览 12提问于2015-05-20得票数 1
在提交一个简单的交互式作业以打开shell时，我得到了以下错误：qrsh -V -cwd -verbose -q nsnel6.q -l h_vmem=12.000G tcsh
local configuration arslox51 not defined - using global configuration
Your job 8450878 ("tcsh") has been submitted
waiting for interactive job to be scheduled ...timeout (5 s) expired while waiting on so
浏览 0提问于2015-06-11得票数 0
回答已采纳
1回答
我想发送一个作业数组，但仍然不了解整个过程(我是新手)。在网站上，我找到了这个：
#!/bin/bash
#$ -S /bin/bash
#$ -cwd
#$ -V
# The 'myprog' below is serial hence no '-pe' option needed
#$ -t 1-1000
# ...tell SGE that this is an array job, with "tasks" numbered from 1
# to 1000...
./myprog < data.$SGE_TASK_ID
浏览 1提问于2015-04-27得票数 0
我正在编写一些代码来向作业调度程序提交多个作业。
守则：
def submit_copasi_job_SGE(self,run_script_name,copasi_file,new_report_name):
CT=Cluster_Tools() #initialize a custom class
CT.change_scan_report_name(copasi_file,new_report_name) # use a custom function
with open(run_script_name+'.sh','w') as
浏览 4提问于2015-08-11得票数 0
回答已采纳
1回答
我已经写了一个多线程的java代码，它在运行时会创建8个线程，并且计算会在这些线程上继续。我想将此作业提交到SGE集群，但我不确定应该选择哪个并行环境(pe)？或者我应该创建一个？我是SGE的新手。简单的方法是在串行模式下运行它，但效率很低。
关于创建pe，需要在哪里创建？SGE守护进程是否也需要此pe？当我提交一个随机名称为pe的作业时，我得到了
job rejected: the requested parallel environment "openmpi" does not exist
浏览 2提问于2012-06-22得票数 1
回答已采纳
我们在运行在CentOS奴隶上的SGE上构建我们的软件，它运行得很好。我的问题是如何告诉SGE，一项工作通过启动几个进程在给定的从属程序上占据多个核心？
解释：
该过程涉及到培训模型，这需要对(相对)大数据文件进行大量连续的小更改，任务数量超过10k。我们使用的大多数工具都支持从stdin/out中读取和写入。这将允许我们将数据从一个工具传输到下一个工具(测试表明这也会很好)。
问题是，当作业启动由管道连接的两个或多个进程时，从进程将超载。为了避免这种情况，我如何告诉SGE进程的数量？这仅仅是SGE和节点正常工作所需要的，而不是任何形式的会计。
示例：
两个计算节点，NodeA和NodeB，每
浏览 0提问于2018-10-09得票数 0
回答已采纳
当我在Sun Grid Engine上启动阵列作业时，我如何才能稍后获得所有作业所用时间的信息？也就是说，我想知道从我提交jub的那一刻到最后一个任务完成的那一刻花了多长时间。(我不想知道所有作业总共消耗了多少CPU时间。)
我是这样提交的：
qsub -e GE_errors/ -o GE_out/ SGE_execute
我的SGE-execute脚本如下所示：
#!/bin/sh
#$ -t 1-100
~/bin/intersectBed -c -s -a infile_$SGE_TASK_ID -b template.bed > outfile_$SGE_TASK_ID
感谢您
浏览 3提问于2011-04-20得票数 0
回答已采纳
我的用例是，我有一条独立的独立程序管道，我希望对以前管道阶段输出的特定数据按一定顺序执行。
管道完全是线性的，在管道的交替路径方面不做任何事情。
我目前正在使用SGE来完成这个任务，它工作正常，但是偶尔一个作业会越出它的内存界限，失败，并且所有需要输出数据的作业都会失败。在这种情况下，管道需要重新启动，而在akka中提供容错功能的东西似乎可以为我解决这个问题吗？
浏览 0提问于2012-11-15得票数 7
3回答
SELECT sge_job.j_owner AS "Owner"
,SUM(sge_job_usage.ju_cpu) AS "CPU Total"
FROM sge_job_usage, sge_job
GROUP BY j_owner;
这是我当前的sql查询，它只是简单地读取CPU%和作业所有者，但是如果它在当前日期之间，例如14天(2周)之前，我在合并上面的sum时遇到了问题。
在sge_job_usage表中同时属于以下两种类型：
ju_start_time，ju_end_time
谁能告诉我如何让它检查它是否在当前日期之间- 14天前
浏览 1提问于2012-03-07得票数 7
回答已采纳
1回答
我正在向Sun Grid Engine提交一个作业(脚本)。该作业是一个python程序。它可能需要几个小时才能运行，但它会定期写入stdout和stderr以通知我它的状态(比如完成了多少次迭代，等等)。问题是SGE正在缓冲输出，并且只在最后写入文件，这意味着我不能在屏幕上看到输出，也不能实时尾随文件。我只能在作业完成后才能知道状态。有没有办法通过配置SGE (qsub等)来解决这个问题？
浏览 4提问于2014-10-31得票数 3
1回答
TL;DR:在调度作业时，是否有办法使SGE在服务器之间循环运行，而不是尽可能地将所有作业分配给同一台服务器？
详细信息：
我有一个大型的计算过程，它由许多较小的作业组成。我使用SGE在集群中的多个服务器上分发工作。
这个过程需要不同时间点的不同数量的任务(从技术上讲，它是一个任务的DAG )。有时并行作业的数量非常大(集群中的每个CPU约为1)，有时则要小得多(每台服务器1)。DAG是动态的，而且不统一，因此在任何给定的点上都不容易判断有多少并行作业。
作业使用了大量的CPU，但也做了大量的IO (特别是在作业启动和关闭时)。它们访问连接到所有计算服务器的共享NFS服务器。每个计算服务器都有
浏览 0提问于2019-03-10得票数 2
是否有方法列出使用qstat或其他SGE命令执行Sun Grid引擎作业的节点？
我必须使用python脚本获取这些信息。我已经知道了如何从python执行SGE命令，但我没有找到列出特定作业的执行节点的解决方案。我试着用
qstat -s z -f -F
但是执行作业的主机的名称没有出现在这个列表中。有人能帮我吗？
浏览 3提问于2014-03-31得票数 15
回答已采纳
当qsub在StarCluster / SGE集群上执行作业时，是否有一种简单的方法可以确保每个节点一次最多只接收一个作业？我遇到问题，多个作业在同一个节点上结束，导致内存不足(OOM)问题。
我试过使用-l cpu=8，但我认为这并不是检查使用过的核的数量，而是检查框本身上的核数。
我也尝试过-l slots=8，但之后我得到了：
Unable to run job: "job" denied: use parallel environments instead of requesting slots explicitly.
浏览 2提问于2014-09-04得票数 4
回答已采纳
提交SGE上的作业以在完全节点上运行的问题以前在这个论坛上讨论过。已经提出了几种解决方案，其中之一是配置SGE以允许使用选项-l excl=TRUE，另一种解决方案是要求SGE提供硬内存或加载限制。
我正在使用我大学的集群作为我的硕士论文，并行环境openmpi配置了填充策略。通常，集群的节点每个包含16个或20个核，问题是一些用户不是用16 (或20个)的多个核启动计算，而是使用任意数量的核启动他们的作业。因此，当我使用-pe openmpi 16启动作业时，有时SGE会在3个节点(例如6+1+ 10)上保留处理器，这使得计算非常慢。
我要求管理员将集群配置为允许-l excl=TRUE，但
浏览 0提问于2018-03-15得票数 -1
回答已采纳
我试图让SGE基于qsub的作业共享参数并发运行作业数组任务，但它似乎不像预期的那样工作。是否有一种基于共享的并发任务执行的方法？
我有一个脚本来模拟长期运行的任务，并将它作为不同的作业数组提交给一个小型SGE集群(26个插槽)，如下所示：
qsub -t 1-201 -js 100 sge_longRunning.sh
qsub -t 1-202 -js 101 sge_longRunning.sh
qsub -t 1-203 -js 102 sge_longRunning.sh
我希望随着时间的推移，这些任务在集群中的分布几乎是相等的，但我得到的是，最后一个提交的数组完全执行(所有203个
浏览 0提问于2019-04-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
