如何使用带循环的另一个作业提交连续的bash作业
使用带循环的另一个作业提交连续的bash作业可以通过以下步骤实现：
- 创建一个bash脚本文件，例如
job.sh，并在其中编写需要循环执行的命令或任务。 - 在脚本中使用循环结构，例如
for循环或while循环，来实现连续执行任务的功能。根据具体需求，可以设置循环的次数、条件或其他参数。 - 在循环内部，可以调用其他命令、执行其他任务，实现更复杂的操作。
- 保存并关闭脚本文件。
- 打开终端或命令行界面，进入脚本文件所在的目录。
- 运行脚本文件，使用以下命令：
- 运行脚本文件，使用以下命令：
- 这将启动脚本并开始执行其中的循环任务。
- 根据循环的次数或条件，脚本将连续执行任务，直到循环结束。
需要注意的是，循环任务的执行时间和频率取决于脚本中的具体命令和循环设置。可以根据实际需求进行调整。
腾讯云提供了多种云计算产品和服务，可以帮助用户在云上运行和管理各种应用程序。其中，适用于循环任务的产品包括：
- 云服务器（Elastic Compute Cloud，简称CVM）：提供可扩展的虚拟服务器，可以在云上运行各种应用程序和任务。详情请参考：云服务器产品介绍
- 云函数（Serverless Cloud Function，简称SCF）：无需管理服务器的事件驱动计算服务，可以按需执行代码逻辑。详情请参考：云函数产品介绍
- 批量计算（Batch Compute，简称Batch）：用于大规模并行计算的高性能计算服务，可用于批量处理任务。详情请参考：批量计算产品介绍
以上是腾讯云提供的一些适用于循环任务的产品，具体选择可以根据实际需求和预算进行决策。
相关·内容
我需要提交大量的作业，为此我编写了一个简单的bash脚本。我的bash脚本如下所示：
for i in {1..2}
do
mkdir "Pris_$i"
cp script.sh precip.in Zope* ./"Pris_$i"
cd ./"Pris_$i"
sed -i "s/0.505\*1/0.505\*$i/g" ./precip.in
qsub script.sh
cd ..
done
我现在想知道一种控制作业提交的方法:等待提交的作业完成，然后提交下一个作业。我可以使用qsub -W depend=aftero
浏览 5提问于2014-10-16得票数 1
回答已采纳
在Slurm.管理的gpu集群上提交作业
我正在做一些实验，正如你所知道的，我们必须调整参数，这意味着我需要使用不同的超级参数运行几个类似的脚本。因此，我编写了多个bash脚本(例如，名为training_n.sh)来执行，在每个脚本中，如下所示：
# training_n.sh
srun [command with specific model/training hyperparameters]
然后我使用sbatch执行这些脚本，在sbatch脚本中如下所示：
# sbatch script
bash training_1.sh
bash training_2.sh
...
b
浏览 2提问于2021-11-13得票数 0
2回答
我使用下面的bash文件向集群提交matlab作业，
#!/bin/bash
#BSUB -L /bin/bash
#BSUB -J matlab.01
#BSUB -q long
#BSUB -n 32
#BSUB -R "span[hosts=1]"
#BSUB -W 20:00
#BSUB -R "rusage[mem=3072]"
#BSUB -o %J.out
#BSUB -e %J.err
# the working directory
work=/home/models
cd $work
# run matlab on the main fu
浏览 9提问于2015-12-17得票数 2
1回答
我有一个Julia代码，我想通过并行运行大量作业(例如，大约10,000个并行作业)将该代码提交到远程计算集群。该代码的工作方式是，主函数(称为"main.jl")调用另一个函数(称为"generator.jl")，该函数使用随机数(如rand(Float64)等)。我通过bash文件提交main.jl，并通过以下方式并行运行N个作业
#PBS -t 1-N
我想确保我有一个不同的随机数生成器的每一个N作业提交，但我不知道如何做到这一点。我正在考虑根据环境变量设置一个随机种子，也就是通过设置
@everywhere import Random.Random
@e
浏览 3提问于2021-01-13得票数 3
回答已采纳
我是git的新手，对bash也不是很在行。 我有一个存储库(如果重要的话，在Bitbucket中)，它只包含两个文件夹。 我已经有了一个钩子(用bash编写)，它触发了一个Jenkins作业。 现在我想更改它，这样它将只为提交到其中一个文件夹的文件触发作业，而不是为另一个文件夹触发作业。 我想使用提交的文件的名称，因为它将包含文件夹名称，但我不知道如何做到这一点。 任何帮助都将不胜感激。
浏览 16提问于2021-03-31得票数 1
回答已采纳
1回答
这是我的循环2.0配置文件
docker: &docker
- image: circleci/python:2.7-stretch-node
version: 2
jobs:
build:
docker: *docker
steps:
- checkout
- run: bash job.sh
workflows:
version: 2
hourly:
triggers:
- schedule:
cron: "15 0-23/1 * * *"
fil
浏览 0提问于2018-03-20得票数 0
回答已采纳
4回答
我正试图为在我的机器上运行的matlab作业提供一个轻量级内存分析器。有一个或零matlab作业实例，但是它的进程id经常更改(因为它实际上是由另一个脚本调用的)。
下面是我用来记录内存使用情况的bash脚本：
#!/bin/bash
pid=`ps aux | grep '[M]ATLAB' | awk '{print $2}'`
if [[ -n $pid ]]
then
\grep VmSize /proc/$pid/status
else
echo "no pid"
fi
当我在bash中像这样运行这个脚本时：
./scr
浏览 2提问于2013-10-23得票数 4
回答已采纳
我发现了一个帖子，告诉bsub如何在运行之前等待一组指定的作业完成，然而，只有在事先知道作业数量的情况下，这个方法才有效。
我想运行任意数量的作业，并在所有作业完成后运行一个“完成”作业
下面是我的脚本：
#!/bin/bash
for file in dir/*; do # I don't know how many jobs will be created
bsub "./do_it_once.sh $file"
done
bsub -w "done(1) && done(2) && done(3)" mer
浏览 3提问于2016-08-30得票数 1
我目前正在设计一条管道在Azure Devops。我设计了两份独立的工作。
第一个工作将创建一个文件，修改它并将其上传到Azure Devops托管的回购系统(我已经知道了如何做到这一点，而且它工作得很好)。第二个作业将再次使用该文件。(很明显，我需要两份工作是有原因的。)
实际上，在执行第一个作业之后，文件会被推入回购程序中，我可以在DevOps中的repo中看到它。然而，对于第二个作业，即使它已经签出当前的回购并提取了所有文件，但奇怪的是，它不包含我刚才推到repo的文件(我已经使用ls -a进行了验证)。
是因为Azure中的管道只为所有作业提取相同的分支(无论在执行过程中是否已提交给回
浏览 6提问于2022-11-29得票数 1
回答已采纳
我使用qsub SubmitJob.sh向集群提交了一个作业。它工作得很好，但需要很长时间才能完成。在SubmitJob.sh内部，有一个按顺序运行的for循环。我想将我的for循环转换为并行作业提交，这样每个循环都提交一个作业(SubmitJob.sh)。 #!/bin/bash
#$ -S /bin/bash
#$ -V -cwd
#$ -e ./error.$JOB_NAME.$JOB_ID
#$ -o ./outpt.$JOB_NAME.$JOB_ID
#$ -l h_vmem=256g
##$ -q long
##$ -pe smp 4
#$ -l h_rt=24:00:00
浏览 22提问于2019-05-16得票数 0
我使用的计算机集群有20个节点，每个节点有16个CPU。我尝试使用"sbatch XX.sbatch“命令向所有节点提交1,000个作业。我想要的是320个作业同时运行，即每个节点16个作业，或每个CPU 1个作业。
当我使用。带有XX sbatch文件中的参数的sbatch文件是
#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
./example.sh
我注意到每个节点上只有一个作业在运行。
然后我试着
#!/bin/bash
# Inter
浏览 6提问于2021-03-11得票数 0
1回答
我已经自动化了bash作业，使git更改并将它们推送到原点。它们都在编辑同一个文件，但在该文件中总是有不同的行，因此永远不会有冲突。每个作业看起来都像这样： git clone
make change to file
git pull
git add .
git commit -a -m "message"
git push 添加git pull是为了最大限度地减少并行作业可以在当前作业创建克隆后进行更改和推送的可能性，但尚未推送其更改。这在大多数情况下都是有效的，但有时在当前作业拉出更改但尚未提交后，并行作业仍能够推动更改。这会导致当前作业收到一个错误，指出我在本地没有最新
浏览 21提问于2020-07-01得票数 0
回答已采纳
我想编写一个脚本，它将作业提交脚本的输出作为变量，用于相同的next循环。我把它写成如下
temp= (40 50)
for i in "${!temp[@]}"; do
cd ${temp[i]}-$((temp[i]+10))ns;
((counter++))
var="ID$((counter-1))"
var1=ID$counter
if [[ "$i" -eq 0]]; then
var1=$(qsub jobsubmission.sh);
else
var1=$(qsub -W depend=
浏览 3提问于2022-10-21得票数 0
回答已采纳
我知道如何在Jenkins上运行bash脚本。但是，如果我使用qsub将bash脚本提交到OGE系统，Jenkins如何知道我的作业是否终止？
浏览 0提问于2011-10-18得票数 4
我有4名芹菜工人，每个人的并发数为6。
我有用户提交不同数量的工作(从1到20)。
如何确保每个用户的作业得到相同的处理时间，并且一个用户的作业不会填满队列，迫使其他用户的作业等待。
恐怕如果工人最后要完成第一个用户提交的所有作业，另一个用户排队的作业必须等待第一个用户完成，这会带来不便。
是否有办法使芹菜工人意识到一个用户的工作，而另一个用户的排队作业。相反，我可以在任何给定的时间从每个用户运行最多一个作业吗？
我有一个队列，我将提交所有用户的作业，我是否需要为每个用户建立一个队列，并以某种方式从每个用户的队列中提取一个作业？
浏览 3提问于2014-08-28得票数 0
回答已采纳
我正在寻找一些关于如何在骆驼路线上实现以下模式的一些想法：
客户端通过HTTP端点调用web服务(originalService)。
该服务接受服务的主体，并将其作为作业提交到另一个web服务(jobService)。此辅助服务返回作业id。
使用作业id，originalService轮询jobService的时间不超过x秒。原始服务将返回提交服务的结果给调用方。如果作业花费的时间超过x秒(没有来自jobService的响应)，originalService将向客户端发送“超时值”响应。
关于如何使用骆驼路线实现"originalService“，有什么想法吗？在
浏览 0提问于2018-03-15得票数 0
我正在运行bash脚本来提交多个作业。只有当作业尚未运行时，才会提交作业。我想在bash脚本中使用一个if语句来简单地检查"job123“是已经在运行还是在队列中。
我用qstat和qstat尝试了不同的选项，但我似乎无法按职务名称进行检查。如何检索这些信息？此外，这些输出只是字符串，我也没有任何运气使用grep，但我认为必须有一个特定的命令。
浏览 0提问于2016-08-01得票数 1
回答已采纳
1回答
我试图使用qsub提交一个python作业，而qsub反过来使用子进程和qsub提交其他几个作业。
我使用下面所示的两个bash脚本提交这些作业。run_test是第一个提交的，run_script是通过子流程提交的。
$ cat run_test
#$ -cwd
#$ -V
#$ -pe openmpi 1
mpirun -n 1 python test_multiple_submit.py
$ cat run_script
#$ -cwd
#$ -V
#$ -pe openmpi 1
mpirun -n 1 python $1
我对第二个脚本有一个问题，它似乎挂在mpirun电话里。我之
浏览 6提问于2014-06-04得票数 1
回答已采纳
1回答
我尝试在集群中使用我的程序。现在我创建小作业，并使用bash脚本将其提交到特定节点。这些作业将一个大文件复制到节点，在该文件上执行其他5个程序，最后作业将文件复制回来并在节点上删除它。
此bash脚本用于提交作业，检查给定目录中hdd的空闲程度，计算在此节点上可以运行的作业的最大数量，并将此数量的作业发送到此特定节点。这种方法的缺点是，在完成所有作业之后，我必须多次运行这个bash脚本。
现在，我想用drmaa来处理python。但是现在我想知道它是否能够使用这个api进行节点控制。是否可以使用drmaa向特定节点提交？
或者，我是否需要使用Popen编写一个解决方案来执行qsub命令，并通过
浏览 5提问于2013-09-02得票数 1
回答已采纳
我正在使用一个带有Torque/Maui系统的集群。我有一个bash脚本，它使用qsub命令提交一个作业，然后做几件事情，比如移动文件、编写ASCII文件以及检查我提交的作业的输出。对于这个输出，基本上，如果它包含数字1，则需要再次提交作业。如果与1不同，bash脚本会执行其他操作。
问题是qsub在后台运行，所有bash都是一次评估的。我想强迫qsub的行为很像awk，cat，排序等等.当脚本在这些命令完成后更进一步时--如果不是放在后台的话。
所以，我需要bash在第一个qsub停止，然后在qsub完成后继续运行，这意味着，当作业完成时。有办法这样做吗？它将类似于：
-sync y
浏览 9提问于2014-10-03得票数 5
我有一个Jenkins任务，每当有人试图将一个pull请求合并到我的github库中时，它就会被触发。 该作业(以及其他作业)应该只在要合并的提交上运行pylint。 如果拉取请求只包含一个提交，这很容易实现。 但是，PR可能包含多个提交。 Jenkins作业运行bash脚本来完成此任务。 如何列出要合并到github pull请求中的所有新提交中的所有更改的文件，以便可以在所有这些文件上运行pylint？
浏览 13提问于2020-12-05得票数 0
1回答
我在我的主文件夹下安装了R，当我向集群提交作业时，我想使用新的R被调用。集群节点都安装了CentOS。
下面是我在.bash_profile和.bashrc中所做的配置：
if [ `lsb_release -i|cut -c17-20` == 'Cent' ] ; then
alias R='/home/XXX/R-3.0.2/bin/R'
alias Rscript='/home/XXX/R-3.0.2/bin/Rscript'
fi
我在.bash_profile中添加了以下内容：
if [ -f ~/.bashrc ];
浏览 2提问于2014-01-05得票数 1
回答已采纳
1回答
我有一个包含几行文本的文本文件，我希望将文件的每一行作为参数传递到python脚本中。我的问题是读文件。如果我能够读取该文件，我应该能够将文件的每一行作为参数传递给我的python作业提交。这是我尝试过的
#!/bin/bash
#SBATCH -N 1
#SBATCH -p RM-shared
#SBATCH -t 1:00:00
#SBATCH --ntasks-per-node=64
set file = \myfolder\sample.txt
for /f "tokens=*" %%val in (%file%) do(
echo %%val
pyth
浏览 2提问于2022-05-31得票数 0
我的工作是在将提交添加到GitHub上的特定分支时触发Jenkins Pipeline作业。
我在Jenkins作业选项上看不到合适的构建触发器，就像我在Jenkins Freestyle作业上看到的那样。
如何将Jenkins Pipeline作业设置为在使用新提交更新分支时触发？
到目前为止，我还没有找到这个场景的明确答案，只回答了关于多分支作业的问题。
在这个问题上的任何帮助都将不胜感激！
浏览 1提问于2018-10-05得票数 2
1回答
将参数传递到slurm脚本
、、、、
我使用slurm脚本在集群上运行用于Matlab计算的数组。每个脚本都使用一个数组来循环matlab参数。
1)是否有可能创建一个shell脚本来循环另一个变量？
2)可以将变量传递给slurm脚本吗？
例如，我的slurm文件当前看起来像
#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";
我经常需要运行这个数组来处理许多不同
浏览 0提问于2019-06-18得票数 2
回答已采纳
免得我重新发明轮子..。再一次：
是否有用于标准linux "at“任务调度程序的python接口、API或模块？我试过搜索互联网，但是搜索"at“这个词有点没用：)
我的目的是让python脚本处理相同的数据并构造一个shell文件。然后使用子进程调用"at“将作业文件调度到特定的日期和时间。如果python检测到它在windows上运行，我将使用类似的函数"Schtasks.exe“。最后，python脚本退出。让系统调度程序负责运行作业文件。
更新2019年7月1日:发现一个有趣的“在”怪癖。在"at“命令行上调用的文件(即脚本或shell文件)不
浏览 0提问于2019-06-26得票数 3
1回答
如何同时提交多份R工作？
、、、
我有一个R脚本，它运行多个文件，比如file=1到50。我通常提交重复的工作，例如5次，每次10个文件，通过改变R-脚本中的数字。那么，我怎样才能一次提交5份工作而不提交5次呢？此外，我希望更新每个作业的<>default.out和错误文件。
示例bash代码：
#!/bin/bash
#PBS -l nodes=1:ppn=20,walltime=05:00:00
#PBS -m e
#PBS -o default.out
#PBS -e errorfile
module load R/4.0
Rscript ~/r_script1.R
浏览 0提问于2021-05-22得票数 1
这可能是一个天真的问题，但我真的不确定该怎么做。我提交了一个spark作业，我得到了以下输出。
运行作业成功。提交id: driver-20170824224209-0001
我想以编程方式查询此作业的状态。如何使用控制台中的输出通过bash脚本将id提取到变量。感谢您的帮助。
浏览 0提问于2018-11-07得票数 2
我有一堆作业要提交到PBS队列中，输出应该在之后在本地进行后处理。由于作业是相似的(而且我不想经常手动更改它)，我编写了一个bash脚本，在本地生成一个PBS作业脚本，然后提交作业。我的问题是:如何让bash脚本等到PBS作业完成后再开始后处理？(经常检查作业的状态不是一种选择。)我还能做什么呢？
非常感谢所有的提示，提示或解决方案！
编辑:如评论中所示(谢谢)，有些编辑：
便携式批处理系统
文档可在这里获得：
不过，我考虑了可能的解决方案，并想出了以下一个无法工作的解决方案:我可以让bash脚本等待请求的时间，作为作业的挂钟时间。但是，有两个复杂的问题:第一，作业可能不需要那么多
浏览 2提问于2013-08-22得票数 1
1回答
我可以访问恰好100个节点。当我向所有100个节点提交作业后，我想在休眠持续时间为180秒后进行查询，以了解队列中仍有多少作业。如果队列中有一些作业，bash上的输出将指示挂起作业的数量。如果所有作业都开始在100个节点上运行，我希望提交新作业，直到所有作业都完成。当所有作业完成后，bash应该退出while循环。 我已经编写了以下几行bash代码 n=1
while [ $n -gt 0 ]; do
if (($(qselect -u username | grep 'Q' | wc -l) > 0)); then
echo "Jo
浏览 37提问于2020-01-27得票数 1
回答已采纳
1回答
我有一个脚本，我正试图提交给一个SGE集群(在Redhat Linux上)。脚本的第一部分将完整CWD路径中的当前文件夹定义为下游使用的变量：
#!/usr/bin/bash
#
#$ -cwd
#$ -A username
#$ -M user@server
#$ -j y
#$ -m aes
#$ -N test
#$ -o test.log.txt
echo 'This is a test.'
result="${PWD##*/}"
echo $result
在bash中，这是预期的：
CWD：
-bash-4.1$ pwd
/home/user/tes
浏览 16提问于2016-09-20得票数 0
我正在尝试使用slurm提交一组作业，但它并不像我预期的那样工作。我的bash脚本是test.sh
#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks=1
浏览 1提问于2022-07-12得票数 0
回答已采纳
1回答
我正在努力避免提交单独的作业。到目前为止，我的脚本一开始就有这样的内容：
#!/bin/bash
#BSUB -P account
#BSUB -q queue
#BSUB -W 48:00
#BSUB -n 2
#BSUB -R rusage[mem=40000]
#BSUB -J jobname[1-22]
#BSUB -a 000-176:1
#BSUB -eo jobname.%I.%a.err
#BSUB -oo jobname.%I.%a.out
然后按如下方式提交作业：
bsub < myscript.sh
我也尝试过-i选项，但也不起作用。
另一个问题是，输入参数的范围
浏览 5提问于2018-04-06得票数 0
1回答
我通过一个bash脚本(比方说./run.sh &)提交了一组(大约20个作业)进程(运行-n 16可执行文件)，这需要几天时间才能完成。提交后，我离开了终端。现在，当我重新登录并进入top时，我只能看到当前进程的PID。如何确定run.sh的PID，以便终止将终止批处理作业的run.sh，而不是逐个终止这20个作业。
谢谢。
浏览 0提问于2015-09-10得票数 0
我有一个控制台应用程序，它已经转换为Webjob。
webjob中有很多功能需要每晚(午夜)运行一次。
但是，也有一个特定的需求，即相同的Webjob应该连续运行以执行某些作业，并能够对来自多个用户的请求进行排队。
由于大多数过程都是相同的，我看不出创建另一个控制台应用程序作为"Continuous“类型的意义。
因为我们在azure中有一个持续的交付(当有新的提交要git时，在线visual studio会自动构建和发布web应用程序和webjob)。
我如何才能告诉构建或发布过程从同一个控制台应用程序创建2个the作业，其中一个是调度的(触发的)，另一个是“连续的”？
当我写下这个
浏览 3提问于2017-10-28得票数 2
2回答
如何迭代qsub作业？
让一个变量i=2:10，对于每个i，我想运行"tmp.r“，并在转到下一个i之前暂停10秒。我的脚本名是test.pbs。我试过这个：
for i in `seq 1 10`;do;qsub job$i.sub;sleep 10;done
但此提交的作业将立即返回..
我想在Cray XE6上运行这个。我的R代码使用遍历算法，因此作业的迭代提交将使其更高效。
你知道如何使用bash或python做到这一点吗？
谢谢!
浏览 0提问于2013-06-06得票数 0
例如：
sacct --start=1990-01-01 -A user返回作业表，最新的jobID为136，但当我以sbatch -A user -N1 run.sh提交的方式提交新作业时，bash作业返回小于136的100。似乎sacct -L -A用户返回一个以100结尾的列表。
因此，似乎提交的批处理作业覆盖了以前作业的信息，而我不想这样做。
Q当我们重新启动节点时，jobID分配是否从0开始？如果是，在重新启动之前，我应该如何从最新的jobID分配中继续执行？
感谢您宝贵的时间和帮助。
浏览 4提问于2017-04-28得票数 1
3回答
我有一个向PBS排队系统提交多个串行作业的BASH脚本。提交作业后，脚本结束。然后，这些作业在集群上运行，当它们都完成后，我可以继续下一步。典型的工作流程可能涉及其中的几个步骤。
我的问题是：
有没有办法让我的脚本在提交完成后不退出，而是在该脚本提交的所有作业在集群上完成后才退出？
浏览 1提问于2014-09-05得票数 3
我使用SLURM运行一个作业数组，并使用下面的作业数组脚本(我是用sbatch job_array_script.sh [args]运行的)
#!/bin/bash
#SBATCH ... other options ...
#SBATCH --array=0-1000%200
srun ./job_slurm_script.py $1 $2 $3 $4
echo 'open' > status_file.txt
为了解释，我希望job_slurm_script.py作为数组作业运行1000次，最多并行200个任务。当所有的都完成时，我想写“打开”给status_
浏览 3提问于2017-09-26得票数 8
回答已采纳
2回答
在我默认的shell - zsh (大概是通过编辑我的.zshrc文件)中使用cc别名来引用Clang，而在另一个shell (bash)中使用cc别名给gcc，有什么需要注意的地方吗？
我发现Clang更容易使用，主要是因为它的警告和错误消息比gcc的更容易阅读和理解。我将在下个学期注册一门Unix编程课程(纯C语言)，在提交作业之前，我被期望清除任何gcc -Wall警告。
我正在尝试做的是在我的默认shell (zsh)中使用Clang进行大部分开发，使用makefile将编译器简称为cc。一旦满意，我会在提交之前通过bash (调用gcc作为编译器)运行一次，作为测试。然后，使用cc作
浏览 0提问于2011-12-21得票数 1
回答已采纳
我在一个有8个节点的集群上进行MPI编程，每个节点都有一个Intel Xeon hexcore处理器。我的mpi代码需要三个处理器。
我使用qsub提交作业。当我使用"qstat -n“检查作业正在运行的处理器时，它显示类似cn004/0*3的内容。
那么，这是否意味着它只在一个处理器上运行？
因为它不会比我使用单处理器时更快(这是在两种情况下域大小相同的情况下)
我用来提交的脚本如下
#! /bin/bash
#PBS -o logfile.log
#PBS -e errorfile.err
#PBS -l cput=40:00:00
#PBS -lselect=1:ncpus=3:
浏览 0提问于2013-06-29得票数 1
回答已采纳
当我使用qsub提交一堆作业时，qsub将首先提供.bash_profile。那么我怎么才能在没有源.bash_profile的情况下qsub一个作业呢？
浏览 1提问于2012-03-24得票数 2
如何使用bash脚本获取SLURM系统中提交的作业脚本文件的启动时间或执行时间？
浏览 6提问于2022-04-04得票数 1
在安装Slurm的HPC设置中，在用户使用ssh登录之后，将执行一个脚本，其中使用带有交互式bash的srun提交作业。脚本放在.profile上，用户不能修改它。这是bash脚本文件的内容。
srun -A <ACCOUNT_NAME> -p --mem=< MEMORY> -time=HH:MM:SS -N <NUM_NODES> -gres=GPU：<NUM_GPU>-pty /bin/bash -i
有办法阻止这个用户绕过slurm吗？因为用户无论如何都可以在作业id上执行scancel。还是有一种方法可以阻止用户执行scancel命
浏览 3提问于2022-08-25得票数 1
回答已采纳
我有一个主bash脚本，它应该用不同的输入作为后台进程启动另一个bash脚本，然后等待它。为此，我使用find dir_path -exec bash -c '. another_batchscript.sh {} $0' ${second_input} \; (类似于)，然后在我的主脚本中有一个wait命令。问题是这个脚本几乎立即就完成了。
我想了想，意识到当我从命令行执行sleep 10 &时，我可以通过执行jobs命令找到作业。但是当我执行bash -c 'sleep 10 &'时，jobs将找不到它。这可能就是为什么等待命令不会在我的主b
浏览 0提问于2021-01-03得票数 1
4回答
我正在尝试为我在中列出的一个问题寻求帮助，从一些进一步的研究中，我认为Python脚本可能是答案。也就是说，我是Python的新手，不确定如何实现我的想法，也不确定它是否正确。
基本上，我认为我需要一个python脚本，它可以接受我传递给它的变量，然后将这些变量写到.sh文件中。有没有简单的方法可以做到这一点？
编辑:作为对一些评论的回应，我认为我应该更多地阐明我的问题。
我正在通过SLURM脚本运行matlab函数。SLURM脚本(我认为)是一种bash脚本，但它专门用于在HPC上调度作业。我的问题是，例如，我希望一次提交10个作业，但所有作业都将某个特定变量更改为某个值。现在，问题是我不能
浏览 1提问于2019-07-19得票数 0
我有一个任务流，可以分为step_1和step_2，它们都运行在bash中。step_1需要在folder_a中运行bash脚本，当我将作业提交到多个主机时，会有多个线程在folder_a中触发bash脚本，这将破坏函数。
我希望我的工作如下：
每个作业的folder_a.every 的step_1都必须一个一个地运行，否则它将中断在作业的step_2中的函数，从而加速运行。
如果folder_a中的bash正在运行并拒绝运行其他线程，如何锁定文件夹？也许我只能将step_1 bash顶部脚本锁定在folder_a中，而不是在文件夹中。
浏览 3提问于2020-10-28得票数 1
回答已采纳
我一直在使用QProcess作为一种开始计算密集型任务的方式，这种方式在创建它们的GUI关闭后继续进行。我现在想知道我是否能在这方面有所改进，这样就不会有太多的工作可以开始了。
假设我有20个可用的核心。用户1启动一个被分解成30个进程并退出GUI的计算。目前，我正在使用bash来控制所有这一切，因此GUI实际上只执行一个bash脚本，该脚本计算运行的进程数。如果另一个用户同时登录并启动另一个大型作业，整个工作流会变得相当混乱，因此目前如果脚本已经在运行，它将拒绝提交。此外，也没有办法使用GUI来监视进程，因为它们现在正在由bash运行。
理想情况下，我希望改进流程，以便用户1提交他们的流程。
浏览 2提问于2014-08-14得票数 0
回答已采纳
当你提交一份工作时，你会做这样的事情：
qsub -t 1-1000 -N myArray arrayjob.sh
#This execute arrayjob 1000 simultaneus times, calling the job "myArray"
我想用另一个脚本来包装它，它告诉我"Ehi，所有的任务都完成了！“
有人会提出：
qsub somethingAfterAllTheTask.sh -hold_jid "myArray"
但
我不想在myArray之后启动另一个要执行的作业:我想恢复执行myArray的qsub的脚本
m
浏览 0提问于2018-12-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
