GNU并行:如何将作业id传递给命令
GNU并行是一个用于处理并行任务的工具，它可以帮助用户将作业分成多个子任务，并在多个计算资源上并行执行这些子任务。在使用GNU并行时，可以使用--joblog选项来指定一个日志文件，该文件将记录每个任务的执行情况。
要将作业ID传递给命令，可以使用--delay选项结合env命令来实现。具体步骤如下：
- 创建一个包含需要并行执行的命令的文本文件，每个命令占据一行。例如，创建一个名为
commands.txt的文件，其中包含以下内容：
echo "Job ID $PARALLEL_SEQ"- 使用以下命令来执行并行任务，并将作业ID传递给命令：
parallel --joblog joblog.txt --delay 0.2 'env PARALLEL_SEQ={#} bash -c "{}"' :::: commands.txt其中，--joblog选项用于指定日志文件的名称，--delay选项用于设置命令之间的延迟时间，{#}表示作业ID，{}表示从commands.txt中读取的每个命令。
通过以上命令执行后，GNU并行将会将作业ID依次传递给命令，并并行执行这些命令。每个命令中的$PARALLEL_SEQ将被替换为对应的作业ID。
GNU并行的优势在于可以提高任务的执行效率，通过将任务并行执行，可以减少整体执行时间。它适用于需要处理大量计算密集型任务的场景，比如批量数据处理、模型训练等。
腾讯云相关产品中，可以使用云服务器（CVM）提供的计算资源来运行并行任务，还可以结合云函数（SCF）实现自动化执行。此外，还有云批量计算（Tencent BatchCompute）可供选择，它提供了高性能计算环境和任务调度功能，更适合处理大规模的并行任务。
参考链接：
- GNU并行官方网站：https://www.gnu.org/software/parallel/
- 云服务器（CVM）产品介绍：https://cloud.tencent.com/product/cvm
- 云函数（SCF）产品介绍：https://cloud.tencent.com/product/scf
- 云批量计算（Tencent BatchCompute）产品介绍：https://cloud.tencent.com/product/bc
相关·内容
假设我在一个数组上并行运行gnu，该数组是从标准中接收的，并根据以下条件进行拆分： cat content | parallel -j 4 my_command 如何访问作业编号，以便可以将并行执行的作业编号/id作为参数传递到命令中(以便每个并行执行块具有唯一的编号)： cat content | parallel -j 4 my_command -n ???
浏览 7提问于2019-03-12得票数 5
回答已采纳
3回答
我想进入每个子目录，在几个终端中并行运行for循环脚本。我试过了，但它似乎是连续的(一个接一个)，但是我想并行地运行它们。
浏览 0提问于2017-05-29得票数 9
1回答
我正在寻找一种简单的方法，可以使用一个命令同时运行N选定的进程。它应该将所有输出放在我的终端上，并在我使用ctrl+c退出时关闭所有输出。有任何现有的应用程序可以做到这一点吗？
浏览 0提问于2010-04-21得票数 5
回答已采纳
我正在使用GNU并行运行一个程序的几个实例，每个实例都需要辅助内存中的一些空间。在我当前设置的后期，由于设备上没有剩余空间，所有实例退出时都会出错。如何将GNU并行设置为仅在设备使用率低于90%时运行下一个作业？我可以使用以下df命令获取设备使用情况：df --output=pcent "$PWD" | sed '1d;s/[^0-9]//g'
浏览 3提问于2017-08-03得票数 1
回答已采纳
我的并行集群作业归结为多次运行同一个文件，每次使用不同的索引/作业ID。每个任务产生自己的子进程，每个任务总共使用4个CPU。这是一个令人尴尬的并行工作，每个任务相互独立，因此很适合GNU并行工具。问题在于，PBSpro作业管理器可以将多个作业分配给同一个节点，或者只有一个作业分配给一个节点，并且该信息必须以某种方式传递给GNU并行。使用--sshlog
浏览 2提问于2018-05-11得票数 3
回答已采纳
3回答
如何使用GNU并行
、、、
如何使用GNU并行与aws同步命令？aws s3 cp .text/html" --cache-control "max-age=$MAXAGE" --exclude "*" --include "*.css" --profile $PROFILE
如何使用GNU并行来并行运行这些命令？我所做的是在一个名为test.sh的文件中添加命
浏览 3提问于2015-11-16得票数 2
回答已采纳
2回答
我现在有这样的情况：因为某种原因，这根本没什么用。inotifywait的输出与find相同(即每行一个文件)：工作正常的...and。为什么它不适用于inotifywait？
浏览 0提问于2021-02-21得票数 2
我们有超过100 git的回复，有时我想grep的全部。for repo in *; do (cd $repo; git checkout master; git pull); done如何加快速度？我需要一种方法来减轻N个工人的负担。
有人能解决这个问题吗？
浏览 0提问于2015-07-08得票数 3
1回答
通过适当的月开始和结束日并行
、、、、
我想使用GNU并行运行一系列命令，如下所示：python MyScript.py 20131201 20131231
python不过，我不清楚如何将多个参数传递给并行，而我假设的是重复运行shell脚本来生成开始/结束日期。是否有一种从命令行轻松完成此操作的方法，或者应该首先生成所有日期并将其放入文件中并行读取，或者有更好的方法？
浏览 0提问于2014-03-05得票数 2
回答已采纳
3回答
但是，由于我的计算机内存有限，我想重写上面的脚本，以便它可以并行地启动内部for循环和外部for循环。当这个部分完成后，我希望脚本能够为simSeed = 2运行，并再次运行5个不同的并行进程( launchPower等于17.76 20.01 21.510 23.76 )。TLDR：
我希望外部循环按顺序运行，内环并行运行，以便当最后一个内环并行过程结束时，外部循环移动到下一个迭代。
浏览 0提问于2020-03-13得票数 3
回答已采纳
1回答
并行运行Python培训器脚本
、、、、
我有一个python3训练器命令，用于输入
我想调用这个命令的日期为10个(增量，即+1)，结果产生10其他两个输入文件对所有10个命令都是相同的。我想知道如何通过10个线程(Linux)并行调用这些命令。
浏览 1提问于2018-02-13得票数 1
回答已采纳
2回答
我正在寻找一种解决方案，以便对一组数据批量运行python命令。例如，我想对前10行运行下面提到的代码，打印输出，然后运行下一批，直到行结束。这样做的原因是，目前运行1000行需要花费大量时间。prediction in order of confidence human_string = label_lines[node_id]
score
浏览 2提问于2017-07-05得票数 2
2回答
多重卷曲与限制并行
、、、
我希望能够一次运行几次循环，以加快速度，但也限制了并行卷发的数量，以避免被远程服务器踢出。现在，我的代码就像 while read unitId; do if !
浏览 0提问于2018-03-29得票数 1
回答已采纳
我想要的是并行运行文件"Analysis.C“的多个实例，在每个实例中接受不同的输入(我猜想，这里的约束是我可以在PC上节省的核数)，并同时执行不同的实例。我该怎么做？
浏览 0提问于2018-08-31得票数 2
回答已采纳
我使用的是gnu并行，它读取包含curl命令的文本文件。如果我做了ps -ef | grep -cw [c]url，它会同时显示卷曲过程的总数。但是我想知道在每个CPU内核中运行的gnu并行作业的数量。
怎么找到那个？
浏览 0提问于2022-01-07得票数 0
回答已采纳
我有一个shell脚本。在该脚本中，我启动了6个新进程。我的系统有4个CPU。如果我运行shell脚本，那么在缺省情况下，操作系统会自动将衍生的新进程分配给其中一个CPU。现在，我想减少运行脚本的总时间。有没有一种方法可以检查处理器的空闲利用率，然后选择一个处理器来运行我的进程？我需要以这样一种方式编写脚本:它应该检查4个CPU的利用率，然后在选择的CPU上运行进程。
浏览 1提问于2013-07-30得票数 5
当将选项--jobs指定给GNU parallel时，这到底意味着什么？parallel --jobs 10 .当我检查在PC上运行的进程时，我发现很多时候只有不到10个作业同时运行。
那么，--jobs究竟指定了什么呢？
浏览 0提问于2016-03-22得票数 10
除了将每个并行进程的输出重定向到一个单独的文件，然后再从那里返回之外，是否有一种方法可以使用parallel来保证行保持原样？
浏览 1提问于2018-05-15得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
