首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何将bash命令列表提供给xargs以便并行运行?

要将bash命令列表提供给xargs以便并行运行,可以使用管道符(|)将命令列表传递给xargs。xargs命令可以从标准输入读取数据,并将其作为参数传递给其他命令。

以下是一个示例:

代码语言:txt
复制
echo "command1 arg1 arg2" \
     "command2 arg1 arg2" \
     "command3 arg1 arg2" \
     | xargs -P <并行数> -I {} bash -c "{}"

在上面的示例中,我们使用echo命令将命令列表输出到标准输出,并通过管道传递给xargs。-P参数用于指定并行运行的进程数,可以根据需要进行调整。-I参数用于指定替换字符串,这里我们使用{}作为替换字符串。bash -c "{}"表示将每个命令作为参数传递给bash进行执行。

请注意,这只是一个示例,实际使用时需要根据具体情况进行调整。另外,xargs还有其他参数和选项,可以通过man xargs命令查看详细信息。

推荐的腾讯云相关产品:腾讯云云服务器(CVM),产品介绍链接地址:https://cloud.tencent.com/product/cvm

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

GNU Parallel的具体使用

通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表;一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块,然后通过管道并行的执行。...如果你会使用xargs和tee命令,你会发现GNU Parallel非常易于使用,因为GNU Parallel具有与xargs一样的选项。...对于每一行输入,GNU Parallel会把这一行做为参数来运行指定的命令。如果没有给出命令,那么这一行会被当做命令执行。多行输入会并行运行。...GNU Parallel经常被用于替代xargs或者cat | bash。 指南 本教程展示了绝大多数GNU Parallel的功能。...当前工作目录的路径] 命令可以是一个脚本文件,一个二进制可执行文件或一个bash的函数(须用 export -f 导出函数): # Only works in Bash and only if $SHELL

3.3K10
  • 基于xargs命令的多行命令并行管理

    我在去年整理了一个关于多行命令并行管理的脚本「submit.sh」,前些日子曾老师发来消息提供了更新的版本,今天我们一起来探讨一下。...有些日子了 之前的submit.sh主要是通过循环,将所有的命令分成多个批次,一个批次完成后才会运行下一个批次。...# submit.sh # 把命令分为10份并行 for i in {0..9};do (nohup bash submit.sh script2.sh 10 $i 2>&1);done 今天要介绍的多行命令并行管理主要是基于...一共有6个文件,每次运行3个试试 ls *.gz | xargs -iF -P 3 sh -c 'fastqc -o ./ F' 可以看到只运行了三个命令 我们使用htop查看xargs的进程情况,...kill掉该进程后,我们发现只有第一批次的三条命令运行完成,当这一批的命令结束以后,后面将不再运行下一批的命令

    1.2K30

    xargs 命令教程

    管道命令的作用,是将左侧命令(cat /etc/passwd)的标准输出转换为标准输入,提供给右侧命令(grep root)作为参数。...find命令有一个特别的参数-print0,指定输出的文件列表以null分隔。然后,xargs命令的-0参数表示用null当作分隔符。...还有一个原因,使得xargs特别适合find命令。有些命令(比如rm)一旦参数过多会报错"参数列表过长",而无法执行,改用xargs就没有这个问题,因为它对每个参数执行一次命令。 $ find ....$ echo {0..9} | xargs -n 2 echo 0 1 2 3 4 5 6 7 8 9 上面命令指定,每两个参数运行一次echo命令。...如果命令要执行多次,必须等上一次执行完,才能执行下一次。 --max-procs参数指定同时用多少个进程并行执行命令

    73120

    xargs 命令入门教程

    管道命令的作用,是将左侧命令(cat /etc/passwd)的标准输出转换为标准输入,提供给右侧命令(grep root)作为参数。...find 命令有一个特别的参数 -print0,指定输出的文件列表以 null 分隔。然后,xargs 命令的 -0 参数表示用 null 当作分隔符。...还有一个原因,使得 xargs 特别适合 find 命令。有些命令(比如 rm)一旦参数过多会报错 "参数列表过长",而无法执行,改用 xargs 就没有这个问题,因为它对每个参数执行一次命令。...$ echo {0..9} | xargs -n 2 echo 0 1 2 3 4 5 6 7 8 9 上面命令指定,每两个参数运行一次 echo 命令。...如果命令要执行多次,必须等上一次执行完,才能执行下一次。 --max-procs 参数指定同时用多少个进程并行执行命令

    69020

    「翻译」在生物信息学中使用 GNU-Parallel

    它允许你非常简单地对命令并行化处理。下面我将介绍一些如何使用它以及如何将它应用于生信。 很多高性能计算平台节点已经预先安装了它。你可以从 homebrew[2] 或其他包管理器找到和安装它。...我们提供了一个命令 echo ,它将通过 -j=4 的选项指定进行并行化。我们可以通过添加 --dry-run 打印将要运行命令。...因此,调节 -j 选项以便命令更好地工作是非常重要的。 幸运地是,parallel 运行你通过 -j 指定计算占有的 CPU 比例或相对数量。...(列表来源)。...如果参数列表很大,你可以通过文件指定,文件每一行对应要并行的一个参数: parallel -j 4 -k echo :::: my_args.txt 使用 ` 默认 parallel 假定参数放在输入命令的结尾

    1.2K20

    十六个有用的Linux命令行技巧

    7.使非交互式变为交互式Shell会话 为此,请将我们的设置放入来自 ~/.bashrc的 ~/.bash_profile文件中。...12.以root身份运行上一个命令 有时你忘记在命令之前键入sudo,而该命令需要root权限才能运行,此时你不必重写它,只需键入: sudo !! ?...16.强大的xargs命令 可以说xargs命令是最重要的Linux命令行技巧之一,你可以使用此命令将输出作为argument参数在命令之间进行传递,例如,你可以搜索png文件并对其进行压缩或执行任何操作...-name "*.png" -type f -print | xargs tar -cvzf pics.tar.gz 或许在某个文件中有一个URL列表,你想要下载或以不同的方式处理这些URL,那么请使用...cat命令结果将被传递到xargs命令的末尾。如果你的命令需要中间的输出该怎么办?

    1.2K41

    GitHub五万星中文资源:命令行技巧大合集,新老司机各取所需

    基础篇 & 日常篇 这份资源主要专注在交互式 Bash,但也有许多技巧可以用在其他shell和普通Bash脚本里。 基础篇 所以,萌新就从Bash的基础知识开始学习。...然后: 要熟悉一种基于文本的编辑器;学会用man命令阅读文档。 还有,用apropos查找文档。要知道有些命令不对应可执行文件,而是Bash内置好的。可以用help和help-d来获得帮助信息。...比如,为了方便长命令的编辑,用ctrl-x ctrl-e打开一个编辑器,来输入当前正编辑的命令; 比如,用xargs (或parallel)。这个非常给力。...你可以控制每行的参数个数 (-L) 和最大并行数 (-P) 。如果不确定它会不会照你想的做,就先用xargs echo查一下。另外,用-I{}也很方便。...以及别忘了,冷门但有用的工具,是一个大大大大大列表。 ? 至此,各种技巧已分类仔细,就算是老司机也可以按照自己的需要,找到一些好用的方法了。 还有更多 学到这里,Linux用户可能已经吃饱了。

    64820

    编写Shell脚本的最佳实践

    /bin/bash 当然,解释器有很多种,除了bash之外,我们可以用下面的命令查看本机支持的解释器: $ cat /etc/shells #/etc/shells: valid login shells...否则,在Linux下运行的时候就会识别到开头的三个字符,从而报一些无法识别命令的错。 当然,对于跨平台写脚本还有一个比较常见的问题就是换行符不同。windows默认是\r\n而unix下是\n。...这里效率提升的原因,就是第二种只要执行一次命令,而第一种要执行多次。 并且,巧用xargs命令,我们还可以十分方便的进行并行化处理: find ....-name '*.txt' |xargs -P $(nproc) sed -i "s/233/666/g;s/235/626/g;s/333/616/g;s/233/664/g" 通过-P参数指定并行度...命令并行化 当我们需要充分考虑执行效率时,我们可能需要在执行命令的时候考虑并行化。

    82310

    试一试这百个超有用的Linux命令行使用技巧

    有些命令需要先用 yum, apt-get install 命令安装。 1 基本的linux命令 了解基本的bash 通读整个bash man page....再次执行上一条命令 !$ 上一条命令的最后一个单词 {a..b} 按照从a到b顺序的一个数字列表 {a,b,c} 三个词a,b,c...., Alt-BackSpace 删除光标前的一个词man readline中包含了大量bash中的默认热键绑定. cd - 返回前一个工作路径 xargs 非常强大的命令。...可以实现并行执行任务,并可以分割输入文件, 指定多个节点同时运行命令等功能. pstree -p 打用进程树的得力工具 pgrep,pkill 使用名字查找进程,或者直接向指定名字的进程发送信号。...set 在bash脚本中, 使用set -x获得debug输出,使用set -e获得错误输出。 ; 分号用于开启一个子shell并运行至结束后关闭。

    1K70

    实用 Linux 命令行使用技巧集锦

    有些命令需要先用 yum, apt-get install 命令安装。 1、基本命令 了解基本的bash 通读整个bash man page....再次执行上一条命令 !$ 上一条命令的最后一个单词 {a..b} 按照从a到b顺序的一个数字列表 {a,b,c} 三个词a,b,c...., Alt-BackSpace 删除光标前的一个词 ; man readline 中包含了大量bash中的默认热键绑定; cd - 返回前一个工作路径 xargs 非常强大的命令。...可以实现并行执行任务,并可以分割输入文件, 指定多个节点同时运行命令等功能.详细的功能可以参考这个链接. pstree -p 打用进程树的得力工具 pgrep,pkill 使用名字查找进程,或者直接向指定名字的进程发送信号...set 在bash脚本中, 使用 set -x 获得debug输出,使用 set -e 获得错误输出。 ;分号用于开启一个子shell并运行至结束后关闭。

    1.5K80

    探索Linux中的`lslogins`命令:用户账户信息的便捷查看器

    在数据处理和分析中,lslogins命令特别有用。例如,当进行安全审计或系统迁移时,你可能需要列出所有用户账户以便进行进一步的分析或迁移。...例如,要列出所有登录用户的家目录,你可以使用以下命令:lslogins | xargs -I {} echo "{}的家目录是: /home/{}"这将输出类似以下的内容:alice的家目录是: /home.../alicebob的家目录是: /home/bobcharlie的家目录是: /home/charlie...注意:这里使用了xargs命令来构建和执行命令行,并使用-I {}选项来指定一个替换字符串(...四、注意事项和最佳实践注意事项权限问题:通常,只有root用户或具有适当权限的用户才能运行lslogins命令。...最佳实践定期使用:作为系统管理员,你应该定期使用lslogins命令来查看系统上的用户账户列表,以确保没有未经授权的用户账户存在。

    9110

    编写Linux Shell脚本的最佳实践

    /bin/bash 当然,解释器有很多种,除了bash之外,我们可以用下面的命令查看本机支持的解释器: $ cat /etc/shells #/etc/shells: valid login shells...否则,在Linux下运行的时候就会识别到开头的三个字符,从而报一些无法识别命令的错。 当然,对于跨平台写脚本还有一个比较常见的问题就是换行符不同。windows默认是 而unix下是 。...这里效率提升的原因,就是第二种只要执行一次命令,而第一种要执行多次。 并且,巧用xargs命令,我们还可以十分方便的进行并行化处理: find ....-name \\'*.txt\\' |xargs -P $(nproc) sed -i "s/233/666/g;s/235/626/g;s/333/616/g;s/233/664/g" 通过-P参数指定并行度...命令并行化 当我们需要充分考虑执行效率时,我们可能需要在执行命令的时候考虑并行化。

    1.1K30
    领券