Shell脚本的并行处理

文章/答案/技术大牛

发布

1回答

shell、unix、parallel-processing

我需要从unix shell脚本中以并行线程的方式调用Java程序，并等待所有线程完成。然后，应该捕获每个线程的返回状态(1或0)。如果所有并行线程都成功，unix脚本将返回成功，否则，如果至少有一个线程出错，则返回失败。我在google上找到了这个代码片段，它与我正在寻找的东西非常相关。Djava.security.egd=file:/dev/urandom -Xmx8192M -Dfile.encoding=ISO-8859-1

浏览 8提问于2018-08-09得票数 1

1回答

Shell + Python文件读写问题的并行化

python、bash、parallel-processing

我有一个项目，在这个项目中，我必须定期使用shell脚本对文件进行一些预处理。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。处理完这些文件后，输出文件将由Python脚本进一步处理。有没有什么好的方法可以并行运行呢？现在，这是我的工作流程的样子。Call shell script, processing thousands of files.如果可以并行

浏览 18提问于2020-04-23得票数 0

2回答

每批并行处理命令

bash、shell-script、parallelism

所以，我有10个CPU核心和20个数据需要处理。我想并行处理数据，但我担心如果我一次处理20，就会产生一些问题。所以，我想处理10个数据2次。有什么命令可以这样做吗？数据采用文件格式。它是相当庞大的，每个文件可以达到10 It。在我看来，如果我启动10多个进程，PC会变得非常慢，甚至滞后。所以我把这个过程限制在10，等于核的数目。至于我的RAM，我相信处理文件的软件不会同时加载所有的东西，所以RAM<e

浏览 0提问于2018-11-07得票数 1

回答已采纳

1回答

如何在PowerShell中并行运行excel宏？

excel、vba、multithreading、powershell、parallel-processing

我想通过使用外壳(PowerShell)脚本打开多个excel实例来并行运行多个excel宏。关于shell中的并行处理的例子对我来说并不直观( shell脚本的新手)。$excel.Visible = $true $app = $excel.Application} 提供的代码执行我想要

浏览 11提问于2019-04-30得票数 1

3回答

并行高效地运行多个作业

linux、parallel-processing

OS:分-OS我所做的：我创建了40个不同的文件夹，并通过为每个目录创建一个shell脚本来并行执行作业。我想知道下一次处理这类工作的<

浏览 2提问于2014-03-06得票数 2

回答已采纳

2回答

并行运行npm脚本，充分利用处理器能力

performance、npm、webpack、build、frontend

我使用npm-run-all并行运行7个npm命令。如何利用所有处理器内核并行执行这些npm脚本？另外，我正在考虑运行一个shell脚本。然而，这也必须在windows中工作。

浏览 0提问于2018-12-28得票数 3

3回答

在启动新的子进程之前等待子进程完成

bash、shell、wait、gnome-terminal

我得处理十个很大的文件。每个文件需要大约两天的时间由my_profiler处理。我可以并行化工作，这样my_profiler就可以在每个文件上单独运行，从而使用系统的所有核心。我并行化工作的方法是同时在三个不同的终端上运行三个进程。我不能一次处理超过四个文件，或者我的系统开始失去响应(挂断)。我的目标是编写一个shell脚本，它将10个文件分批

浏览 1提问于2019-08-28得票数 2

回答已采纳

2回答

从perl确定父shell

perl、shell

到目前为止，我找到的最好的答案是：，但是它处理不同的平台( 'ps‘的输出在不同的平台之间有很大的不同)。有更好的方法吗？背景这将用于GNU并行:每个作业都是通过一个shell启动的。为了给用户提供最小的惊喜，这个shell应该与GNU并行启动时的<em

浏览 9提问于2014-05-29得票数 3

回答已采纳

3回答

Shell脚本中的并行处理或线程

shell、unix

我正在用shell编写一个脚本，其中一个命令正在运行，需要2分钟。每次都是这样。此外，我们对此也无能为力。但是如果我想在脚本中运行这个命令100次，那么总时间将是200分钟。这将产生一个大问题。我想要的是并行运行所有100个命令，这样输出将在2分钟内到来，或者可能需要更多时间，但不需要200分钟。如果有人能以任何方式帮助我，我将不胜感激。

浏览 1提问于2012-06-19得票数 10

2回答

在Jenkins中运行并行任务

jenkins

如何在Jenkins中实现并行？我使用Jenkins使用“使用ssh在远程主机上执行shell脚本”运行shell脚本。我想并行运行多个shell脚本，如何实现？

浏览 4提问于2014-04-07得票数 1

回答已采纳

1回答

多线程单个线程应用程序工作者

linux、queue、multi-threading、multiple-instances

服务器有6个内核，LibreOffice是单线程的。这意味着，生成一个pdf使用16.666%的总CPU能力。我可以启动6个无头办公实例(在6个不同的端口上)，并通过一些自定义代码确保每个工作请求都指向不同的实例。我必须检查所有6个实例何时都忙于工作，以便将工作保存在挂起的队列缓冲区中。我还必须管理超时/错误，以便重新启动特定的实例，并尝试重新执行导致问题的特定工作，可能还要再尝试1-2次，直到我放弃为止。上面的场景不会为单个文档使用100%的</em

浏览 0提问于2015-08-11得票数 3

1回答

同时从多个线程调用的shell脚本

java、shell、jakarta-ee、unix、aix

我使用Runtime.exec方法从java调用aix shell脚本。shell脚本接受一个文件名作为输入。根据文件名，脚本内部的操作是written.The，外壳的输出取决于输入参数。如果多个java线程同时并行调用shell脚本，会不会产生问题？(每个java线程可以使用不同的文件名调用脚本。)我必须为每个并行执行编写单独的shel

浏览 1提问于2013-02-18得票数 0

回答已采纳

1回答

如何使用make调用python脚本来并行处理数百个文本文件？

python-2.7、makefile

我在一个名为" in /“的文件夹中有数百个文本文件。我需要运行一个python脚本，每次获取一个文件，处理它并将其放入名为"out/“的文件夹中。我已经准备好了执行此操作的python脚本。由于要处理的文本文件数量非常大(10000个)，并且所有文件处理都是独立的，所以我想使用"make -j“来充分利用我的8核CPU。python $(SCRIP

浏览 1提问于2013-10-25得票数 2

2回答

是否可以并行执行多个配置单元查询

hadoop、hive、hiveql、hadoop2

我有一个脚本，它将读取和执行一次一个hql，但我想在一个time.Please执行多个hql，让我知道有什么方法可以做到这一点。

浏览 1提问于2017-08-07得票数 0

2回答

如何在oozie中执行并行作业

shell、hadoop、hdfs、oozie、oozie-coordinator

我在HDFS中有一个shell脚本。我用以下工作流程在oozie中安排了这个脚本。脚本针对args文件中的单个作业名运行。如何安排此shell脚本并行运行。执行此操作所需的步骤有哪些。我应该对工作流程进行哪些更改。我的s

浏览 4提问于2017-04-18得票数 5

2回答

并行执行多个子shell脚本的错误处理

shell、unix、error-handling、parallel-processing、ksh

我有几个需要并行运行的子shell脚本。为了并行运行这些脚本，我使用以下命令var_errsubshell脚本的错误。如果所有3个子subshell脚本都成功，我想返回状态为success，反

浏览 0提问于2016-05-28得票数 0

3回答

从PHP调用python脚本-并行请求问题

php、exec

我在由Nginx提供服务的php文件中通过exec阻塞函数调用Python脚本。它的工作方式与预期一致。Python脚本使用webdriver Chrome执行Selenium并返回xml输出。问题是当我在同一时间创建更多的请求(2个或更多)。第一个请求被处理(nginx，php，python)，第二个请求等待第一个请求完成。它们不是并行执行的。直接从shell执行的Python脚本可以毫无问题地<

浏览 0提问于2019-08-02得票数 0

1回答

使用xargs优化shell脚本进行并行处理

shell、parallel-processing、xargs、gnu-parallel

使用xargs的并行处理-在某些服务器上花费太多时间( ~8小时find

浏览 1提问于2019-07-12得票数 1

1回答

在python中多处理shell脚本

python、multithreading、shell

我的要求是运行一个shell函数或脚本与多个处理并行。目前，我完成了以下脚本，不使用多处理。另外，当我并行启动10个作业时，其中一个作业可能会提前完成，并不得不等待其他9个作业的完成。我想通过python中的多处理来消除这个问题。/new.sh $name $age &done我希望在启

浏览 4提问于2015-04-18得票数 2

回答已采纳

3回答

unix shell脚本中untar/remove的并行处理

shell、unix、parallel-processing、tar

问题：脚本如果任何untar/进程有任何错误，脚本应该返回一个错误。只有在成功完成N (untar和remove)进程之后才能返回成功。建议的解决方案： tar -C a -xvf b.tar for i in * rm -r $i & done

浏览 8提问于2012-05-03得票数 1

回答已采纳

点击加载更多