我写了一个python代码来进行遗传算法的优化，但是它太慢了。我想知道如何利用多个CPU在并行模式下运行相同的程序？
为了更清楚，我的代码将调用另一个python代码，比如说一个接一个调用100次，我想在4个CPU之间进行分配。因此，每个CPU要处理25倍的外部python代码。从而提高了速度。如果有人能帮我解决is问题，我将不胜感激。
提前感谢！
浏览 1提问于2015-01-19得票数 0
3回答
我有一个python程序，它执行几个独立且耗时的进程。python代码通常是一个自动机，它通过popen调用几个批处理文件。
这个程序目前需要几个小时，所以我想把它分散到多台机器上。如何通过intranet网络拆分任务，以便与python并行处理？
浏览 1提问于2011-05-30得票数 6
回答已采纳
给出下面的Python示例，我想知道如何用Haskell实现同样高效和并行的等价代码。
Python中的第一个示例:函数图
f = lambda x: 2*x
print map(f, [1,2,3,4])
Python中的第二个示例: functional reduce
g = lambda x,y: x*y
print reduce(g, [1,2,3,4], 1)
我希望Haskell中的并行代码能够有效地利用多核处理器。
注意:这些只是玩具示例，我不打算对这些玩具示例进行加速。它们只是为了说明如何实现与Haskell并行的运算符map和reduce。
浏览 0提问于2016-02-14得票数 0
给出了一个非常好的例子，说明了如何使用bz2纯粹用Python语言压缩非常大的文件集(或大文件)。
说，通过利用并行压缩可以做得更好。据我所知(和Google搜索)，我找不到一个与纯Python代码相同的Python代码。
有没有针对pigz的并行Python实现或类似的实现？
浏览 0提问于2017-03-18得票数 8
我有一个python脚本，在其中我使用subProcess运行两个命令。我希望这些命令并行运行。当我在我的机器上运行python脚本时，这些命令确实并行运行，但是当我通过Jenkins运行脚本时，它会一个接一个地运行它们。如何在jenkins中并行运行这些命令？
reg_path = os.environ['PWD']
command1 = f'python3 {python_script_path} {reg_path} '
command2 = f'python3 {python_script_path} {reg_path}
浏览 3提问于2022-09-16得票数 -1
1回答
我有一个python脚本，通常使用以下命令并行运行
mpirun -n x script.py
有没有可能将这段并行的python代码嵌入到C程序中？
也就是说，python.org描述了如何在C 中嵌入python代码。例如。
#include <Python.h>
int
main(int argc, char *argv[])
{
Py_SetProgramName(argv[0]); /* optional but recommended */
Py_Initialize();
PyRun_SimpleString("from time import
浏览 0提问于2014-09-11得票数 0
我是python的新手，我有一个用python 3.3.2 (32位)编写的大型代码库。它使用numpy 1.7.1，由于计算密集，需要很长时间才能运行。
我需要并行化代码来提高性能。我正在考虑使用pypy进行并行化，但不确定如何将其与现有代码一起使用。
我已经在谷歌上搜索过了，但找不到合适或满意的答案。我也读过关于使用cython的文章，但我也不确定如何使用它。
有没有人能给我一些提高代码性能的建议？
浏览 1提问于2014-07-17得票数 0
3回答
我有一个python脚本domaincheck.py和一个json文件domain.json，如果我可以对任何domainname进行查找，这将为我提供查询域的name。
#Usage 1 : python domaincheck.py cnn.com
#Usage 2 : python domaincheck.py bbc.com
#Result 1 : CNN
#Result 2: BBC
现在，我有一个输入文件set_3.txt，它大约有65000行域。我编写了一个小的shell逻辑来进行批处理。
$for i in $(cat set_3.txt); do python
浏览 8提问于2016-04-14得票数 0
回答已采纳
我有FOLDER1 FOLDER2 FOLDER3。所有这些都包含一个PYTHON_CODE.py，，所有的文件夹都位于同一个位置。如何从这三个文件夹中运行所有三个PYTHON_CODE.py？
是否有可能让它们同时运行，而而不是，就像FOLDER1的第一次FOLDER1的结束，然后是第二次和第三次(同样不是这样)。
浏览 4提问于2021-05-24得票数 0
我正在尝试并行化一些工作，这些工作在我的mac上运行(MacOS10.7下的Pyton 3.2.2 )，但在Linux集群上运行时出现以下错误，我在那里获得了4个内核并访问了Python 3.2。错误消息会一直持续，直到我手动中断执行。
Exception in thread Thread-2:
Traceback (most recent call last):
File "/n/sw/python-3.2/lib/python3.2/threading.py", line 736, in _bootstrap_inner
self.run()
File &#
浏览 0提问于2011-09-17得票数 0
回答已采纳
3回答
我正在使用python脚本在图像中执行一些计算，并将获得的数组保存到一个.png文件中。我处理3000到4000张图片。为了执行所有这些操作，我使用了Ubuntu中的shell脚本。它可以完成工作。但是有没有办法让它变得更快。我的机器里有4个内核。如何使用它们。我使用的脚本如下
#!/bin/bash
cd $1
for i in $(ls *.png)
do
python ../tempcalc12.py $i
done
cd ..
tempcalc12.py是我的python脚本
这个问题可能微不足道。但我对编程真的很陌生。
谢谢
浏览 0提问于2014-12-29得票数 2
1回答
我尝试了与此代码片段类似的代码。 ft.dfs(entityset = es,
target_entity = ...,
n_jobs=-1,) # or n_jobs=40 但它似乎不能在有40个线程的机器上工作： S CPU% MEM% TIME+ Command
S 0.0 0.7 0:00.00 python test.py
S 0.0 0.7 0:00.00 python test.py
S 0.0 0.7 0:00.00 python test.py
S 0.0 0.7 0:00.00 python test.py
浏览 25提问于2021-09-13得票数 0
同时运行多个python脚本的最快方法是什么？
我发现了两种方法，但它们如何比较(优点和缺点)？还有更快的方法吗？
方法1)使用bash脚本：
python pre_process.py --with_some_different_option &
python pre_process.py --with_some_different_option &
... n times
方法2)使用python：
from multiprocessing import Pool
pool = Pool(n) # or whatever number of cores
df_list =
浏览 0提问于2020-04-02得票数 0
1回答
假设我有一个C(++)函数，它接受一个整数，并通过python api绑定到(C)python，所以我可以从python调用它：
import c_module
c_module.f(10)
现在，我想将其并行化。问题是: GIL在这种情况下是如何工作的？假设我有一个要处理的数字队列，并且一些工作者(threading.Thread)并行工作，每个工作者都调用c_module.f(number)，其中number是从队列中获取的。
与通常的情况不同的是，当GIL锁定解释器时，现在您不需要解释器来计算c_module.f，因为它是编译的。所以问题是:在这种情况下，处理真的是并行的吗？
浏览 3提问于2010-05-13得票数 3
回答已采纳
在Python中，我有一个任务要完成X次，我将使用LSF来加快速度。最好是提交一个包含多个Python脚本的作业，这些脚本可以在并行中单独运行，还是一个使用多处理器模块的脚本呢？
我的问题是，我不相信LSF知道如何将Python代码分成几个进程(我不知道LSF是如何做到这一点的)。但是，我也不希望有几个Python脚本在周围浮动，因为这看起来效率低下，没有条理。
手头的任务包括解析6个非常大的ASCII文件，并将输出保存在Python中供以后使用。我想并行地解析这六个文件(每个文件大约需要3分钟)。LSF允许Python告诉它“嗨，这里有一个脚本，但是你要把它分成这六个过程”吗？LSF需要Py
浏览 2提问于2014-05-27得票数 3
回答已采纳
我使用了一个稍作修改的wordcount示例(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/wordcount.py)，将流程函数替换为以下内容： def process(self, element):
"""Returns an iterator over the words of this element.
The element is a line of text. If the line is blank, note that, to
浏览 12提问于2020-06-25得票数 3
回答已采纳
1回答
用于乘法的分布式计算
、、、
你能告诉我如何在python中使用最多O(N^1.63)个处理器在O(N)并行时间内将两个M位长的整数相乘吗？我认为karatsuba算法可以工作，但我不明白如何并行实现它。
浏览 28提问于2020-04-13得票数 0
1回答
我试图用GNU并行运行一个python脚本。除了在python脚本中使用的atexit例程之外，一切似乎都正常。在ctrl+c之后，parallel似乎正在杀死python进程，而没有给python一个调用注册的atexit例程的机会。如何对子进程进行更好的并行处理？ 这里有一个例子来说明这种行为。 test_signal.py： #!/usr/bin/env python3
import time
import sys
import atexit
def cleanup():
print('cleanup called', flush=True)
atexit
浏览 20提问于2021-09-02得票数 3
回答已采纳
3回答
我想在我的笔记本电脑上同时运行两个python脚本，而不会降低它们的计算速度。
我搜索了一下，看到说我们应该使用bash文件。我已经搜索过了，但我不知道我应该做什么，以及如何使用这种称为bash的方式运行这些脚本。
python script1.py &
python script2.py &
我在这方面经验不足，我需要你的专业意见。我不知道该怎么做，在哪里做，怎么做。我使用的是Windows 64位。
最好的
PS: The answer I checked the mark is a way to run in parallel two tasks, but it does
浏览 94提问于2019-02-28得票数 5
回答已采纳
我使用的是由两个套接字(DUT)组成的TestStand。每个DUT连接一个串行接口来发送/接收数据。现在我有了一个pyhton脚本，它打开串行接口并交换数据。python脚本使用Com-端口号作为输入参数。
到目前为止，python脚本适用于DUT 1或DUT2，没有任何问题。现在，我想在TestStand中实现和使用这个python。
问题：
是否可以使用TestStand并行执行这个python脚本？
如果是，我需要如何设置TestStand才能并行运行测试？
在使用批处理模型时，我确实可以访问两个DUT2，但数据不是并行的，而是按顺序进行的(首先是DUT1，然后是DUT
浏览 3提问于2022-07-15得票数 0
我使用的是python3，在其中，我使用rpy2包访问R，传入完成繁重计算的R代码，并将结果返回给python。特别是，我正在使用R (documentation )的lfe函数。
我想知道哪个选项更好:在python中进行并行化还是在R中进行并行化，这有关系吗？为什么我们要怀疑其中一个比另一个更有效呢？谢谢。
浏览 18提问于2017-02-03得票数 1
回答已采纳
要运行某些脚本，我需要特定版本的python (3.7.1)。在我的电脑上我有python 3.7.3
用于创建虚拟环境，我使用：
python -m venv virtual
这给了我完全功能的python，但在3.7.3版中，我需要3.7.1
如何才能做到这一点？
浏览 0提问于2019-07-10得票数 0
我已经使用Selenium构建了几个测试用例，作为独立的python类。我可以使用Selenium RC来运行它们。最终，我希望使用Selenium Grid来运行所有的测试用例。
我该怎么做呢？
我是否需要某种包装器来将python测试用例包装在一起？如何让Selenium Grid运行这些集合？
谢谢你的帮助。
浏览 0提问于2010-09-17得票数 1
回答已采纳
有时使用make和make安装mysql或python，这些过程非常慢。
云如何在centos中加速make或make install的过程？
浏览 18提问于2020-05-14得票数 0
我有一个python脚本，我希望大致这样做：
调用数组中的一些粒子位置
在所有512^3个位置上运行算法，将它们分配到NxNxN矩阵
将矩阵反馈给python
使用python中的绘图来可视化矩阵(即mayavi)
首先，我必须用串行方式编写它，但理想的情况是，我希望将步骤2并行化，以加快计算速度。什么工具/策略能让我开始。我非常了解Python和Fortran，但对于如何将这两者连接起来，我对我的特殊问题知之甚少。目前，我正在Fortran做所有的事情，然后加载我的python程序--我想一次完成所有的工作。我听说过py2f，但我想在进入一个特定的兔子洞之前获得经验丰
浏览 0提问于2012-12-13得票数 5
回答已采纳
如果我有两个名为test1.py和test2.py的python程序，那么如何在终端中并行运行它们呢？有吗？
python test1.py|python test2.py
这么做？
浏览 3提问于2016-10-11得票数 0
回答已采纳
1回答
我想在并行运行100个文件的for-循环中使用shell记事本.
目前，我有以下格式的shell脚本：
#!/bin/bash
NUM=10
python a1.py $((NUM + 0)) &
python a2.py $((NUM + 2)) &
python a3.py $((NUM + 4)) &
python a4.py $((NUM + 6)) &
python a5.py $((NUM + 8)) &
如果我有a1.py，a2.py，a3.py .a100.py，我想并行地运行它们，如何在for-循环中实现？
浏览 0提问于2018-12-24得票数 6
回答已采纳
1回答
我想用Python实现并行快速排序。我知道快速排序，你必须选择一个透视，分区，但是如何在Python中将它们派生为独立的任务？
下面是它的伪代码：
QS(A[1:n])
if n=1 then return A[1]
pivot <--any value from A (random)
L <- A[A[:] < pivot]
R <- A[A[:] > pivot]
A(L) <- spawn QS(L)
A(R) <- QS(R)
sync
return A(L) ++ A(R)
浏览 0提问于2019-08-16得票数 2
我使用的是Python和Selenium Webdriver。我有一组包装在testSuite中的testCases，我希望它们可以并行运行，而不管它们的testCase配置如何(其中一些将在本地运行，而另一些将通过saucelabs运行)。
我遇到了。这应该是一个杀手，但它就是不能在我的单位正确运行。我试着运行代码，安装了twisted.python (脚本的先决条件)，zope-interface (twisted.python的先决条件)，但我得到了以下错误：
Unhandled Error
Traceback (most recent call last):
File "C
浏览 0提问于2013-01-10得票数 1
回答已采纳
我想运行parallel "python test.py --flag1 {}" ::: '--flag2 --flag3' '--flag4 --flag5'，但我的python无法解析标志并执行 当我尝试模拟运行时，输出是 python test.py --flag1 --flag2\ --flag3
python test.py --flag1 --flag4\ --flag5 我怎样才能使并行不脱离标志之间的空格呢？例如，不带转义字符的python test.py --flag1 --flag2 --flag3 几乎尝试了所有相关的搜
浏览 11提问于2020-09-05得票数 2
回答已采纳
在谈到异步I/O时，我想了解在Linux中使用的接口和中使用的接口之间的区别。当我想在C代码中实现异步I/O时，使用前者，在python代码中使用后者。据我所知，python中的concurrent.futures是一种基于线程的技术，它将回调附加到线程，以便稍后可以对其状态进行轮询。但是，我不知道POSIX是如何工作的！它也是基于线程的吗？
谢谢
浏览 0提问于2018-07-23得票数 0
回答已采纳
我正在尝试创建一个批处理脚本，它并行运行2个python脚本，如果其中一个脚本(或两者都是错误的)返回一个错误代码。如果这两个脚本都正确运行，则应该运行下一个python脚本。
当我使用下面的脚本时，进程将并行运行，但是！错误级别！总是0，即使这两个脚本都有错误。
如果我只使用start /wait命令运行了一个python脚本，或者如果我使用&&而不是_是否正确返回。
如何在仍然输出正确的错误级别的同时并行运行这些脚本？
setlocal enableDelayedExpansion
start /wait python apirequest_0001.py | start
浏览 4提问于2022-02-10得票数 1
回答已采纳
我正在使用Alpca创建一个使用Python的股票交易算法。我可以通过web套接字流引号和分钟栏数据，使用：
socket = "wss://data.alpaca.markets/stream"
ws = websocket.WebSocketApp(socket, on_open=on_open, on_message=on_message,
on_close=on_close)
ws.run_forever()
但是，我需要同时从不同的套接字中流trade_update数据：
socket = "wss://paper-
浏览 4提问于2022-02-02得票数 0
回答已采纳
我有一组kafka-python消费者，他们持续并行地使用不同的kafka主题。
我的问题是，如何使用单个python脚本并行启动消费者？管理(启动/停止/监视)这些消费者的最佳方式是什么？
如果我写下ex: run.py
import consumer1, consumer2, consumer3
consumer1.start()
consumer2.start()
consumer3.start()
它只是挂起在consumer1.start()上，因为脚本不返回任何值并保持运行。
浏览 1提问于2018-03-23得票数 0
3回答
我在文本文件中有一个难看的JSON对象列表，每行一个。我想让他们很好地打印，并将结果发送到一个文件。
我尝试使用命令行python版本的json.tool：
parallel python -mjson.tool < jsonList
但是，当python的json.tool试图将其作为多个参数打开并抛出时，在解析这个json时似乎出现了一些问题：
IOError: Errno 2没有这样的文件或目录：{行内容，其中包含单引号、空格、双引号}
我如何强迫它将每个行分隔的对象作为模块的一个参数处理？在python中直接打开文件并对其进行串行处理是一个效率低下的解决方案，因为该文件是巨大的。
浏览 9提问于2013-08-22得票数 1
回答已采纳
7回答
我有为共享内存机器(在C和FORTRAN中)编写OpenMP代码以执行矩阵加法、乘法等简单任务的经验(看看它是如何与LAPACK竞争的)。我对OpenMP有足够的了解，可以执行简单的任务，而不需要查看文档。
最近，我转到Python进行我的项目，除了绝对的基础之外，我对Python没有任何经验。
我的问题是：
在Python中使用OpenMP最简单的方法是什么？最简单的，我指的是在程序员方面花费最少的精力(即使它是以增加系统时间为代价的)？
我之所以使用OpenMP，是因为串行代码可以转换成一个工作的并行代码，其中分散着几个!$OMP代码。实现粗略并行化所需的时间少得惊人。有没有办法在Pyth
浏览 22提问于2012-07-06得票数 82
回答已采纳
到目前为止，所有的示例/教程都在讨论如何在集群上多次执行一行代码、单个python脚本或单个可执行文件，以获取不同类型的输入等。
在我的例子中，我有一个名为main.py的主python脚本，它使用了几个子目录中的模块，还有一个子目录，其中包含要使用的共享C库。如果我只告诉slurm执行main.py，比如说，使用以下脚本：
#!/bin/sh
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 4
#SBATCH --mem=10
#SBATCH -t 0:01:00
module load python
python main
浏览 6提问于2018-02-09得票数 2
回答已采纳
我正在做一个关于在python中应用超像素方法的项目。我使用了slic()函数，但由于图像非常大，程序需要几分钟来运行所有代码。我注意到slic()函数只使用1个CPU。当我使用MATLAB来做我在python中所做的同样的事情时，我使用了一个叫做superpixels()的函数，这个函数使用了我的计算机的所有资源(也就是GPU)，所以这意味着运行所有的代码只需要几秒钟。
因此，我想知道如何改进python slic()函数以使其更快。我可以从哪里获得slic()函数的代码？
或者是我做错了什么？
浏览 6提问于2018-04-15得票数 1
1回答
并行运行Python培训器脚本
、、、、
我有一个python3训练器命令，用于输入
trainer.py脚本fileName
日期
输入数据文件
输出参数文件
我想调用这个命令的日期为10个(增量，即+1)，结果产生10个输出文件。其他两个输入文件对所有10个命令都是相同的。我想知道如何通过10个线程(Linux)并行调用这些命令。
浏览 1提问于2018-02-13得票数 1
回答已采纳
我试图在mpi4py python脚本: hello.py上运行16个实例。我存储在这类的s.txt 16命令中：
python /lustre/4_mpi4py/hello.py > 01.out
我是通过aprun命令在Cray集群中提交的，如下所示：
aprun -n 32 sh -c 'parallel -j 8 :::: s.txt'
我的目的是在time.The脚本中的每个节点运行8个这样的python作业，运行时间超过3个小时，并且没有创建任何*.out文件。从PBS调度器输出文件中，我得到了以下内容：
Python version 2.7.3 loaded
浏览 5提问于2017-04-20得票数 1
回答已采纳
我们如何使用python连接器连接到snowflake并执行多个sql语句，而不是编写多个cursor execute()？ 如果我们有一个sql脚本，我们可以使用python snowflake连接器来运行这个脚本吗？有没有更好的连接snowflake的方法？ import snowflake.connector
ctx=snowflake.connector.connect(
user=user,
password=password,
account=account
)
cs=ctx.cursor()
query="select * from table;
浏览 7提问于2019-08-28得票数 0
关于mongodb db和collect的快速问题，我已经设置并尝试使用python来更新每个文档。 基本上，我有一个大约260万条邮政编码记录的集合，并有我的python脚本，它使用邮政编码作为键从csv文件中获取数据。 所有邮政编码都是唯一的，DB和CSV都有相应的密钥。我导入的数据本身并不重要，这更多的是为了找到使用python更新文档的最佳方法，因为我稍后将计划用更有意义的数据做一些事情。我在mongo集合中的postcode列中添加了一个索引，但这似乎并没有加快处理速度。 当我运行下面的代码时，似乎每个文档需要大约1秒的时间来更新，正如您可以猜到的那样，等待更新所有这些记录的时间太
浏览 60提问于2019-03-25得票数 1
可以并行化python CRFSuite ()吗？我认为CRF++支持并行化，所以我猜肯定也有一些钩子来启用CRFsuite的并行化。
浏览 4提问于2016-06-21得票数 5
3回答
当我使用python运行脚本时，我遇到了问题。我还没有在python中进行任何并行化，也没有调用任何mpi来运行脚本。我只是执行"python“，它应该只使用1个myscript.py。
但是，当我查看命令"top“的结果时，我看到python使用了几乎390%的cpus。我有一个四核，所以有8个线程。我认为这并不能帮助我的脚本运行得更快。因此，我想了解python为什么要使用多个cpu，并阻止它这样做。
有趣的是，当我运行第二个脚本时，这个脚本也占了390%。如果我运行第三个脚本，每个脚本的cpu使用率都会下降到250%。不久前，我在matlab上也遇到了类似的问题，我解决的
浏览 0提问于2012-05-03得票数 1
我正在学习如何使用Python进行自然语言处理。需要NLTK模块。我安装了Python和NLTK，一切都很好。当我试图升级Python时，NLTK安装就消失了。我现在在终端上使用Python2.7.5(在Mac上)，不可能安装NLTK。我遵循了NLTK网站上的说明，但是没有任何工作，我得到的错误是没有像NLTK这样的模块。我下载了Python3.3并试图通过Eclipse安装NLTK，但同样，没有任何工作。如何使用eclipse在Python3.3上安装NLTK，或者如何使用Python2.7.5通过终端安装NLTK？我如何分类太多Python版本的混乱？谢谢!
浏览 4提问于2013-11-19得票数 1
1回答
是否有可能从由gnu并行生成的脚本的多个运行中调用gnu并行？
我有一个用于运行序列迭代的python脚本，在每次迭代的某个地方，有4个值是并行计算的(使用gnu并行)。现在我想同时生成多个这样的脚本，再次使用gnu并行。这个是可能的吗？gnu并行是否能很好地利用可用的核心？
例如，如果在内循环中，在4个值中，2个已经完成，2个正在运行，因此在计算所有4个值之前，单个脚本无法继续下一个迭代。这两个自由内核会被用来自动计算不同脚本运行的结果吗？如何指定可用内核的总数？在内部调用并行调用还是外部调用？
问题表明嵌套并行调用是可能的，但我不确定当我从脚本中调用嵌套并行时，这种情况是否会改变。
‘.’
浏览 0提问于2014-07-31得票数 11
回答已采纳
2回答
我有一个python脚本，它接受这样的论点。
conda激活碱基python myScript.py arg1
我通过ssh连接到我的服务器，所以不会有窗口系统。我想用我的脚本并行运行5个不同的程序。就像，
#!/bin/bash
conda activate base
for i in arg1 arg2 arg3 arg4 arg5
do
python myScript.py $i
done
但这只会让代码一个接一个地运行。如何并行运行？
浏览 3提问于2020-03-21得票数 2
回答已采纳
我有一个很重要的输入管道，它包括读取基本事实和原始数据，并对它们执行预处理，用Python编写。为一个样本运行输入管道需要很长时间，所以我让多个进程(来自python多处理包)并行运行和排队，以便快速执行操作并预取数据。然后使用feed_dict将输出提供给我的网络。在我的训练循环中，这个过程的开销比实际的tf.Session.run()时间少2个数量级。我试图转移到tf.data应用程序接口，通过包装tf.py_func我的read+preprocess函数，但它运行很慢，可能是由于GIL，即使增加了多个调用的数量。我希望将我的训练扩展到多台机器上，但不确定在这种情况下数据获取的行为如何，而
浏览 63提问于2018-04-25得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
