在python上运行不同核心的方法
在Python中，可以使用多种方法来运行不同核心的代码。以下是一些常见的方法：
- 使用
multiprocessing库：multiprocessing库是Python的标准库之一，可以用于创建多个进程，每个进程可以在不同的核心上运行。
import multiprocessing
def my_function(x):
# 在这里编写你的函数代码
if __name__ == '__main__':
processes = []
for i in range(4): # 假设你有4个核心
p = multiprocessing.Process(target=my_function, args=(i,))
processes.append(p)
p.start()- 使用
concurrent.futures库：concurrent.futures库是Python 3.2及更高版本中的标准库之一，可以用于创建多个进程或线程，每个进程或线程可以在不同的核心上运行。
import concurrent.futures
def my_function(x):
# 在这里编写你的函数代码
with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor: # 假设你有4个核心
results = list(executor.map(my_function, range(4)))- 使用
joblib库：joblib是一个基于multiprocessing库的高级库，可以用于创建多个进程，每个进程可以在不同的核心上运行。
from joblib import Parallel, delayed
def my_function(x):
# 在这里编写你的函数代码
results = Parallel(n_jobs=4)(delayed(my_function)(i) for i in range(4)) # 假设你有4个核心- 使用
threading库：threading库是Python的标准库之一，可以用于创建多个线程，每个线程可以在不同的核心上运行。
import threading
def my_function(x):
# 在这里编写你的函数代码
threads = []
for i in range(4): # 假设你有4个核心
t = threading.Thread(target=my_function, args=(i,))
threads.append(t)
t.start()需要注意的是，Python的全局解释器锁（GIL）限制了多线程的性能，因此在某些情况下，使用多进程可能比多线程更有效。此外，在某些情况下，使用异步编程（如asyncio库）可能比多线程或多进程更有效。
相关·内容
2回答
多线程Python程序比单线程程序更快用于CPU绑定任务
python、multithreading
编辑:原来这种奇怪的行为只发生在我的WSL ubuntu中的python中。否则，顺序运行比多线程运行更快。
我理解，对于CPython来说，一般情况下，多线程只是在使用同一个CPU核的同时切换上下文，而不是使用多个CPU核，比如在启动了多个python解释器实例的多处理时。
我知道这使得多线程对于I/O绑定的任务是好的，如果做得正确的话。尽管如此，与CPU绑定的任务实际上将更慢与多线程。因此，我试验了3个代码片段，每个代码片段都执行一些CPU绑定计算。
示例1:按顺序运行任务(单个thread)Example 2:在不同线程中运行每个任务(Multithreaded)Example 3:在单
浏览 2提问于2022-08-20得票数 0
1回答
有没有办法并行运行预加载的Keras模型的“预测”？
python、tensorflow、keras、parallel-processing、joblib
我有一个类，在这个类中我实例化了一个Keras模型来执行预测。这个类的组织方式如下：
class MyClass():
def __init__(self):
self.model = None
def load(path):
self.model = tf.keras.models.load_model(path_)
def inference(data):
#...
pred = self.model.predict(data)
#...
浏览 5提问于2021-09-30得票数 2
2回答
编写并行循环
python、windows、parallel-processing、joblib
我试着在一个简单的例子上运行一个并行循环。
我做错了什么？
from joblib import Parallel, delayed
import multiprocessing
def processInput(i):
return i * i
if __name__ == '__main__':
# what are your inputs, and what operation do you want to
# perform on each input. For example...
inputs = range(
浏览 0提问于2015-11-19得票数 15
回答已采纳
1回答
如何在python中捕获Joblib/并行异常？
exception-handling、try-catch、python-multiprocessing、python-multithreading、joblib
我为joblib的Parallel, delayed提供了一个用例。我包含了一些在特定条件下终止工人的功能。然而，当我这样做时，我会随机生成JoblibWebdriverException、Multiprocessing exception、JoblibURLerror或error。
令我非常高兴的是，我没有找到任何关于如何在/catch中定义异常的章节。
当我这么做时：
try:
Parallel(delayed(function))
except (JoblibWebdriverException | error | 'Multiprocessing
浏览 2提问于2018-01-22得票数 5
回答已采纳
2回答
如何告诉Pool每个进程使用一定数量的核心？
python、multiprocessing、pool
我正在使用multiprocessing.Pool并行化一个项目中的一些计算。我怎样才能告诉Pool使用n(例如。4)每个并行进程的核心？
假设我有8个核心。这段代码会确保每个并行进程在4个核上运行吗？
from multiprocessing import Pool
def fun(in):
print(in)
pool = Pool(2)
pool.map(fun, [1, 2, 3, 4, 5, 6])
浏览 0提问于2019-05-24得票数 0
回答已采纳
1回答
在线程处理和多处理之间进行选择时的问题
python、multithreading、multiprocessing、joblib
使用joblib.Parallel并行化代码有问题。当后端为threading时，其工作方式如下所示，结果如下所示。这意味着两个print都显示了预期的结果。当将后端更改为multiprocessing时，代码
运行速度更快的第一次打印按预期运行第二次打印(这是最终结果)是None，完全忽略了它打印的
这里有一个类似的MWE：
from joblib import Parallel, delayed
def E_th(i,tt,out_list):
out_list[tt] = tt+i
print(out_list[tt])#>> prints correct
浏览 7提问于2022-06-28得票数 0
回答已采纳
2回答
在使用带有导入函数的joblib时出错
python、import、parallel-processing、multiprocessing、joblib
我使用joblib并行处理我的python3.5代码。
如果我这样做了：
from modules import f
from joblib import Parallel, delayed
if __name__ == '__main__':
Parallel( n_jobs = n_jobs,backend = "multiprocessing")(delayed(f)(i) for i in range( 10 ))
密码不起作用。相反：
from joblib import Parallel, delayed
def f( i ):
浏览 8提问于2017-10-19得票数 7
2回答
如何使用Python填充全局变量？
python、multiprocessing、global-variables、joblib
我想并行运行一些代码，并用Python中的结果填充一个全局变量。我编写了一个示例代码来检查 know 的行为，但我不知道如何返回结果。示例代码是：
import numpy as np
import multiprocessing
from joblib import Parallel, delayed
global_var = np.zeros(10)
def populate(idx):
print('I am core',idx,'\')
global_var[idx] = idx
num_cores = multiprocessing.
浏览 0提问于2018-04-27得票数 6
2回答
尽管有GIL，python多线程程序如何能够同时在不同的CPU内核上运行？
python、python-3.x、multithreading
在这段视频中，展示了多线程是如何在物理(英特尔或AMD)处理器内核上运行的。
和
所有这些链接基本上都是：
Python线程不能利用许多物理内核。这是由于一个名为GIL (全局解释器锁)的内部实现细节，如果我们想利用CPU的多个物理核，我们必须使用真正的并行multiprocessing模块。
但是当我在笔记本电脑上运行下面的代码时
import threading
import math
def worker(argument):
for i in range(200000):
print(math.sqrt(i))
return
for i in
浏览 9提问于2021-06-15得票数 0
回答已采纳
1回答
在列表中并行编写python和joblib
python、parallel-processing
我使用joblib并行工作，我想将结果并行写入列表中。
为了避免出现问题，我预先创建了一个ldata = []列表，以便可以方便地访问它。
在并行化期间，数据在列表中可用，但当它们放在一起时就不再可用了。
如何并行保存数据？
from joblib import Parallel, delayed
import multiprocessing
data = []
def worker(i):
ldata = []
... # create list ldata
data[i].append(ldata)
fo
浏览 7提问于2020-02-24得票数 0
回答已采纳
2回答
如何线程生成器
python、multithreading、joblib
我有一个生成器对象，它加载大量数据并占用系统的I/O。由于数据太大，无法同时放入内存中，因此使用了生成器。我有一个使用者，所有的CPU都用来处理生成器产生的数据。它不会消耗很多其他资源。是否可以使用线程来交织这些任务？
例如，我想下面的简化代码可以在11秒内运行。
import time, threading
lock = threading.Lock()
def gen():
for x in range(10):
time.sleep(1)
yield x
def con(x):
lock.acquire()
time.sleep(1
浏览 4提问于2021-06-13得票数 1
回答已采纳
1回答
为什么下面的简单并行化代码要比Python中的简单循环慢得多？
python、arrays、function、parallel-processing
一个计算数字平方并存储结果的简单程序：
import time
from joblib import Parallel, delayed
import multiprocessing
array1 = [ 0 for i in range(100000) ]
def myfun(i):
return i**2
#### Simple loop ####
start_time = time.time()
for i in range(100000):
array1[i]=i**2
p
浏览 2提问于2017-10-13得票数 6
回答已采纳
2回答
用于并行处理的ThreadPool和池
python、multithreading、parallel-processing、pool
有没有一种方法可以在Python语言中同时使用ThreadPool和Pool，通过指定您希望使用的CPU和核心的数量来并行化循环？
例如，我会让一个循环执行为：
from multiprocessing.dummy import Pool as ThreadPool
from tqdm import tqdm
import numpy as np
def my_function(x):
return x + 1
pool = ThreadPool(4)
my_array = np.arange(0,1e6,1)
results = list(tqdm(pool.imap(my
浏览 0提问于2018-07-31得票数 0
1回答
需要帮助来并行化这段代码
python、python-3.x、parallel-processing、joblib
我在并行化下面的Python代码时遇到了麻烦，可能真的需要一些帮助。
首先，输入是一个CSV文件，其中包含我需要用scrape_function()函数抓取的网站链接列表。原始代码如下所示，运行良好
with open('C:\\links.csv','r') as source:
reader=csv.reader(source)
inputlist=list(reader)
m=[]
for i in inputlist:
m.append(scrape_code(re.sub("\'|\[|\]",
浏览 1提问于2018-05-21得票数 2
2回答
无论有多少进程，多处理总是比单个进程更糟糕。
python、multiprocessing
我正在使用Python3中的multiprocessing来尝试和理解它是如何工作的，以及何时使用它是好的。
我的例子是基于，这是非常古老的(2012年)。
我的电脑是一个Windows，4个物理核，8个逻辑核。
优先:非分段数据
首先，我试图强行计算一百万个值的numpy.sin。百万值是单个块，而不是分段的。
import time
import numpy
from multiprocessing import Pool
# so that iPython works
__spec__ = "ModuleSpec(name='builtins', loader=
浏览 4提问于2020-04-29得票数 2
回答已采纳
1回答
多进程是否在一个核心上运行？
python、selenium、selenium-webdriver、multiprocessing、cpu-cores
我正在阅读selenium的多进程处理，以了解它相对于用selenium进行多线程处理的优势。
我知道计算机有核，例如我的有4，而计算机有逻辑核，例如我的也有4。
我想要理解的是，当我使用多重处理时，所有这些都是在一个核心上完成的，如果是这样的话，那么是哪一个呢？就像我的电脑或其他核心正在使用的主核一样。
是否也可以选择在一个核心上需要多少进程，并且是否应该有限制。
我的问题如果不清楚的话：
多进程是否全部发生在一个核心上？
可以选择在核心上需要多少进程吗？
应该限制在核心上有多少进程
- If there should be a limit what is the best way to w
浏览 4提问于2020-10-15得票数 1
回答已采纳
1回答
Concurrent.futures使用指南-一个使用线程和处理的简单示例
python、multithreading、python-3.x
我希望使用模块对我的程序进行并行处理/线程处理。
不幸的是，我似乎找不到任何好的，简单的，白痴的例子使用concurrent.futures模块。他们通常需要更多关于python或处理/线程概念和术语的更高级知识。
下面是基于我的程序的一个简化的、独立的示例:有一个纯CPU绑定的任务适合多处理，还有一个单独的IO绑定任务插入到数据库(SQLite)中。在我的程序中，我已经将它转换为使用多处理池类，但是由于来自CPU绑定任务的结果都被收集起来，等待任务完成，所以它使用了大量的内存。因此，我希望使用线程/处理的组合，我相信concurrent.futures可以为我做到这一点。
那么，我如何将下面
浏览 2提问于2013-12-26得票数 9
回答已采纳
3回答
Python多处理需要更多的时间。
python、multiprocessing
我有12核和28 12内存的服务器。我正在运行两个版本的Python；一个带有多处理，另一个是顺序的。我期望Multiprocessing.py比Sequential.py更早完成，但是多处理代码比顺序代码(25秒)多5倍(120秒)。
Multiprocessing.py
import os,multiprocessing,time
def cube(x):
print(x**3)
return
if __name__ == '__main__':
jobs = []
start = time.time()
for i in range
浏览 5提问于2015-08-15得票数 1
回答已采纳
1回答
Python joblib性能
python、parallel-processing、joblib
我需要运行一个令人尴尬的并行for循环。经过快速搜索，我找到了python的joblib包。我做了一个简单的测试，就像在包的网站上发布的一样。下面是测试结果
from math import sqrt
from joblib import Parallel, delayed
import multiprocessing
%timeit [sqrt(i ** 2) for i in range(10)]
result: 3.89 µs ± 38.9 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
num_cores = m
浏览 26提问于2018-01-20得票数 1
1回答
内存泄漏在哪里？如何在python中的多处理过程中超时线程？
web-scraping、screen-scraping、python-multiprocessing、python-multithreading、joblib
目前尚不清楚如何正确超时python中joblib的Parallel的工作人员。其他人也有类似的问题-- 、、和。
在我的示例中，我使用了一个由50个joblib工作人员组成的具有threading后端的池。
并行调用(线程)：
output = Parallel(n_jobs=50, backend = 'threading')
(delayed(get_output)(INPUT)
for INPUT in list)
在这里，Parallel只在len(list) <= n_jobs时挂起就没有错误，但只有在n_jobs => -1
浏览 0提问于2018-01-31得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
