我在我的精密5520笔记本电脑和Google Compute Engine的c2-Standard-4上运行以下代码:
import multiprocessing as mp
import time
def foo():
before = time.time()
sum = 0
for i in range(1, 100000000):
sum += i
print(time.time() - before, sum)
for i in range(mp.cpu_count()):
mp.Process(target=foo).st
我不得不在一个数组中处理数千条记录。我做了正常的for循环,如下所示
for record in records:
results = processFile(record)
write_output_record(o, results)
上面的脚本花了427.270612955秒!
因为这些记录之间没有相关性。我使用了Python多线程模块,希望能加速这个过程。下面是我的实现
import multiprocessing
from multiprocessing.dummy import Pool as ThreadPool
pool = ThreadPoo