Python简单的ProcessPoolExecutor示例不起作用
ProcessPoolExecutor是Python标准库concurrent.futures中的一个类，用于实现进程池。它提供了一种简单的方式来并行执行多个函数，每个函数都在独立的进程中运行。
下面是一个简单的ProcessPoolExecutor示例：
from concurrent.futures import ProcessPoolExecutor
def square(x):
return x ** 2
if __name__ == '__main__':
with ProcessPoolExecutor() as executor:
numbers = [1, 2, 3, 4, 5]
results = executor.map(square, numbers)
print(list(results))这个示例中，我们定义了一个square函数，用于计算一个数的平方。然后，我们使用ProcessPoolExecutor创建一个进程池，并使用map方法将numbers列表中的每个数传递给square函数进行计算。最后，我们将结果打印出来。
ProcessPoolExecutor的优势在于它可以充分利用多核处理器的性能，实现并行计算，提高程序的执行效率。
应用场景：
- 并行计算：当需要对大量数据进行计算时，可以使用ProcessPoolExecutor将计算任务分配给多个进程并行执行，加快计算速度。
- IO密集型任务：当程序中存在大量的IO操作（如网络请求、文件读写等）时，使用ProcessPoolExecutor可以将这些IO操作分配给多个进程并行执行，提高程序的响应速度。
推荐的腾讯云相关产品：
- 云服务器（CVM）：提供弹性的云服务器实例，可用于运行Python程序。
- 云函数（SCF）：无服务器计算服务，可用于运行Python函数，支持自动扩缩容，按实际使用量计费。
- 弹性MapReduce（EMR）：大数据处理平台，可用于分布式计算和数据处理，支持Python编程。
更多腾讯云产品信息，请参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
是否可以将Python3 asyncio包与Boost.Python库一起使用？
我有CPython C++扩展，它使用Boost.Python构建。用C++编写的函数可以工作很长时间。我想使用asyncio来调用这些函数，但是res = await cpp_function()代码不起作用。
当cpp_function被称为内部协同线时会发生什么？
如何不通过调用工作时间很长的C++函数来阻止呢？
注意：：C++不执行一些I/O操作，只是计算。
浏览 1提问于2017-06-11得票数 4
回答已采纳
1回答
简单地说，是
我希望并发地更改复杂的python对象，因此每个对象仅由一个进程处理。我怎样才能做到这一点(最有效)？实施某种腌制支持会有帮助吗？这样会有效率吗？
全问题
我有一个python数据结构ArrayDict，它基本上由一个numpy数组和一个字典组成，并将任意索引映射到数组中的行。在我的例子中，所有的键都是整数。
a = ArrayDict()
a[1234] = 12.5
a[10] = 3
print(a[1234]) #12.5
print(a[10])
浏览 3提问于2016-12-15得票数 11
回答已采纳
1回答
在使用python多进程池时，提交了多少作业？ 它是如何决定的？我们能以某种方式控制它吗？喜欢在队列中最多10个作业，以减少内存使用。 假设我有如下主干代码:对于每个chrom和模拟，我将数据读取为pandas dataframe。 (我认为在提交作业之前读取数据会更好，以减少工作进程中的I/O限制) 然后，我将pandas数据帧发送给每个worker进行处理。 但是，提交的作业似乎比最终完成的作业数量要多，这会导致内存错误。 numofProcesses = multiprocessing.cpu_count()
pool = multiprocessing.Pool(processes=
浏览 19提问于2020-04-30得票数 0
1回答
我很难在python中使用多处理，尽管我没有在任何平台上使用过多处理，也不清楚队列在多进程通信中是如何工作的。(如果有人能提供一个简单的参考，那将是很大的帮助)。
出现问题：
from concurrent.futures.process import ProcessPoolExecutor
class Sample:
def __init__(self):
self.bla_exec = ProcessPoolExecutor(max_workers=1)
def blafunc(self,stt):
print('sdasdada
浏览 3提问于2020-10-28得票数 0
回答已采纳
1回答
我正在使用Python解决数据争论问题，Python将脏的Excel文件处理成干净的Excel文件
我想通过引入并发/并行来处理多个输入文件。
我有以下选项: 1)使用multiThreading 2)使用multiProceesing模块3) ParallelPython模块，
我对这三种方法有一个基本的了解，我想知道哪种方法最好，为什么？
在Bref中，现在处理一个脏Excel文件需要3分钟，
目的:引入并行/并发机制，一次处理多个文件。寻找实现目标的最佳并行方法
浏览 1提问于2016-07-18得票数 0
我有下面的代码，它抛出“无法选择”弱的“对象”。
我已经看过很多例子，人们用if __name__ == '__main__'包装if __name__ == '__main__'，但是在我的类中这是不可能的。没有关于如何在python类中使用ProcessPoolExecutor的示例。
作为参考，ThreadPoolExecutor工作得很好。
有人知道怎么做吗？
堆栈跟踪是：
File "C:\Users\mikke\ALG_EXP\ThreeSum\pythonSol\Implementations\near_linear_alg\Rando
浏览 3提问于2021-04-30得票数 0
3回答
我正在开发一个不一致的机器人，我想实现的一个函数会用gpt-2-simple库生成的文本进行响应。我希望加载多个模型，以便有多个模型可用来响应来自用户的消息。
但是，当我在第二个模型中运行load_gpt2()函数时，我得到以下错误
File "main.py", line 22, in <module>
main()
File "main.py", line 16, in main
text_events.register_Message(client)
File "U:\discord_bot\text_event
浏览 5提问于2020-01-31得票数 4
我编写了一个python代码，它将原始数据(STM显微镜)转换为png格式，并在我的Macbook Pro上完美地运行。
下面是简化的Python代码：
for root, dirs, file in os.walk(path):
for dir in dirs:
fpath = path +'/'+ dir
os.chdir(fpath)
spaths=savepath +'/'+ dir
if os.path.exists(spaths) ==False:
os.m
浏览 0提问于2021-08-25得票数 0
回答已采纳
1回答
我想使用python多处理同时解决多个cplex模型。据我所知，python中多处理的基本示例如下：
from multiprocessing import Process
def func1():
'''some code'''
def func2():
'''some code'''
if __name__=='__main__':
p1 = Process(target = func1)
p1.start()
p2 = Process(tar
浏览 0提问于2020-06-26得票数 0
1回答
所以我读过这篇关于python中异步线程的好文章。很难，最后一个有一些问题，线程并不像看起来那么有效。
幸运的是，python集成了多重处理，这些处理被设计成不受此问题的影响。
我想了解如何以异步方式实现多处理队列(为每个进程打开管道)，这样它就不会挂起正在运行的。
然而，我已经阅读了这个，但我并不是在寻找性能，而是将挂起我的big服务器的一种大型计算打包掉。这些计算需要图片，因此它们可能有一个重要的i/o交换，但据我理解，这是异步处理得相当好的东西。
所有的calcs都是相互分离的，所以它们不应该混合在一起。
我正试着在ws处理程序面前建立这个。
如果你对此暗示异端邪说，也请告诉我:)
浏览 0提问于2017-08-10得票数 11
所以我有类似的东西
import multiprocessing
class MyFancyClass(object):
def __init__(self, name):
self.name = name
def do_something(self):
proc_name = multiprocessing.current_process().name
print 'Doing something fancy in %s for %s!' % (proc_name, self.name)
def worker(q):
浏览 14提问于2017-02-21得票数 0
回答已采纳
在python中实现多处理的一种简单方法是
from multiprocessing import Pool
def calculate(number):
return number
if __name__ == '__main__':
pool = Pool()
result = pool.map(calculate, range(4))
一个基于期货的替代实现是
from concurrent.futures import ProcessPoolExecutor
def calculate(number):
return number
浏览 3提问于2014-07-22得票数 23
回答已采纳
1回答
我想在Python3中使用并行性来加速我的代码瓶颈。我的代码循环遍历一个嵌套的元组列表，如果某个特定的元组在内部列表中，则输出一个条件计数(无论内部列表中的元组频率如何)。
我尝试过用生成器表达式替换循环。我还尝试了len()方法。
我目前最好的尝试是：
xy_count = sum(i for tuple_list in nested_list if tuple([x,y]) in tuple_list)
我如何使用Python3的标准并行库来加速这一行？
浏览 1提问于2019-09-26得票数 0
1回答
如何使用ProcessPoolExecutor从多个线程将数据写入单个文件？我遇到了一个问题
Traceback (most recent call last):
File "/usr/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
obj = _ForkingPickler.dumps(obj)
File "/usr/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
cls(buf, pr
浏览 5提问于2020-09-10得票数 0
我正在使用Django来开发ERP，并且我希望在我的项目中使用预提交。
我已经安装了预提交，黑色，flake8，flake8-black。这是我的
.pre-commit-config.yaml
文件配置内容
repos:
- repo: https://github.com/pre-commit/pre-commit-hooks
rev: v2.3.0
hooks:
- id: check-yaml
- id: end-of-file-fixer
- id: trailing-whitespace
- repo: https://github.com/psf/black
浏览 11提问于2021-06-27得票数 0
回答已采纳
1回答
我正在用Python编写一个多线程应用程序，遇到了一个内核时间飞涨的问题。使用perf，我发现它确实是一个自旋锁：
54.89% python [kernel.kallsyms] [k] __ticket_spin_lock
导致自旋锁定的代码如下：
for i in range(0, my_uuids_len):
while threading.active_count() >= concurrency:
time.sleep(0.1)
threading.Thread(target=read_benchmark
浏览 4提问于2014-03-01得票数 0
1回答
例如：我有一个控制器脚本。我有一个工人剧本。我有50个python对象，它们必须传递给worker脚本。我要他们并行运行。
工作脚本有它自己的一些数据库获取的并行化。我做到这一点的办法是：
p = Pool(processes=NUM_PROCS)
results = p.starmap(db_fetch, db_fetch_arguments)
p.close()
p.join()
最通俗的方式是，我可以将50个参数(python对象，而不是字符串参数)传递给我的工作人员，并使它并行运行，并且在工作人员试图生成更多子进程时没有任何问题。
提前谢谢你。
编辑1：
from multiproce
浏览 2提问于2022-05-08得票数 -1
2回答
我正在尝试在django命令中使用ProcessPoolExecutor来同时获得一些结果。我试着用下面的代码来得到它
# main codes
import json
import time
import datetime
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
from redis import Redis
from django.conf import settings
from django.core.management.base import BaseCommand
fro
浏览 5提问于2020-08-31得票数 4
回答已采纳
我刚学会了python多进程。我想做一个模型来模拟网络中发送和接收消息的过程。有向图描述两个节点之间的关系，字典描述两个节点之间的通信。此字典的值的数据类型为queue。但我遇到了一些错误：
from concurrent.futures import ProcessPoolExecutor
from multiprocessing import Manager
PoolGroup=[('R1','R2','R3'),('N1','N2','N3'),('E1','E2&#
浏览 1提问于2017-04-13得票数 1
我使用的是使用python的调度程序，在我的项目中，有太多的作业在运行，但是机器负载并不太高，在看完文档之后，我找到了解决方案，我必须增加线程的大小，但我不知道如何增加线程--我的syntex：
scheduler.add_interval_job(triggerTask, interval_time, args=[], misfire_grace_time = None)
scheduler.add_cron_job(triggerTask, interval_time, args=[], misfire_grace_time = None)
浏览 1提问于2017-10-23得票数 3
回答已采纳
1回答
我是python的新手，在使用导入库的内部函数时遇到了并发问题。问题是，我的代码计算不同类型的变量，在最后一个过程中，它们被保存到不同的文件中。但我在阅读和写作时也有同样的问题。
这是一个工作的示例代码，因为它是线性的：
import xarray as xr
def read_concurrent_files(self):
files_var_type1 = get_files('type1','20200101','20200127')
files_var_type2 = get_files('type2'
浏览 4提问于2021-01-27得票数 0
回答已采纳
我试图用Python语言以更快的方式运行一个特定的函数(stats.boxcox)，但我使用的两个代码都运行得非常慢。在Python中有没有一种更有效的方法来实现这一点呢？ 第一个代码： import numpy as np
import pandas as pd
from scipy import stats
df = pd.DataFrame(np.random.randint(1,100,size=(100, 4)), columns=list('ABCD'))
df_new = pd.DataFrame()
for column in list(df):
浏览 15提问于2020-07-14得票数 0
3回答
我有一个号码列表：
a=[1,2,3,4,5,.....2000]
我必须对每个数字求平方并更新相同的数组，但我希望使用并行处理来实现，而不是编写循环。
因此，对数组中的每个数字进行平方本身就成了一个过程。
Expected output=[1,3,9,16,25,........]
我如何使用python多处理库来实现这一点？
已经尝试使用线程库，但是代码不够快，再加上线程库没有使用所有的核心。
浏览 0提问于2017-07-28得票数 0
我的应用程序需要执行一些任意的python代码作为输入。当我尝试使用多处理模块在不同的进程中执行它时，代码的globals()出现了一些问题。 考虑下面的代码，它可以像预期的那样工作。 src = """import os
def x():
print(os.getcwd())"""
exec (src)
eval('x()') 此代码按预期工作，没有任何错误。 当我想用下面的代码执行相同的多处理时，它会给我一个错误，它找不到os？ from concurrent.futures import Proc
浏览 17提问于2019-03-06得票数 2
1回答
大部分执行时间都花在执行两个独立函数评估上的代码显然是使用两个CPU的候选。我知道如何在Python语言中使用multiprocessing来做这件事，但只有在程序的入口点添加了习惯用法if __name__ == '__main__':。在现代Python (撰写本文时为3.8.3)中有没有更简单的方法？没有任何there看起来相当简单。 要求:不更改调用代码，也不需要单独的文件。import一些帮手是可以的，但我不喜欢pip。 密码学领域的示例应用程序和基准测试： def rsacrt(p,q,dp,dq,qi,x):
# most of the time is
浏览 38提问于2020-06-10得票数 3
回答已采纳
1回答
我在一些更复杂的代码中遇到了问题，但已经将其简化为复制问题：
from multiprocessing import Manager
from concurrent.futures import ProcessPoolExecutor
from itertools import repeat
def process(v):
v.value += 1
def main():
with Manager() as manager:
v = manager.Value('i', 0)
with ProcessPoolExecutor(
浏览 11提问于2022-03-16得票数 0
最近，我开始使用python中的多处理器池执行器来加速我的处理。
所以不要做一个
list_of_res=[]
for n in range(a_number):
res=calculate_something(list_of sources[n])
list_of_res.append(res)
joint_results=pd.concat(list_of_res)
我知道
with ProcessPoolExecutor(max_workers=8) as executor:
joint_results=pd.concat(executor.map(calcula
浏览 7提问于2022-11-19得票数 0
回答已采纳
我们在异步接收请求并在流程池中执行实际的同步处理的服务中使用来自concurrent.futures的concurrent.futures。
当我们遇到进程池耗尽的情况时，新的请求必须等到其他进程完成。
是否有一种方法可以查询进程池的当前用法？这将使我们能够监测他们的状况，并进行适当的能力规划。
如果没有，是否有支持这种监视/容量规划的异步接口的好的替代流程池实现？
浏览 0提问于2018-02-01得票数 14
回答已采纳
3回答
我有一个对象列表，我想在每个对象中并行执行一个方法。该方法修改对象的属性。例如：
class Object:
def __init__(self, a):
self.a = a
def aplus(self):
self.a += 1
object_list = [Object(1), Object(2), Object(3)]
# I want to execute this in parallel
for i in range(len(object_list)):
object_list[i].aplus()
我尝试了以下几种方
浏览 3提问于2018-11-28得票数 3
我有一个多处理代码，每个进程都必须对相同的数据进行不同的分析。输入的数据总是相同的，它是不可变的。输入数据是数据帧20列和60k行。
如何有效地将这些数据“放入”每个进程？
在单进程应用程序中，我使用了全局变量，但在多进程处理中，它不起作用。
当我试图将它作为函数参数传递时，我只有表的第一个元素。
浏览 2提问于2022-02-10得票数 0
当我在一台56核心机器上使用进程池执行器触发python脚本的并行实例时，我观察到它的执行时间增加了。脚本abc.py导入一个沉重的python库，它需要花费大约1秒的时间。
time python ~/abc.py
real 0m0.846s
user 0m0.620s
sys 0m0.078s
测试方法
import shlex
from subprocess import Popen, PIPE
def test():
command = "python /u/deeparora/abc.py"
p = Popen(shlex.split(comman
浏览 8提问于2021-12-30得票数 1
有没有办法让ProcessPoolExecutor在所有工作者都很忙的时候有一个有界的队列来处理传入的请求？
在文档中，没有解释如果调用submit()并且所有工作进程都很忙时会发生什么。然而，我做了一些研究，发现ProcessPoolExecutor有它自己的内部队列，显然是无界的。一般来说，使用非绑定队列不是一种好的做法，因为Executor可能被用来使系统崩溃(DoS攻击)。如果"some_function“花了太多时间运行并接收到大尺寸的args，这样的代码很容易使系统崩溃。
with ProcessPoolExecutor(max_workers=5) as executor
浏览 21提问于2020-02-20得票数 0
我正在学习python，所以我不是专家。
我有3个不同的脚本，基本上做同样的事情。每个脚本将一个使用者附加到一个RabbitMQ队列并处理该队列。
我想建立一个包装器来运行这3个脚本，并建立一个守护进程，自动启动与系统。
我的包装器还应该具有管理错误的逻辑，如果其中一个子进程死亡，则启动一个子进程，并收集每个子进程的输出。
结构是这样的：
main.py
|-->consumer_one.py
|-->consumer_two.py
|-->consumer_three.py
你能推荐一个包，用简单的方式管理进程分支吗？
谢谢你，mutch
浏览 20提问于2016-09-14得票数 0
回答已采纳
我想要一些类似于Executors.newFixedThreadPool(3)的东西，它是用Java的。
也就是说，我希望我的python程序一次最多分3个多线程，如果现在的多线程数是3，则等到多线程数小于3。
蟒蛇身上有类似的东西吗？非常感谢!
浏览 5提问于2013-11-18得票数 0
回答已采纳
我使用python 2.7.12和最新的paramiko 2.0.2，并运行一个ssh同时登录多个linux服务器的脚本。
有时它运行得很好，但有时它会报告以下奇怪的错误：
**在记录器“paramiko.transport”中找不到扶手
.
线程线程-2中的异常
.
.
“*”处的RequirementParseError无效需求解析错误
脚本如下所示：
有人能帮我吗？
提前感谢您的帮助。
#！~/python2.7.12/bin/python导入paramiko导入线程def ssh2(ip，username，passwd，cmd)：try: ssh = paramiko.SSHC
浏览 2提问于2016-08-20得票数 0
我正在编写一个python程序来处理HPC bash终端上的NGS测序数据。该程序在我mac上的jupyter笔记本上运行正常，无论是使用单进程还是多进程。但是，只要我尝试使用argpase包在终端中传递参数。程序不会给我最终的结果，相反，它会无限地运行，就好像这个过程还没有结束一样。我检查了一下，几乎可以肯定它是由argpase和concurrent.futures.ProcessPoolExecutor().So之间的一些冲突引起的，有谁能给出一些如何解决这个问题的建议吗？谢谢!
下面的代码会在终端上产生冻结问题。
#! /usr/bin/env python
import pandas
浏览 0提问于2020-01-28得票数 0
我想让我的类方法并行运行，但它只会产生某种我无法解决的错误。我的代码是：
import concurrent.futures as futures
samples = ['asfd', 'zxcv', 'asf', 'qwer']
class test:
def __init__(self, samples):
maturedb = {}
with futures.ProcessPoolExecutor() as exe:
for samplename, dRes
浏览 1提问于2013-07-02得票数 10
2回答
我想在Python中实现一个备份解决方案，其中备份服务器在许多虚拟和物理服务器上启动备份(一个服务器=一个备份任务)。对于实际备份任务的细节，我现在关注的是调度/多处理部分。
我的限制是：
一次只备份两个服务器(例如，最多有两个备份线程同时运行)
不要一次备份同一台物理机器上的两台服务器(通常是多台虚拟服务器共享一台通用硬件机器)。
由于我对Python的多处理不太有经验，所以我想知道最优的Python解决方案是什么。我想到了以下几点：
为每个备份作业(例如，每个服务器)设置一个线程，并使用threading.BoundedSemaphore确保一次只运行两个。使用更多的信号量/条件来确保多个
浏览 0提问于2017-01-11得票数 2
我正在使用concurent.futures.ProcessPoolExecutor有一个高级别的API来进行多处理。
我想要标识工作函数中的当前进程。
使用低级别的API multiprocessing，我可以这样做。
import multiprocessing
def worker():
print(multiprocessing.current_process())
在与current_process()一起使用工作人员时是否有ProcessPoolExecutor()吊坠？
浏览 7提问于2022-07-13得票数 0
回答已采纳
我的python代码使用多处理。在父程序的共享内存中创建了一个dataframe，例如，ns.df，其中ns是命名空间管理器实例。
多个进程需要将数据行添加到此ns.df中，以便在进程终止后在父程序中反映所有更改。
进程不需要相互交互，因为进程之间不存在数据共享或传递。每个进程要写入的数据都是独占的，并且仅独立于该进程。
Woluld做了一个简单的
ns.df = pd.concat([ns.df, tempdf], axis=0, sort=True)
每个子进程都足以达到预期的结果吗？这里，tempdf是要添加到ns.df中所需数据的数据。
我如何在python中实现这一点？任何帮助都将不
浏览 6提问于2020-04-20得票数 1
回答已采纳
我是Python的新手，我来自Matlab专用的编码背景。我正试图自学Python，并从用Python重写我的Matlab代码开始。我有一些代码，我试图完成以下工作:循环处理最小化问题，为各种输入数组的每个元素独立最小化一个函数，同时跳过已知的非有限输入。在Matlab中，我只使用parfor，这是相对简单的。
parfor iter = (1:end_iter)
if onlyfinite(iter) == 1
tau_y(iter) = fminsearch(@(ty) ((s1(iter) - (ty / (p*g*ds1(iter)))) - (s2(iter)
浏览 6提问于2022-08-28得票数 0
我使用的是windows XP，我在使用新的Python 3.2未来模块时遇到了问题。似乎我无法让ProcessPoolExecutor正常工作。会话示例：
Python 3.2 (r32:88445, Feb 20 2011, 21:29:02) [MSC v.1500 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information.
>>> from concurrent imp
浏览 0提问于2011-02-28得票数 4
回答已采纳
1回答
我正在开发一个涉及大量数值数据的python应用程序。在第一步中将数据分离成组，然后可以独立计算组。
我试过使用threading.Thread()，但很快就意识到它由于gil而无用。
class vThread(Thread):
def __init__(self,item):
Thread.__init__(self)
self.item = item
def run(self):
do_stuff()
vThreads = []
for item in items:
vThreads.append(vThre
浏览 1提问于2014-12-18得票数 0
回答已采纳
我正在努力学习如何更有效地使用多核系统来处理python中的CPU绑定程序。为此，我以3种不同的方式在我的i3处理器中运行一个CPU密集型程序。
在单个进程中运行
使用max_worker= 2在多个进程中运行
使用max_worker =4在多个进程中运行
由于i3处理器有4个核心，所以由于使用了所有的cpu核，我预计第3种情况会运行得更快(接近4倍)。但是在执行时，我发现第二个场景执行得更快，一次只能使用两个核心。有人能解释一下为什么不能从每个CPU中获得优势的可能原因吗？下面是我的代码示例：
from concurrent.futures import Process
浏览 3提问于2022-05-08得票数 0
我使用的是Python的concurrent.futures模块(模块版本2.1.3，Python版本2.7.3)。我让nginx运行4个工作进程，运行4个uWSGI (在Ubuntu precise上)作为一个启动守护进程，并使用以下uwsgi配置(注意enable-thread为true，因此GIL是可访问的，lazy为true)：
virtualenv=[ path to venv ]
chdir=[ path to python project ]
enable-threads=true
lazy=true
buffer-size=32768
post-buffering=true
p
浏览 2提问于2013-02-20得票数 0
我想通过python中的模块concurrent.futures使用并行来更新全局变量 事实证明，使用ThreadPoolExecutor可以更新我的全局变量，但是CPU并没有使用它们的所有潜力(总是在5-10%)，这是如此缓慢 ProcessPoolExecutor可以使用所有内核( 100%)，但我的全局变量不能更新，因为它们不共享相同的全局变量 如何在concurrent.futures模型中使用ProcessPoolExecutor共享我的全局变量。非常感谢你的帮助
浏览 685提问于2020-04-19得票数 4
2回答
我有一个Python脚本，它读取包含超过10,000个DBF文件的目录，以便将它们转换为CSV。我想将这个任务并行化，而不是单独转换每个文件。我已经阅读了Python的多处理模块，尽管我在实现这个任务时遇到了一些问题。具体地说，我希望使用Pool类跨CPU核心分配工作负载。
到目前为止，我的代码如下：
import os
from dbfread import DBF
import pandas as pd
import multiprocessing
directory = 'C:\\Path_to_DBF_Files' #define file directory
f
浏览 0提问于2020-02-19得票数 0
1回答
我试图运行多个进程，同时使用concurrent.futures.ProcessPoolExecutor来运行CPU密集型作业。最初的几个请求得到了很好的服务，但随后从concurrent.futures.process引发了一个concurrent.futures.process，服务器挂起。
这是龙卷风里的虫子吗？
这是我剥离代码到的最简单的形式。
服务器：
# -*- coding: utf-8 -*-
"""
server runs 2 processes and does job on a ProcessPoolExecutor
"""
浏览 2提问于2014-10-14得票数 2
回答已采纳
(对不起，我的英文)我想使一些网站的解析器，包括大量的JS脚本，为此，我使用selenium+phantomjs+lxml。需要这个解析器快速工作，至少每1小时1000个链接。为此，我使用多处理(而不是线程！！因为GIL)和模块未来，以及ProcessExecutorPool。
next中的问题是，当我从10个链接和5个工人输入列表时，在执行后丢失了一些链接。它可以是1个链接或更多(直到6！-最大值，但很少)。随着进程数量的增加，丢失链接的数量也会增加，这是有一定依赖性的。(断言不能正确工作，因为多处理)我发现，程序在字符串"browser.get(l)“之后中断。然后我把time.s
浏览 0提问于2016-08-18得票数 1
我试图使用进程和并行化一些Python代码。看起来，我可以通过调用多次并行执行一个函数，然后在未来调用，或者使用。
我想知道后者是否只是前者的一种语法糖，以及在性能上是否有任何不同。从文档中看，这似乎不太清楚。
浏览 4提问于2017-01-27得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
