Multiprocessing.Pool.map返回错误的值
Multiprocessing.Pool.map是Python中的一个方法，用于实现多进程的并行计算。它接受一个函数和一个可迭代对象作为参数，然后将可迭代对象中的每个元素依次传递给函数进行处理，并返回一个结果列表。
然而，有时候当使用Multiprocessing.Pool.map时，我们可能会遇到返回错误的值的情况。这可能是因为在函数执行过程中发生了一些异常或错误，导致返回的结果不符合预期。
要解决这个问题，我们可以采取以下几个步骤：
- 检查代码逻辑：首先，我们应该仔细检查我们传递给Multiprocessing.Pool.map的函数逻辑，确保它正确处理了每个输入元素，并且没有潜在的错误。
- 错误处理：我们可以在函数内部使用try-except语句来捕获可能发生的异常，并在异常发生时返回一个特定的错误值或错误代码，以便我们能够识别出哪些结果是错误的。
- 调试输出：在函数内部，我们可以添加一些调试输出语句，以便在每次处理一个元素时输出一些有用的信息，例如当前正在处理的元素的值、进程ID等。这将有助于我们跟踪问题并定位错误。
- 使用其他方法：如果Multiprocessing.Pool.map确实无法满足我们的需求，我们可以尝试使用其他类似的方法，例如Multiprocessing.Pool.apply_async或使用更底层的multiprocessing模块来实现更加灵活的多进程处理。
腾讯云的相关产品中，如果我们希望在云环境下进行并行计算，可以考虑使用腾讯云的弹性MapReduce（EMR）服务。EMR是一种托管式Hadoop和Spark服务，提供了一个分布式计算框架，可以在大规模数据集上进行高效的并行计算。您可以通过以下链接了解更多关于腾讯云弹性MapReduce的信息：https://cloud.tencent.com/product/emr
请注意，本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以满足问题要求。
相关·内容
0.00279711026832704662 0.00174462466027292464 0.0017089460869939772 在multiprocessing.Pool.map0.0008971465460259773 -0.0029438493445009956
4 0.0017089460869939772 正如您所看到的，worker_function内部的输出(2.1)是正
浏览 22提问于2020-10-08得票数 0
回答已采纳
1回答
你好，我正在尝试使用多处理并行定义字典的值。当函数f()在"pool“外部被调用时，字典值被正确设置。然而，在池调用中，它会失败。
我做错了什么？谢谢。
浏览 0提问于2011-10-26得票数 4
回答已采纳
1回答
我过去常常使用multiprocessing.Pool.map运行长时间的独立作业pool = multiprocessing.Pool(multiprocessing.cpu_countris = pool.map(long_function,input_var)pool.join()
这种方法工作得很好，但例如，如果我在long_function(2)中遇到错误，我将丢失使用long_function(1)和long_function(3)获得的</em
浏览 0提问于2014-07-11得票数 0
我想我理解这个问题，当一个multiprocessing.Pool.map工作人员抓住它的下一个任务时，参数会根据文档作为一个被选中的对象传递。如果返回值是您所要寻找的，那么这很好，但是如果我想调用一个并行地改变对象状态的函数呢？例如，考虑一下简单的对象： def __init__(self):
self.zreturn "
浏览 2提问于2013-04-15得票数 0
回答已采纳
我有一个函数，它接受一个参数，将一个文件保存到一个固定的目录中，并返回None。我想使用multiproccessing.Pool.map在许多参数上并行执行这个函数。这真的适用于不返回值的函数吗？在我的例子中，迭代结果是没有意义的，这就是None。
这方面的文件不正确吗？
浏览 5提问于2021-11-24得票数 0
回答已采纳
In python2，我想通过填充并行进程(或线程)不同的子数组(总共有16个块)来填充全局数组。我必须精确地说明每个块不依赖于其他块，我的意思是当我处理当前块的每个单元格时。1)根据我的发现，通过使用不同的"processes“，我将从CPU多核中获得很大的好处，但其他所有进程共享全局数组似乎有点复杂。也许有一种方法可以增加每个“线程”的功能，我的意思是使用“池进程”？?。
我试着在上学习不同的例子，但没有成功，也就是说，
浏览 0提问于2019-02-14得票数 0
回答已采纳
我在python中有一个令人尴尬的并行for循环(重复n次数)，每次迭代执行一个复杂的任务，并返回numpy数组和dict的混合(所以没有一个数字填充到数组中--否则现在把它们看作是复杂的一堆)。重复不需要有任何特定的顺序--我只需要能够唯一地标识n迭代的每个n(例如，独立地将结果保存在重复中)。事实上，它们甚至不需要通过索引/计数器来识别，但它们是一个独特的东西，因为它们不需要排序(我可以轻松地将它们填充到一个更大的数组中
浏览 1提问于2017-09-24得票数 2
我想找到[0，M)中的所有引物，然后用multiprocessing.pool.map方法编写它，但是它输出的不多，所以我不想要。我的代码如下：vi = [0] * M
global vi result = pool.map(do_sieve, range(0, M), 50)
print resu
浏览 1提问于2014-02-24得票数 0
2回答
下面是python包中的python模块： def __init__(self):然而，当我试图恢复结果时，test.dict似乎是空的。有人能解释为什么会发生这种情况吗?我能做些什么来恢复非空的test.dict？编辑： @Valentin Lorentz，@Moinuddin Quadri，@zstewartif __name__ == "__main__":
浏览 3提问于2016-12-18得票数 2
2回答
大输入值的情况
、、、、
在每个输入值都很大(例如500 MB)但输入值通常包含相同的大对象的情况下，并行计算许多结果是否有效？恐怕multiprocessing的工作方式是将每个输入值的腌制版本发送到池中的每个工作进程。如果不执行优化，这将意味着为map()中的每个输入值发送大量数据。是这种情况吗？我很快就看了一下multiprocessing代码，但没有发现任何明显的东西。更广泛地说，您会推荐什么简单的
浏览 1提问于2012-04-20得票数 2
回答已采纳
我有一本这样的字典： "ABC": { "dates": { { }, "Status": "A" ] }我是这样迭代
浏览 3提问于2019-12-14得票数 1
在Python3.5中，我开始通过multiprocessing.Pool.map +子进程从Xshell连接运行外部可执行文件(用multiprocessing.Pool.map编写)。在再次连接之后，我看到管理Python已经消失了，但是C++可执行文件仍然在运行(而且看起来是正确的方式，池似乎仍然控制它们)。
问题是，如果这是一个错误，我将做什么在这种情况下。Add：手动删除所有sublst_file之后，所有正在运行的可执行文件(cmd)都会消失。except sub.SubprocessErro
浏览 2提问于2016-04-10得票数 1
回答已采纳
1回答
我希望并行处理每个csv文件，然后从每个文件返回计数器dict。我在这里找到了一个类似的解决方案： print len(result_list)
浏览 0提问于2018-05-03得票数 0
回答已采纳
1回答
Pyqt多处理指标超出范围
、、、、
按照中有关多处理的示例，我尝试使用multiprocessing进行一些计算，但是返回了一个索引错误。目前的结构是这样的，if __name__=='__main__': main.show()在这种情况下，我想知道该算法是否做了一些多处理不允许的事情。从不同的SO post中，有一个答复提到，这个列表索引错误</e
浏览 1提问于2014-08-08得票数 1
回答已采纳
我需要向multiprocessing.pool.map传递5个参数。我可以使用itertools.partial成功地传递2，但我需要更多，因为我可以使用计数器，使用计数器需要锁和共享计数器。我看了堆栈上的另一个问题，但它不适用于我目前的情况。)#this is argumentone
result = pool.map(func2, arrange)#this is the iterator 我需要传递一个锁、计数器和至少一个以上的参数给我现在的代码运行得很好，没有任何错误。
浏览 58提问于2020-01-14得票数 0
基本上，在下面的示例中，我想用列表中每个元素的位置填充一个五个元素列表。我正在使用多重处理来完成这个任务。因此，我希望，即使每一次迭代填写列表可能不会按照更直观的顺序进行(从第一个元素到最后一个元素)，但最终列表还是会被正确地填充。这依赖于这样的假设，即arr是通过引用传递的，因此实际上可以在每次调用函数f时改变它。然而，arr从未改变过，当我们打印出来时，它仍然是初始化的，即*5 = 0,0,0,0,0，0。(n_jobs=num_cores)(delayed(f)(arr, position) for
浏览 0提问于2015-08-18得票数 0
回答已采纳
1回答
我有这样的档案：A 1A 3B 3C 3s = [set([1, 2, 3]), set([2, 3]), set([2,3])]要查找所有两个组合的交集的长度，我将使用以下方法：for i in combinations(s, 2): print len(inter)
s的大小是300,000个不同的集
浏览 0提问于2011-10-16得票数 2
3回答
值返回错误的值
、、、
我正在创建一个函数，该函数接受个人记录(存储在函数参数中的*individual中)，分离记录以获得个人的生日，然后该函数计算他们的年龄。我遇到的问题是，当我使用strrchr搜索生日记录时，它会在我不想要的时候更改原始值。因此，它存储的不是应该存储的Steven, Cortright, 3/1/1940，而是Steven, Cortright, 3
我已经尝试了我能想到的所有方法来解决这个问题。下面是我的
浏览 3提问于2014-02-10得票数 0
我希望能够运行一个脚本(比如python脚本或其他对这些事情最有意义的东西)，这些脚本可以做一些与以下类似的事情：$ program-i input -k 0.2 -m 0.22 &我想在脚本中设置我想要的任何参数，只需输入"python script.py“，并让它运行我想要的程序的许多实例，所有这些都在后台并行运行。我曾经想过列出一个命令列
浏览 1提问于2018-11-05得票数 1
回答已采纳
1回答
()返回错误的值
、、
对于下面的片段，JNA的功能正确吗？在我看来，检索Resource.RLIMIT_NOFILE的值会返回Resource.RLIMIT_NPROC的值，并且可能是一个bug？System.out.println(rlimit.rlim_max); }输出：5568
输出与我的MacOS12.6的maxprocess输出相对应，但我希望它是
浏览 13提问于2022-10-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
