在Python 3.7中通过多进程使用自定义函数时出现的问题
在Python 3.7中，通过多进程使用自定义函数时可能会遇到以下问题：
- 全局变量共享问题：多进程之间默认是相互独立的，因此无法直接共享全局变量。如果需要在多个进程中共享数据，可以使用
multiprocessing模块中的Manager对象来创建共享变量。 - 序列化问题：多进程之间需要通过序列化和反序列化来传递数据。如果自定义函数中使用了不支持序列化的对象或模块，会导致进程间通信失败。解决方法是将不可序列化的对象转换为可序列化的形式，或者使用
multiprocessing模块中的Pipe、Queue等进程间通信方式。 - 函数定义位置问题：在多进程中，自定义函数需要在
if __name__ == '__main__':语句块之外定义，否则会导致函数无法被子进程正确调用。 - 内存占用问题：多进程会创建独立的内存空间，因此如果同时启动大量进程，可能会导致内存占用过高，甚至出现内存溢出的情况。可以通过控制并发进程的数量或者使用进程池来解决这个问题。
- 进程间通信问题：多进程之间需要进行数据交换和同步，可以使用
multiprocessing模块中的Pipe、Queue、Value、Array等机制来实现进程间通信。
总结起来，通过多进程使用自定义函数时，需要注意全局变量共享、序列化、函数定义位置、内存占用和进程间通信等问题。在解决这些问题时，可以使用multiprocessing模块中的相关功能来实现。腾讯云提供了云计算相关的产品，如云服务器、容器服务、函数计算等，可以根据具体需求选择合适的产品进行部署和运行。
参考链接：
相关·内容
我在Python3.7中创建了一个自定义函数，用于通过正则表达式清理大型文本正文。我使用的是jupyter笔记本6.0.3 import numpy as npimport re
def pre_process(然而，我需要将其应用于更大的数据帧，并希望尝试使用多处理包来加快速度。["Text"]) 我已经成功地在具有内置<e
浏览 10提问于2020-04-05得票数 0
我刚刚在我的程序中发现了一个奇怪的bug，它与Python的多处理模块的使用有关。当我在我的机器上从源代码运行程序时，一切工作正常。但我一直在使用pyinstaller将其构建为可执行文件，并且由于某些原因，当我运行从我的代码构建的可执行文件时，多进程的行为发生了巨大的变化。具体地说，当我试图运行代码的
浏览 4提问于2011-08-16得票数 8
回答已采纳
但是，我有一个与并行的Python程序，正如您在这张截图中看到的那样，每个进程使用的CPU比例远远低于100%，进程状态为，即等待IO。
该程序对10000 (非常小)数据集中的每个数据集运行一次函数。每个这样的函数执行都需要几分钟时间，除了进行计算之外，它还通过sqlalchemy (仅读取)查询sqlite数据库，加载了相当多的内存。
浏览 11提问于2022-08-25得票数 0
1回答
处理和处理数据的最快方法
、、、
我有一个非常大而重要的项目，但我在选择处理数据的方法时遇到了问题。
文件:我目前正在使用文本文件来处理数据，并从它们中提取数据，但是我有太多的线程和多处理函数，应该打开
浏览 0提问于2018-09-03得票数 0
我已经定义了函数get_content来从https://www.investopedia.com/抓取数据。然而，这个过程似乎无限地在我的Windows笔记本上运行。我检查过它在Google和Linux笔记本电脑上运行良好。
Update3:代码在Colab中运行得非常好：
浏览 2提问于2021-03-02得票数 1
回答已采纳
您可以使用subprocess.call("/usr/bin/ Python ")在一段Python代码中打开Python shell。现在我的问题是，在初始化这个shell之前，是否可以预定义一些变量/函数？换句话说，在Python代码中，我可以定义一组有用的变量和函数，并希望它们在稍
浏览 2提问于2012-01-07得票数 2
回答已采纳
1回答
如果Python使用的是H2O，那么Wave是否支持反应性编程，这是一个逻辑问题吗？回顾一下文档，我发现 (它似乎是单向的)和 (这很酷)，但是对于反应性编程或双向绑定没有明确的引用或指示(不幸的是，docs似乎缺乏搜索功能)。
浏览 6提问于2020-12-23得票数 1
回答已采纳
我编写了一个代码，它有三个嵌套的for循环，每个循环1000次。我的问题是，为什么python不使用所有可用的系统资源？
浏览 2提问于2020-09-25得票数 0
回答已采纳
我使用from multiprocessing import Pool在python中拥有一个进程池。我传递给那些要运行的不同函数，调用Pool.apply_async函数。如果我在其中一个函数中引入一个错误(即:代码行(如5/0) )，那么预期的命令行报告ZeroDivisionError: integer division or modulo by zero永远不会出现即使我在对Pool.apply_a
浏览 4提问于2014-10-08得票数 0
回答已采纳
我有一个由Apache+mod_wsgi.I托管的django项目，我试图通过子进程使用git命令来拉取更新，例如：但是，我得到的错误如下：
Command '['git', 'pull', 'origin', 'myb
浏览 0提问于2013-06-12得票数 5
我需要在我的代码中应用多进程的帮助。我试着阅读了Python文档的多处理部分，但我就是不知道如何将其应用于我所拥有的内容。不过，我相信我想要使用的是Pool。下面是我编写的一个python脚本的一部分，最终将被调用到另一个主脚本中：from cmath import还有其他条件if语句，后面跟不同的条件。我
浏览 5提问于2014-02-13得票数 0
我有以下问题，让我们使用这个python函数 run some code here which calls some native code
在func()内部，我调用一些函数我想到的一种方法是在一个单独的进程中运行这个函数，但不只是启动另一个进程，因为这个函数使用了大量的内存和对象，因此很难将其分
浏览 4提问于2020-10-23得票数 0
回答已采纳
我对python比较陌生，但是我有一个我不能理解的问题。
我正在尝试在计算mandelbrot分形的代码片段上实现多处理。我的问题是，它似乎是有效的，但并不是随机有效的，我不明白为什么。我已经将问题缩小到我正在运行以从"ApplyResult“多处理对象获取数据的.get()函数。这个函数似乎会超时并永远运行，或者直到它被终止。有时代码会运行一两次，然后
浏览 4提问于2021-03-30得票数 0
我使用Python的多进程在一个进程中以15000 Hz的频率从LabJack读取电压数据，通过管道将数据传递到第二个进程，在第二个进程中将数据存储在列表中，并在其中实时绘制。当电压数据从LabJack流式传输时，我正在尝试从函数发生器实时绘制电压正弦波(电压与时间)。我还需要同时绘制这些数据的实时傅里叶变换。
通过</
浏览 1提问于2016-06-08得票数 2
3回答
我的应用程序创建子进程。通常，这些进程在运行和终止时不会出现任何问题。然而，有时它们会崩溃。我希望能够看到调试窗口(而不是终止它)，并
浏览 2提问于2011-01-01得票数 5
回答已采纳
1回答
我是python的新手，有一段时间我尝试解决特定的问题。我有功能，收听和打印电台frames.To做的，我正在使用NRF24库，整个功能是如此简单。关键是我运行了这个函数，并且我需要不时地终止它，然后再次运行。所以在代码中，它看起来像 radio.openWritingPipe(pipes[0])
浏览 0提问于2018-03-06得票数 0
2回答
我有一个运行在Linux (Ubuntu18.04)上的Python脚本，它使用库创建进程，为它们分配要执行的函数。问题是其中一个函数卡住了，我想知道它发生在哪里。我尝试使用python -m trace -l myscript.py，但它不能显示子进程中执行的函数。尽管下面的脚本不是我正在使用的脚本，但在尝试跟踪它的<
浏览 44提问于2020-03-06得票数 0
1回答
我的程序中有3个函数，分别是audio()、motion()和vibration()，每个函数的定义方式都是从各自的传感器收集数据。我写了一个从音频和振动传感器收集数据的python程序和一个从运动传感器获取数据的C程序(它比python快得多)。最初，我使用多进程库中的“进程”来同时运行audio()和vibration()，这两种方法都工作得非常好。但是现在，
浏览 28提问于2019-09-13得票数 0
我有一个Python多处理应用程序，它使用多处理API启动“工人”。主进程本身是由没有用Python编写的服务流程启动的。(由进程启动的任务函数)
当服务进程停止时，它必须告诉Python进程退出。我使用的</e
浏览 7提问于2014-09-05得票数 3
1回答
我有一个关于Python中的多线程的问题。我得到的是在MultiThread中，当我并行运行它时会得到一个重复的结果。经过研究，我发现在multiThread中，多线程可以更新相同的变量(竞争条件)。问题
浏览 0提问于2020-07-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
