为什么在python多进程中不能对方法进行酸洗？
在Python多进程中，不能对方法进行序列化。
在Python多进程中，每个子进程都有自己独立的内存空间，无法直接共享方法。为了在不同进程间传递数据，Python使用了序列化和反序列化的机制。序列化指将数据转换为字节流的过程，而反序列化则是将字节流转换为原始数据的过程。
然而，对于方法而言，它包含了代码和状态（包括变量、对象等），无法被简单地序列化和反序列化。这是因为方法依赖于其所属的对象以及该对象的状态。当尝试对一个方法进行序列化时，Python会抛出异常。
解决这个问题的方法是使用多进程模块提供的特殊技巧，例如使用multiprocessing模块中的Pool类的map()或apply()方法，它们可以自动将任务分发给子进程执行，而不需要显式地对方法进行序列化。这样可以绕过对方法序列化的限制。
总结一下，不能在Python多进程中对方法进行序列化是因为方法包含了代码和状态，无法简单地进行序列化和反序列化。解决该问题可以使用多进程模块提供的特殊技巧来绕过对方法序列化的限制。
相关·内容
1回答
我注意到，当我的对象包含对模块的显式引用时，pickling会因此而失败。
但是，如果我将对模块中某个函数的引用粘贴到我的对象中，则可以成功地对其进行拾取和取消筛选。
为什么Python可以pickle函数，但不能pickle模块？
浏览 21提问于2016-08-09得票数 0
回答已采纳
1回答
复制的套接字未被酸洗
、、、、
我正在尝试复制一个套接字并将其发送到Python中的另一个进程。 套接字是在rust中创建的，并通过PyO3作为Python对象共享。 下面是共享套接字代码 use pyo3::prelude::*;
use socket2::{Domain, Protocol, Socket, Type};
use std::net::SocketAddr;
#[pyclass]
#[derive(Debug)]
pub struct SocketHeld {
pub socket: Socket,
}
#[pymethods]
impl SocketHeld {
#[new]
浏览 15提问于2021-10-31得票数 2
我的主应用程序运行在Python3上
我有一个重要的软件包，我需要安装它只支持Python2…
我在windows上运行
我想也许可以将这个包设置在另一个虚拟环境中，除了一个用于通信的flask服务器。
除了服务器之外，还有其他方法可以在应用程序之间传递消息吗？
有没有更好的方式使用Python2，Python3 mix？
浏览 0提问于2018-06-17得票数 2
2回答
为什么发电机不能腌制？
、、、
Python的泡菜(这里是标准的Python2.5/2.6/2.7)不能对锁、文件对象等进行分类。
它也不能对生成器和lambda表达式(或任何其他匿名代码)进行筛选，因为泡菜实际上只存储名称引用。
在锁和操作系统依赖特性的情况下，您不能对它们进行腌制的原因是显而易见的，也是有道理的。
但是，为什么你不能腌制发电机呢？
注意:为了清晰起见--我感兴趣的是基本原因(或设计决策中的假设和选择)为什么，而不是因为“因为它给了你一个小错误”。
我意识到这个问题有点宽泛，所以这里有一个经验法则，你是否会回答它：“如果这些假设被提出，或者允许的生成器的类型在某种程度上受到限制，那么酸洗发电机会再次工作吗
浏览 4提问于2011-08-24得票数 45
回答已采纳
我正在尝试让在Windows上工作，但当我执行import gasp; gasp.begin_graphics()时，我得到了以下回溯：
File "C:\Python26\lib\site-packages\gasp\backend.py", line 142, in create_screen
screen.updater.start()
File "C:\Python26\lib\multiprocessing\process.py", line 104, in start
self._popen = Popen(self)
浏览 9提问于2010-01-14得票数 1
回答已采纳
>>> import concurrent.futures
>>> from collections import namedtuple
>>> #1. Initialise namedtuple here
>>> # tm = namedtuple("tm", ["pk"])
>>> class T:
... #2. Initialise named tuple here
... #tm = namedtuple("tm", [&#
浏览 4提问于2020-08-27得票数 0
我有一个用c编写并用ctypes包装的函数interpolate_to_particles。我想使用dask.delayed对此函数进行一系列调用。 代码在没有dask的情况下成功运行 # Interpolate w/o dask
result = interpolate_to_particles(arg1, arg2, arg3) 并使用single-threaded模式的分布式调度 # Interpolate w/ dask
from dask.distributed import Client
client = Client()
result = dask.delayed(interp
浏览 19提问于2020-04-07得票数 2
我试图理解为什么在将django InMemoryUploadedFile对象作为芹菜任务Can't pickle <type 'cStringIO.StringO'>: attribute lookup cStringIO.StringO failed的参数发送时，不能对其进行pickled处理。所以我尝试了File对象，它不能很好地工作，但是StringIO可以工作。
需要一些傀儡的指导来理解3之间的区别。
谢谢!
浏览 1提问于2012-12-28得票数 0
回答已采纳
在Linux中，multiprocesing模块使用fork作为新进程的默认启动方法。那么，为什么有必要对传递给map的函数进行酸洗呢？据我所知，进程的所有状态都是克隆的，包括函数。我可以想象为什么在使用spawn而不是fork的情况下这是必要的。
浏览 27提问于2021-10-18得票数 3
1回答
我有一个简单的函数，它读取HDF5文件并返回一个熊猫dataFrame
import pandas as pd
import multiprocess as mp
def read_file(filename):
store = pd.HDFStore(filename, 'r')
df = store['df']
return df
filename = ['20150320', '20150323','20150302']
T = Timer()
T.start()
pool = mp
浏览 5提问于2015-04-01得票数 0
回答已采纳
我目前正在开发一个具有多处理和pyttsx3的TTS应用程序。如果我试图启动一个进程并将pyttsx3.init("sapi5")对象作为参数传递，以便使用它在目标函数中说话，那么由于pickling和PermissionError，它将返回一个TypeError。下面是一个重现示例： import pyttsx3
def dummy(engine):
engine.say("test")
engine.runAndWait()
if __name__ == "__main__":
multiprocessing.P
浏览 159提问于2021-05-02得票数 0
回答已采纳
我使用multiprocessing模块，并且使用UpdateMessage对象(我自己的类)，通过multiprocessing.Queue对象发送，来在进程之间通信。
class UpdateMessage:
def __init__(self, arrayref, rowslice, colslice, newval):
self.arrayref = arrayref
self.rowslice = rowslice
self.colslice = colslice
self.newval = newval
浏览 0提问于2012-07-17得票数 6
1回答
我正在使用Python多处理来生成一些工作人员。它们每个都应该返回一个大小为几MB的数组。
既然我的返回数组是在子进程中创建的，那么当进程结束时，它需要复制回父进程的内存，这是正确的吗？(这似乎需要一段时间，但可能是pypy问题)
是否有允许父级和子级访问相同内存对象的机制？(同步不是问题，因为只有一个子对象可以访问每个对象)
恐怕我在python如何实现多处理方面有一些空白，试图说服pypy做好事并不能使事情变得更容易。谢谢!
浏览 0提问于2014-10-22得票数 4
回答已采纳
我想在一个类中使用多处理python库(Ubuntu16.04中的Python2.7)中的apply_async，例如我的代码是： class Try_multiprocess():
def multyprocese_chunks(self,chunks):
pool = Pool(processes=2)
site_id=564
site_st= 564
for chunk_ix, chunk in enumerate(chunks):
pool.apply_async(self.execute_chunk, args=(chunk, chu
浏览 20提问于2019-05-19得票数 0
我在Windows 7计算机上安装了Python 2.7.3。当我运行以下代码时
import nltk, json, cPickle, itertools
import numpy as np
from nltk.tokenize import word_tokenize
from pprint import pprint
t_given_a = json.load(open('conditional_probability.json','rb'))
a_unconditional = json.load(open('age.json',
浏览 1提问于2014-04-02得票数 2
下面的代码抛出一个异常，并在python2.7和3.3中打印123。
from multiprocessing import Queue
class Pool(object):
def __init__(self):
self.q = Queue()
p = Pool()
p.q.put(p)
print(123)
这实际上是某种类型的竞争条件，可以在这里看到：
yuv@yuvpad2:~/$ python3.3 t.py
123
Traceback (most recent call last):
File "/home/yuv/Downloads/P
浏览 0提问于2013-04-25得票数 0
回答已采纳
我在Windows中使用Python3.5.2 (x64)。
我正在用大块读取二进制数据(按兆字节的顺序)，并希望将这些数据高效地共享到'n‘并发Python子进程中(每个进程将以一种独特和计算上昂贵的方式处理这些数据)。
数据是只读的，在完成所有子进程之前，每个顺序块都不会被视为“处理”。
我关注共享内存(数组(锁定/解锁)和RawArray)：将数据块从文件中读取到缓冲区非常快，但是将该块复制到共享内存的速度要慢得多。
使用队列，相对于共享内存，将有大量冗余数据复制。我选择共享内存，因为它涉及数据的一个副本和'n‘副本)。
在体系结构上，如何在Python3.5中有效地处理
浏览 3提问于2016-10-30得票数 0
回答已采纳
我有一个具有结构的对象(defaultdict)：{ srting：(string，(浮，浮))，(字符串，(浮，浮))，.}
大小约为12，5MB。
我在用密码泡菜：
with open(Path_to_file, 'wb') as file:
pickle.dump(data_dict, file)
酸洗文件的重量约300 MB。在处理过程中，使用代码进行无酸洗：
with open(Path_to_file, 'rb') as file:
data_dict_new = pickle.load(file)
系统正在使用大量的RAM (大约3
浏览 3提问于2016-02-12得票数 4
我在包中使用pool.map传递数据库连接对象或游标对象时遇到了一些困难。基本上，我希望创建一个工人池，每个工人都有自己的状态和一个db连接，这样他们就可以并行执行查询了。
我尝试过这些方法，但是我在python中发现了一个错误-
第二个链接正是我需要做的，这意味着我希望每个进程在数据库连接启动时打开它，然后使用该连接来处理传入的数据/args。
这是我的密码。
import multiprocessing as mp
def process_data((id,db)):
print 'in processdata'
cursor = db.cursor()
浏览 0提问于2012-09-27得票数 5
回答已采纳
我正在用python编写代码，其中包括一些multiprocessing和multithreading。
我的问题是：线程或进程是否共享同一个调用堆栈？。
我正在使用inspect模块，我担心它会在inspect.stack()中返回错误的值。
浏览 2提问于2017-06-15得票数 1
回答已采纳
我有这样一个场景:我创建了一个包含信号量的class元素的对象。
import multiprocessing as mpr
class Element(object):
def __init__(self):
self.sem = mpr.Semaphore()
self.xyz = 33
def fun( ch ):
a = ch.recv()
print( a[0] )
print( a[1].xyz )
a[1].xyz = 99
print( a[1].xyz )
el = Element()
浏览 0提问于2012-10-19得票数 7
回答已采纳
考虑以下职能：
def f(x, dummy=list(range(10000000))):
return x
如果我使用multiprocessing.Pool.imap，我会得到以下时间：
import time
import os
from multiprocessing import Pool
def f(x, dummy=list(range(10000000))):
return x
start = time.time()
pool = Pool(2)
for x in pool.imap(f, range(10)):
print("parent
浏览 4提问于2016-01-28得票数 14
回答已采纳
我在某处读到Python的multiprocessing在内部使用了Pickle，来自未经验证的主机的Pickle数据使用起来并不安全。假设我在互联网上运行一个由弱密码保护的multiprocessing服务器，当密码被破解时，攻击者可以自动运行任意代码吗？
浏览 2提问于2015-06-01得票数 1
我有一个函数，它接受一个url列表，并为每个url添加一个标题。url_list可以是大约25,000个长列表。所以，我想使用多进程。我尝试了两种方法，但都失败了：
第一种方式- url_list没有传递correctly...the函数只获取url_list url的第一个字母'h‘：
headers = {}
header_token = {}
def do_it(url_list):
for i in url_list:
print "adding header to: \n" + i
requests.post(i, headers=h
浏览 2提问于2013-08-28得票数 0
我有一个带有python对象的应用程序(例如，类Human)。
现在我从一个文件中读取了这个人的名字，并将其存储在human.name属性中。此文件内容不受信任。
是否可以安全地对此人类实例进行筛选和解除筛选？
我曾经读过一些关于pickle beeing不安全的文章，当攻击者可以用__reduce__方法提供一个pickle时。
因此，从我所读到的内容来看，可以安全地保留它，因为我只将字符串添加到我的对象。我说的对吗?还是还有风险？
import pickle
class Human:
def __init__(self, name):
self.name = name
name
浏览 0提问于2020-11-03得票数 1
4回答
我正在尝试找出一种在python进程之间共享内存的方法。基本上，存在多个python进程需要能够读取(只读)和使用(无突变)的对象。现在这是使用redis +字符串+ cPickle实现的，但是cPickle占用了宝贵的CPU时间，所以我不想使用它。我在互联网上看到的大多数python共享内存实现似乎都需要文件和pickles，这基本上就是我已经在做的，也正是我试图避免的。
我想知道的是，是否有一种方法可以编写一个like...basically，一个内存中的python对象数据库/服务器和一个相应的C模块来与数据库接口？
基本上，C模块将向服务器请求一个地址来写入对象，服务器将以地址响应，然
浏览 2提问于2012-07-03得票数 14
回答已采纳
1回答
我想问为什么我们应该在python中挑选一个对象？
为什么我们要选择的文件应该以二进制模式打开？
在腌制过程中使用的HIGHEST_PROTOCOL是什么？
浏览 3提问于2014-06-04得票数 0
回答已采纳
我正在开发一个用Django编写的应用程序。我正在尝试在MySQL db中存储一些数据结构e.g. dictionary。所以我使用Python Pickle模块。当我使用pickle.dumps(some_structure)将其存储在db中时，它工作得很好。我的DB字段是longblob模式是binary。
但是当我访问django中model对象的字段时：
obj = someModel.get(pk=1)
some_structure = obj.field
content = pickle.loads(some_structure)
它会引发以下错误：
UnpicklingErro
浏览 3提问于2011-11-13得票数 14
2回答
我试图在一台zeppelin笔记本(在windows中)上用python3.6运行一个简单的多进程示例，但是我不能执行它。下面是我使用的代码：
def sqrt(x):
return x**0.5
numbers = [i for i in range(1000000)]
with Pool() as pool:
sqrt_ls = pool.map(sqrt, numbers)
运行此代码后，我得到以下错误：
Traceback (most recent call last):
File "/tmp/zeppelin_python-319616012857882
浏览 5提问于2020-01-31得票数 2
我正在通过Python运行C++代码，并希望选择一个扩展类型。
因此，我有一个C++结构(py_db_manager)，它包含指向数据库对象和对象管理器对象(都是用C++编写的)的指针，我用python对象(t_db_manager)包装它们。我的问题是，这个python类型需要知道如何挑选这两个指针，以便将其发送到一些子多核进程。因此，我向copy_reg模块注册了该类型(这相当于在该类型上编写一个reduce()方法。不过，我不太清楚该放什么进去。我是应该用PyObject*构建一个元组，还是只构建一个整数指针？有人能帮忙吗？
typedef struct
{
PyObject_HEA
浏览 1提问于2011-05-13得票数 6
2回答
我有一个类我想使用这个函数对其进行分类：
def _pickle(self):
"""Pickle model instance.
"""
fpath = f'{directory}/model.pickle'
with open(fpath, 'wb') as f:
pickle.dump(self, f, pickle.HIGHEST_PROTOCOL)
但是，在我的文件中，我导入了一个库。它是一些C代码的Python包装器，可以从Polya发行版中进行快速采样。
浏览 26提问于2020-03-23得票数 2
回答已采纳
我决定尝试进入多处理器模块，以帮助加快我的程序。为了解决这个问题，我尝试使用官方python文档中关于多处理的一些代码示例。
首次尝试：
>>> from multiprocessing import Pool
>>>
>>> def f(x):
... return x*x
...
>>> if __name__ == '__main__':
... with Pool(5) as p:
... print(p.map(f, [1, 2, 3]))
...
Process
浏览 1提问于2018-02-03得票数 6
回答已采纳
1回答
与放置和进入队列不同的对象
、、、、
我正在尝试实现一个队列，以便在Python中的进程之间共享一些对象(例如一个列表)。但是，我在队列中放置的是一个与后来得到的不同的对象：
from multiprocessing import Queue
q = Queue()
a = [1,2,3]
print(id(a)) # prints 4389597128
q.put(a)
b = q.get()
print(id(b)) # prints 4389600080
如果我使用原子元素(如数字)，则不会发生这种情况。
为什么是这种情况？如何将同一个对象放入队列并将其放入队列中？
浏览 2提问于2020-06-07得票数 3
回答已采纳
2回答
我在Python中有一个的pickle object。我想在Java中使用这个对象来进行预测。这有可能吗？正如我所见，Python pickle object可以在Java中以的方式使用，但我不确定它是否适用于机器学习模型。
编辑:我发现Pickle只是一个“序列化对象”，在Java中使用它是毫无意义的。我必须使用中的Java分类器实现，而不是使用Java中的Python对象。
浏览 4提问于2020-08-19得票数 0
在使用PySQLPool时，我遇到了库的问题。它导致我得到以下异常：'TypeError: 'NoneType' object is not callable'。
我使用多处理创建一个池，并对一个虚拟函数调用Pool.map。在map的参数中，我包含了来自PySQLPool的连接。我已经包含了最低限度的代码，我可以用下面的代码来再现这个bug：
from config import *
import PySQLPool
import multiprocessing as mp
def a(b):
return b
PySQLPool.getNewPool
浏览 2提问于2015-03-10得票数 5
我开始熟悉Python的multiprocessing模块了。以下代码按预期工作： #outputs 0 1 2 3
from multiprocessing import Pool
def run_one(x):
print x
return
pool = Pool(processes=12)
for i in range(4):
pool.apply_async(run_one, (i,))
pool.close()
pool.join() 但是，现在如果我在上面的代码中包装一个函数，print语句将不会执行(或者至少会重定向输出)： #outputs not
浏览 53提问于2019-06-11得票数 4
回答已采纳
我想使用Python的多处理单元来有效地利用多cpu来加快我的处理速度。
所有这些似乎都能工作，但是我想要在一个类中运行Pool.map(f, [item, item])，在我的程序中的某个地方运行一个子模块。原因是程序必须先准备数据，等待某些事件发生，然后再进行处理。
说您只能在if __name__ == '__main__':语句中运行。我不明白这有什么意义，我还是试过了，就像这样：
from multiprocessing import Pool
class Foo(object):
n = 1000000
def __init__(self, x):
浏览 2提问于2017-03-02得票数 1
回答已采纳
2回答
如何在Python中添加对传统上不可拾取的类型的酸洗支持？
我有一个复杂的对象需要进行pickle，它包含对NotImplementedType类的引用。这个类是第三方的，所以我不能重写它的__copy__()、__deepcopy__()或__getstate__()方法。
我不完全确定为什么Pickle不能序列化NotImplementedType。我敢肯定有一些愚蠢的教条主义的理由，我不关心。事实上，这个类永远不会改变，也不包含任何状态，所以它应该是可序列化的。果然，可以很好地序列化这个类。
因此，我尝试为NotImplementedType实现一个自定义的处理程序，它使用dill，如：
浏览 1提问于2017-08-23得票数 1
我正在使用一个机器学习和基于统计的分类器，称为EVM (极值机)，使用链接。我用python训练模型，并使用下面的代码将其保存为泡菜文件。
import EVM
import pickle
mevm = EVM.MultipleEVM(tailsize=300, cover_threshold = 0.7, distance_multiplier = 0.7, distance_function = scipy.spatial.distance.euclidean)
mevm.train([trainX[i] for i in list(trainX.keys())])
#Save the
浏览 4提问于2020-12-14得票数 0
3回答
我已经成功地使用Python asyncio和aiohttp构建了一个，它可以侦听POST事件以从各种提要收集实时事件。
然后，它构建一个内存结构，以便在嵌套的defaultdict/deque结构中缓存最后24小时的事件。
现在，我想定期检查点该结构到磁盘，最好使用酸菜。
由于内存结构可以大于100MB，因此我希望避免在对结构设置检查点所需的时间内延迟传入事件的处理。
我宁愿创建一个结构的快照拷贝(例如深度拷贝)，然后花时间将其写入磁盘，并以预设的时间间隔重复。
我一直在寻找关于如何组合线程的示例(线程甚至是最好的解决方案吗？)和asyncio，但找不到对我有帮助的东西。
任何入门的建议都是
浏览 0提问于2015-02-13得票数 59
回答已采纳
我正在测试模块多处理中队列结构的功能。我不明白为什么这段简单的代码不能终止一个几乎不太大的数据集。
代码：
from multiprocessing import Process,Queue
if __name__ == "__main__":
tobeQueue = Queue()
for i in range(1,10000):
tobeQueue.put(i)
这个应该终止的代码，其工作范围小于等于10.但不是10级以上的.
浏览 3提问于2013-10-08得票数 3
回答已采纳
使用pp模块时，无法更新对象'test‘中的dict 'params’。谁能告诉我为什么会发生这种情况？看看代码就知道了：
import pp
class test(object):
params = {'n': None}
dic2 = {}
n = None
def __init__(self, i):
#won't change
self.params['n'] = i
#changed
self.n = i
self
浏览 0提问于2012-11-02得票数 0
回答已采纳
我首先使用pickle.dump将一些东西转储到一个pickle文件中。在utils.load_data中，我的项目层次结构如下所示 project1
-utils
-__init__.py
-load_data.py
-data
(other folder...) 然后，它将一个pickle文件输出到数据文件夹中。然后我将.pickle文件移动到另一个项目，项目层次结构是 project2
-data
-main.py 当我在这个main.py中运行pickle.load()操作时，它提示错误作为标题。但是，如果我将main.py移回projec
浏览 81提问于2020-07-26得票数 3
回答已采纳
Python -使用cPickle加载之前保存的pickle会占用太多内存吗？
我的酸菜文件大约340MB，但加载时占用了6 6gb内存的29%。这似乎有点过了。pickle文件是一个字典字典。这样做合适吗？
使用的代码：
import cPickle as pickle
file = pickle.load( file_handle )
谢谢
浏览 3提问于2010-07-22得票数 0
回答已采纳
我正在尝试使用这段代码加载和保存对象，这段代码来自我一周前提出的一个问题：
这段代码如下：
class Fruits: pass
banana = Fruits()
banana.color = 'yellow'
banana.value = 30
import pickle
filehandler = open("Fruits.obj","wb")
pickle.dump(banana,filehandler)
filehandler.close()
file = open("Fruits.ob
浏览 0提问于2011-01-01得票数 0
回答已采纳
给定一个大型(4.5 GB代码库) python测试框架，它的执行涉及数十个文件，其中许多文件不能直接pickle，是否可以将程序的初始执行包装在一行函数中，在该函数周围创建Stackless微线程，并在执行过程中，将该微线程作为保存整个程序状态的一种方式？Stackless的微线程酸洗功能的限制是什么？
浏览 4提问于2013-06-26得票数 2
如何对wx.frame(python GUI)对象进行pickle和unpickle？
浏览 0提问于2012-02-01得票数 0
1回答
我正在尝试在我的渲染/建模(CAD)应用程序中实现多处理特性。我确实了解一些threading，但对multiprocessing来说是非常陌生的。因此，设计问题和学习问题同时存在。
我想先解决学习问题，然后是真正的设计问题，因为它可以帮助理解真实的，设计的，问题。
为了概括我的设计问题，我编写了以下示例，包括Pool和Manager
import multiprocessing as mp
from multiprocessing.managers import BaseManager
import time
class A:
def __init__(self):
浏览 3提问于2021-03-31得票数 1
回答已采纳
为什么多处理模块在被“冻结”时需要调用特定的才能工作，以生成windows可执行文件？
浏览 0提问于2012-12-18得票数 29
回答已采纳
我正在开发一个嵌入了Python的C程序。
主机程序是多进程，它们通过共享内存(mmap)进行通信。
我在一个进程中创建了一个Python对象(例如，PyDict_New)。如何将此数据复制到共享内存，以便其他进程可以获取此数据并转换为Python对象？
浏览 1提问于2015-11-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
