在dataframe中存储lxml.etree._ElementTree对象: TypeError: can't pickle lxml.etree._ElementTree objects
在dataframe中存储lxml.etree._ElementTree对象会出现TypeError: can't pickle lxml.etree._ElementTree objects的错误。这是因为lxml.etree._ElementTree对象无法被序列化（pickle）。
解决这个问题的方法是将lxml.etree._ElementTree对象转换为可序列化的数据类型，例如字符串或字节流，然后再存储到dataframe中。
以下是一种可能的解决方案：
- 将lxml.etree._ElementTree对象转换为字符串：
import lxml.etree as ET
# 假设你已经有了一个lxml.etree._ElementTree对象，命名为tree
tree_str = ET.tostring(tree, encoding='utf-8').decode('utf-8')- 将字符串存储到dataframe中：
import pandas as pd
# 假设你已经有了一个dataframe，命名为df
df['tree_str'] = tree_str这样，你就可以将lxml.etree._ElementTree对象以字符串的形式存储在dataframe的一个列中了。
另外，如果你需要在存储lxml.etree._ElementTree对象之后再次使用它，可以通过以下步骤将字符串转换回lxml.etree._ElementTree对象：
- 从dataframe中获取存储的字符串：
tree_str = df['tree_str']- 将字符串转换为lxml.etree._ElementTree对象：
tree = ET.fromstring(tree_str)这样，你就可以再次使用lxml.etree._ElementTree对象了。
请注意，以上解决方案仅适用于存储和恢复lxml.etree._ElementTree对象本身，并不包括与该对象相关的其他数据。如果你需要存储和恢复完整的lxml.etree._ElementTree对象及其相关数据，可能需要使用其他方法或工具。
相关·内容
1回答
我尝试将lxml.etree._ElementTree对象存储在数据帧中。不幸的是，熊猫无法识别这些对象。有没有办法仍然将它们存储在数据帧中，或者是否有另一种方法将所有信息存储在单个文件中，并且具有良好的读/写速度和文件大小？ 下面是一个重新创建错误的示例： import pandas as pd
import lxml
from lxml import etree
s = '''<note>
<to>Tove</to>
<from>Jani</from>
<heading>Reminder&
浏览 118提问于2020-08-16得票数 0
回答已采纳
1回答
雷迪斯龙卷风会议
、、
我正在编写一个轻量级的基于龙卷风的彗星服务器。我想将"self“对象存储在redis中，以维护状态。这个能行吗？
首先，我甚至不能序列化self以存储在Redis中。
这是错误
File "sessionsupport.py", line 27, in get
this = cPickle.dumps(self,1)
File "/home/test/lib/python2.7/copy_reg.py", line 70, in _reduce_ex
raise TypeError, "can't pickle %s
浏览 2提问于2010-10-07得票数 0
我尝试转换为字符串和存储，但无法将其转换回原始类型
我也尝试过pickle.dump，但它给出了下面的错误
raise TypeError, "can't pickle %s objects" % base.__name__
TypeError: can't pickle module objects
我的代码：
with tf.Session() as sess:
restorer = tf.train.import_meta_graph('abcd.ckpt.meta')
restorer.restore(sess,'
浏览 0提问于2017-10-04得票数 0
我正在尝试将tkinter‘widget’写到一个文件中，以便我可以在另一个tkinter项目中再次使用它们。我试着用泡菜和json来完成这个任务，但不幸的是，它没有效果。以下是我尝试过的一些事情：
泡菜：
def save(widgets):
with open("testfile.pickle","wb") as file:
pickle.dump(widgets,file) #TypeError: can't pickle _tkinter.tkapp objects
杰森：
def save(widgets):
w
浏览 3提问于2020-05-01得票数 2
回答已采纳
为什么
pickle.dumps({}.items())
在Python3.5.2中的TypeError: can't pickle dict_items objects失败，但在Python2.7.12中没有失败？
“腌制”字典
pickle.dumps({})
在两个Python版本中都可以工作(在Python2.7.12中，输出结果与上面的命令相同)。
浏览 1提问于2019-02-12得票数 13
我正在尝试将一些结果写入到pickle文件中，如下所示：
raw_X = (self.token_ques(text) for text in training_data)
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
pickle.dump(raw_X, handle)
错误：
raise TypeError, "can't pickle %s objects" % base.__name__
TypeError: can't
浏览 3提问于2015-03-10得票数 17
2回答
我创建了一个tensorflow模型，我想将其保存到文件中，以便以后可以根据它进行预测。特别是，我需要保存：
input_placeholder
(= tf.placeholder(tf.float32, [None, iVariableLen]))
solution_space
(= tf.nn.sigmoid(tf.matmul(input_placeholder, weight_variable) + bias_variable))
会话
(= tf.Session())
我试过使用泡菜，它可以在其他对象上工作，比如sklearn、二进制程序等等，但在上面没有，因为在
浏览 1提问于2016-06-23得票数 11
回答已采纳
3回答
我必须像这样处理一组对象：
import cPickle as pickle
from numpy import sin, cos, array
tmp = lambda x: sin(x)+cos(x)
test = array([[tmp,tmp],[tmp,tmp]],dtype=object)
pickle.dump( test, open('test.lambda','w') )
并给出以下错误：
TypeError: can't pickle function objects
有没有办法绕过这一点？
浏览 26提问于2013-05-19得票数 22
回答已采纳
我尝试过像这样酸洗一个CookieJar对象：
import cookielib
import pickle
dumpFile = open('cookie.dump','w')
cj = cookielib.CookieJar()
pickle.dump(cj, dumpFile)
它引发了以下异常：
raise TypeError, "can't pickle %s objects" % base.__name__
TypeError: can't pickle lock objects
CookieJar可以腌制吗？
浏览 11提问于2013-08-11得票数 4
5回答
在阅读了pickle文档之后，我得到的印象是一个类需要实现__reduce__或__getstate__才能正确地进行pickle。但是，如何对字典进行酸洗呢？它们没有这些属性中的任何一个：
> dict(a=1).__reduce__()
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
/home/daniyar/work/Apr2
浏览 0提问于2012-04-28得票数 6
回答已采纳
1回答
我正在尝试将opencv的词袋图像描述符提取器对象(cv2.BOWImgDescriptorExtractor)导出到磁盘。我尝试过opencv的FileStorage类和cPickle，但它们都不起作用。
这是我用来创建对象的代码：
sift = cv2.xfeatures2d.SIFT_create()
bowDiction = cv2.BOWImgDescriptorExtractor(sift, cv2.BFMatcher(cv2.NORM_L2))
然后使用opencv中的FileStorage类：
f = cv2.FileStorage('test.yml',fla
浏览 0提问于2018-02-28得票数 0
1回答
我用训练了一个模型。
我该如何保存这个受过训练的模型？我试过pickle和sklearn.externals.joblib，但是没有工作。TypeError: can't pickle NeuralNet objects说，和后面的一样
浏览 3提问于2015-05-26得票数 1
回答已采纳
4回答
当您选择一个具有一些不能被腌制的属性的对象时，它将失败，并会出现如下所示的通用错误消息：
PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
有没有任何方法可以判断是哪个属性导致了异常？我正在使用Python2.5.2。
尽管我原则上理解问题的根源(例如，在上面的例子中有一个实例方法)，但仍然很难准确地找到它。在我的例子中，我已经定义了一个自定义__getstate__方法，但是忘记了一个关键属性。这种情
浏览 3提问于2009-02-20得票数 36
回答已采纳
如何保存scipy.stats分发版？
例如：
a = [scipy.stats.norm(0,1), scipy.stats.norm(0,2)]
with open("distro.pickle", 'w') as f:
pickle.dump(a, f)
这样我就得到了一个TypeError: can't pickle instancemethod objects
浏览 0提问于2013-01-09得票数 4
回答已采纳
我有服务器和客户端程序，通过网络套接字相互通信。
我想要的是通过套接字发送从scandir.DirEntry获得的目录条目( scandir.scandir() )。
目前，我正在使用pickle和cPickle模块，并提出了以下内容(仅摘录)：
import scandir, pickle
s = scandir.scandir("D:\\PYTHON")
entry = s.next()
data = pickle.dumps(entry)
但是，我得到了以下错误堆栈：
File "untitled.py", line 5, in <module&g
浏览 7提问于2016-09-28得票数 2
import librsync
# The destination file.
dst = file('Resume-v1.0.pdf', 'rb')
# Step 1: prepare signature of the destination file
signature = librsync.signature(dst)
我希望将签名存储在一个文件中(最好是使用pickle作为字典条目)。我想在之后计算delta文件。如何保存此签名对象以供将来使用？
更新:我试图对对象进行pickle处理，但它显示为TypeError: can't pickl
浏览 1提问于2015-03-07得票数 1
如何创建函数的泡菜文件(defaultDict)？我得到的错误是不能pickle function objects
from collections import defaultdict
dtree = lambda: defaultdict(tree)
try: import cPickle as pickle
except: import pickle
#Create defaultdict object:
hapPkl = dtree()
#Create Pickle file
f = open("hapP.pkl","wb")
pickl
浏览 10提问于2016-06-20得票数 1
回答已采纳
2回答
我有一个使用队列对象列表的类。我需要pickle这个类，包括保存在queue对象中的信息。例如：
import Queue
import pickle
class QueueTest(object):
def __init__(self):
self.queueList = []
def addQueue(self):
q = Queue.Queue()
q.put('test')
self.queueList.append(q)
obj = QueueTest()
obj.addQueue(
浏览 0提问于2013-05-26得票数 6
回答已采纳
4回答
我正在使用多处理模块在Python中进行相当多的并行处理。我知道某些对象可以被挑选(因此在多个p中作为参数传递)，而另一些则不能。
class abc():
pass
a=abc()
pickle.dumps(a)
'ccopy_reg\n_reconstructor\np1\n(c__main__\nabc\np2\nc__builtin__\nobject\np3\nNtRp4\n.'
但是我的代码中有一些更大的类(十几个方法)，这种情况发生了：
a=myBigClass()
pickle.dumps(a)
Traceback (innermost last):
浏览 3提问于2015-04-28得票数 16
回答已采纳
为什么气流与TypeError: can't pickle module objects一起下降，而任务returns kwargs与provide_context= True
但是当我在相同的任务中做print kwargs的时候，一切都很好。
浏览 0提问于2019-08-19得票数 2
回答已采纳
1回答
假设我们有一个PySpark数据字典。有办法把这本字典写到S3桶里吗？这样做的目的是读取这些PySpark数据帧，然后将它们转换为熊猫数据帧。下面是一些代码和我得到的错误：
columns = ["language","users_count"]
data = [("Java", "20000"), ("Python", "100000"), ("Scala", "3000")]
#spark = SparkSession.builder.appName('
浏览 7提问于2021-09-24得票数 1
回答已采纳
在Python语言中，什么是method_descriptor (简单的英语)？
我有这个错误，我真的找不到关于它的任何信息：
*** TypeError: can't pickle method_descriptor objects
浏览 4提问于2014-11-22得票数 6
我不明白在Python语言中使用pickle模块时，__reduce__函数到底是如何工作的。
假设我有以下类：
class Foo(object):
def __init__(self, file_name = 'file.txt'):
self.file_name = file_name
self.f = open(self.file_name, 'w')
因为pickle模块不知道如何对文件句柄进行编码，所以无法对其进行酸洗：
foo = Foo()
print(pickle.dumps(foo))
输出：
TypeError: can
浏览 0提问于2016-08-07得票数 9
考虑一下：
>>> import pickle
>>> thing = open('foobar.txt','w')
>>> pickle.dumps(thing)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/python2.6/pickle.py", line 1366, in dumps
Pickler(fi
浏览 0提问于2011-08-18得票数 16
回答已采纳
2回答
这里有一个片段，它将成功地使用dill进行序列化，但使用pickle则会失败。令人惊讶的是，Tensor对象不是本机可选的。这是线程感知张量的基本限制，还是没有实现？
import dill
import pickle
import tensorflow as tf
dill.dumps(tf.zeros((1,1)))
print("Dill succeeded")
pickle.dumps(tf.zeros((1,1)))
print("Pickle succeeded")
输出：
$ python foo.py
Dill succeeded
Traceb
浏览 7提问于2017-05-03得票数 4
回答已采纳
我试图对NearestNeighbor模型进行筛选，但它说不能对实例方法对象进行筛选。
守则：
import cPickle as pickle
from sklearn.neighbors import NearestNeighbors
nbrs = NearestNeighbors(n_neighbors=50, algorithm='ball_tree', metric=self.distanceCIE2000_classifier)
nbrs.fit(allValues)
with open('/home/ubuntu/nbrs.p','wb&
浏览 4提问于2016-06-11得票数 1
回答已采纳
3回答
运行以下PySpark代码时：
nlp = NLPFunctions()
def parse_ingredients(ingredient_lines):
parsed_ingredients = nlp.getingredients_bulk(ingredient_lines)[0]
return list(chain.from_iterable(parsed_ingredients))
udf_parse_ingredients = UserDefinedFunction(parse_ingredients, ArrayType(StringType()))
我得到以
浏览 4提问于2017-10-11得票数 4
回答已采纳
4回答
我有一个简单的类，只存储与电路板相关的数据，如下所示：
class boardClass():
def __init__(self,boardName):
self.__name=boardName
self.__boardMappings= {boardName:{
'FastMode':
{'CPU_A':{'mipi':[], 'gpen':[]},
浏览 2提问于2012-04-25得票数 4
我有一个简单的Django模型，其中包含一个二进制字段，我想对其进行筛选。
class MyModel(models.Model):
bin_data = models.BinaryField()
在我的单元测试中，我做了以下工作：
import pickle
tmp_obj = MyModel.objects.create(bin_data="12345")
obj = MyModel.objects.get(pk=tmp_obj.pk) # load from DB
data = pickle.dumps(obj)
obj2 = pickle.loads(data
浏览 2提问于2014-07-07得票数 2
回答已采纳
1回答
我正在使用PyMemoize库缓存协程。我装饰了协程，但是当Python调用它时，我得到：
TypeError: can't pickle coroutine objects
之所以会发生这种情况，是因为PyMemoize内部试图将协程存储在Redis中。为此，它使用shelve.Shelf，而后者又使用pickle。问题是，由于未知的原因，pickle不支持酸洗协程。
我尝试过用dill处理协程，并且成功了。如何告诉shelve使用dill作为序列化后端？
我尝试过修补shelve，但它不起作用(我不知道为什么)：
import shelve
from dill import Pic
浏览 3提问于2018-10-22得票数 4
我正在使用多处理，我知道pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。
我还知道哪些类型的数据可以进行酸洗，比如Integer、List、Set和...
但是，如果我想使用非pick_able的其他数据，我应该怎么做？
更准确地说，我希望在ORTools中使用多处理来并行创建约束。blow是我的代码：
manager = Manager()
constraints = manager.list(range(16))
def constraint_saz():
"constraint's condition"
# Create t
浏览 0提问于2018-06-05得票数 1
2回答
我有一个put和get函数，可以插入到MongoDB中：
def put(self,key,value):
key = self.path+"&&"+key
value1 = Binary(pickle.dumps(value))
entry = {"keyname":key,"info":value1}
self.filenode.update({"keyname":key}, { "$set" : entry }, upsert=True)
def
浏览 6提问于2015-10-17得票数 1
回答已采纳
我有一个pyspark Dataframe，现在我想遍历每一行并插入/更新到mongoDB集合。
#Did every required imports
#dataframe
+---+----+
|age|name|
+---+----+
| 30| c|
| 5| e|
| 6| f|
+---+----+
db = mongodbclient['mydatabase']
collection = db['mycollection']
#created below function to insert/upda
浏览 1提问于2017-09-07得票数 2
1回答
我必须使用numba的dict (numba.typed.typeddict.Dict)类型来定义字典： @njit
def init_numba_dict():
x = numpy.array([0], dtype=numpy.int32)
return {"01234-5": x[0], "0-1": x[0]}
myDict = init_numba_dict() 现在我需要将它保存到一个文件中。我认为下面的代码应该可以工作： import pickle
filehandler = open("file.dat", &#
浏览 33提问于2019-09-19得票数 2
ModelCheckpoint可用于根据特定的监视度量来保存最佳模型。因此，它显然拥有存储在其对象中的最佳度量标准的信息。例如，如果您在google上进行培训，您的实例可能会在没有警告的情况下被杀死，并且在经过长时间的培训之后会丢失此信息。
我试图对ModelCheckpoint对象进行筛选，但得到了：
TypeError: can't pickle _thread.lock objects
所以当我把笔记本拿回来的时候，我可以重用同样的东西。有什么好办法吗？你可以尝试通过以下方式进行复制：
chkpt_cb = tf.keras.callbacks.ModelCheckpoint
浏览 1提问于2019-12-09得票数 3
回答已采纳
1回答
为了与joblib.Parallel一起使用，我需要能够pickle一个boost::python函数。当我尝试这样做时，我得到一个
TypeError: can't pickle builtin_function_or_method objects
据我所知，这个函数应该只使用完全限定的名称。我不明白为什么这是不可能的。有什么想法吗？
浏览 0提问于2011-08-17得票数 3
回答已采纳
当我跑的时候 pickle.dump(model,open('modelDL.pkl','wb')) 我得到了 TypeError: can't pickle weakref objects 我创建了一个深度学习模型，我正在尝试保存该模型。模型： model = Sequential()
model.add( Dense(30,activation='relu') )
model.add( Dropout(0.5) )
model.add( Dense(20,activation='relu') )
model.ad
浏览 210提问于2020-11-03得票数 8
我有一个简单的代码，其中我将excel .xlsx文件作为一个数据文件读取，然后使用to_pickle将它写回泡菜文件。几个月来，我一直在使用相同的代码来读取和写入新的excel文件。然而，这一次当我尝试我的代码时，它给了我TypeError:由于某种原因不能序列化'_io.BufferedReader‘对象错误。这是密码，
# Path to .xlsx
MasterItem = MonthlyFolder + "MasterItem__Nov2019.xlsx"
# Function to read the excel file
def ReadExcel(fil
浏览 3提问于2019-12-08得票数 0
1回答
我使用dill将ML模型保存到文件中。
当我使用python -m unittest运行我的测试时，它是有效的。但是，如果我尝试使用python setup.py test运行测试，就会在我试图保存模型的raw中获得错误TypeError: can't pickle PyCapsule objects。
在中setup.py中用于测试的设置：
test_suite='tests', tests_require=['pytest']
错误：
File "/Users/anna/anaconda3/lib/python3.6/site-packa
浏览 2提问于2018-12-21得票数 4
回答已采纳
我目前正在DAG中创建一个引擎，并将这个sqlalchemy引擎作为参数传递给PythonOperator以执行一些数据库工作。例如：
PythonOperator(python_callable=my_callable,
op_args=[engine],
provide_context=True,
task_id = 'my_task',
浏览 2提问于2019-08-06得票数 1
回答已采纳
在我的中运行代码后，我从我的子进程中获得了一个结果集，如下所示：
[[(<PyTime:6/10/2012 3:24:17 AM>, 1593.5, 413.0, 19.600000381469727, 430.0, 16.0, 47.0, 42.70000076293945, 15.600000381469727, 69.5),
(<PyTime:6/10/2012 3:24:18 AM>, 1658.0, 412.0, 19.600000381469727, 429.0, 7.0, 34.400001525878906, 30.899999618530273, 1
浏览 0提问于2012-06-18得票数 1
回答已采纳
1回答
我在堆栈中找到了一个用于搁置变量的脚本，并得到了一个错误，内容如下：
'Traceback (most recent call last):
File "/Users/*confidentialname*/Documents/Shelving.py", line 11, in <module>
my_shelf[key] = globals()[key]
File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/shelve.py", line
浏览 7提问于2017-02-09得票数 0
回答已采纳
1回答
保存随机森林模型存档？
、、、、
试图保存随机森林模型。
所有的方法都失败了：
self.model = RandomForestClassifier(n_estimators=n_estimators,criterion='entropy', min_samples_leaf=2, max_depth=15,min_samples_split=5, max_features=None, n_jobs=-1, random_state=555)
def save_model(self, fname):
with open(fname,'wb') as f :
dill.
浏览 0提问于2019-09-14得票数 3
我正在尝试从具有可以为空的BinaryField的模型导入数据。数据不包含该字段，并且我希望在字段中使用空值导入它。如果给定id的字段已存在于数据库中，则应保持该值不变。
我从相应Resource对象的fields白名单中删除了该字段，并将其添加到exclude黑名单中。然而，在导入- can't pickle memoryview objects时，我得到了这个错误。
回溯：
Traceback (most recent call last):
File "/lib/python3.5/site-packages/import_export/resources.py"
浏览 2提问于2017-12-19得票数 16
在使用joblib并行化一些涉及Theano函数的模型拟合代码的过程中，我偶然发现了一些对我来说很奇怪的行为。
考虑下面这个非常简单的例子：
from joblib import Parallel, delayed
import theano
from theano import tensor as te
import numpy as np
class TheanoModel(object):
def __init__(self):
X = te.dvector('X')
Y = (X ** te.log(X ** 2)).sum()
浏览 0提问于2014-08-18得票数 7
回答已采纳
我想知道如何用cPickle保存一个包含utf-8字符作为关键字的字典到Python文件中。这本字典非常大，我听说cPickle比pickle快得多。另外，我认为使用utf-8编码的密钥也是有问题的。任何其他快速解决方案也是受欢迎的。下面是我所做的，下面是错误消息：
unique_ngrams_dict = defaultdict(lambda: 0)# just to show how I defined my dict
dict_file = codecs.open('ngram_dict', 'w', 'utf-8')
cPickle.
浏览 0提问于2011-03-08得票数 2
回答已采纳
我似乎想不出一种方法来腌制这个，有人能帮上忙吗？这是因为reduce函数是为re.match编写的。
代码：
import re
x = re.match('abcd', 'abcd')
print(type(x))
print(x.__reduce_ex__(3))
输出：
<class 're.Match'>
Traceback (most recent call last):
File "an.py", line 4, in <module>
print(x.__reduce_ex__(3
浏览 81提问于2020-05-18得票数 0
回答已采纳
1回答
泡菜Keras ANN
、、、
我试图使用这段代码来安装一个使用Keras的ANN，然后对它进行腌制：
early_stopping = EarlyStopping(monitor='val_loss', patience=4, mode='auto')
model = Sequential()
model.add(Dense(units=40, kernel_initializer='random_uniform', input_dim=x_train.shape[1], activation='relu'))
model.add(Dense(units=1,
浏览 0提问于2018-08-16得票数 0
回答已采纳
我有一个库函数，它返回一个包含生成器的复合对象，它不能被pickle (尝试pickle会生成错误TypeError: can't pickle dict_keys objects)。 当我尝试通过Spark并行化时，由于pickle失败(nb.通过具有默认sc的DataBricks运行)。 这是一个最小的重现： test_list = [{"a": 1, "b": 2, "c": 3},
{"a": 7, "b": 3, "c": 5},
浏览 25提问于2019-02-26得票数 2
回答已采纳
执行下列代码时：
features_df = pickle.loads(open( "features.dataframe", "rb" ))
在features.dataframe是文件名的地方，我得到以下错误：
TypeError:需要一个类似字节的对象，而不是“_io.BufferedReader”
浏览 3提问于2017-08-03得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
