我正在尝试在我的项目中使用scala泡菜，但是我有一个问题。假设我有以下代码：
import scala.pickling._
import scala.pickling.Defaults._
import scala.pickling.json._
sealed trait State
case class Married(name:String) extends State
case object Single extends State
trait Person[T<:State] {
def name:String
def surname:String
de
浏览 5提问于2015-05-26得票数 2
我正在尝试使用scala泡菜，因为在站点，它看起来非常简单和干净。但是，我未能在这个简单的REPL中使用它
scala> import scala.pickling._
import scala.pickling._
scala> import scala.pickling.Defaults._
import scala.pickling.Defaults._
scala> import binary._
import binary._
scala> class Xpto { var a = 0D; var b = 0 }
defined class Xpto
浏览 9提问于2015-08-22得票数 1
1回答
给定一个同构类型的对象流，我如何将它们序列化为二进制，将它们写入磁盘，从磁盘读取它们，然后使用Scala酸洗对它们进行反序列化？
例如：
object PicklingIteratorExample extends App {
import scala.pickling.Defaults._
import scala.pickling.binary._
import scala.pickling.static._
case class Person(name: String, age: Int)
val personsIt = Iterator.f
浏览 3提问于2015-06-08得票数 2
据我所知，当对对象调用pickle.dumps时，它将调用对象的__getstate__方法(如果有)来确定要选择什么。
如果我创建一个类，如：
class DictClass(dict):
def __getstate__(self):
print "pickling"
return self
我得到了这个结果：
>>> pickle.dumps(DictClass())
pickling
'ccopy_reg\n_reconstructor\np0...'
我可以做同样的事情，用“列表”代替“迪克”：
浏览 4提问于2014-09-20得票数 6
回答已采纳
我试图进入新的Scala泡菜库，该库在2013年ScalaDays：上展示。
我真正缺少的是一些如何使用库的简单例子。
我明白，我可以像这样再一次把一些东西泡菜，然后再把它弄干净：
import scala.pickling._
val pckl = List(1, 2, 3, 4).pickle
val lst = pckl.unpickle[List[Int]]
在本例中，pckl的类型为Pickle。这种类型的具体用途是什么，我如何获得它的ArrayByte？
浏览 3提问于2013-09-03得票数 5
回答已采纳
有没有办法在scala 2.11中使用scala-pickling？
我在sonatype存储库中尝试了唯一的scala-pickling_2.11工件，但它似乎不起作用。我明白了：
错误：(26，43)无法展开以前版本的Scala编译的宏
浏览 1提问于2014-04-24得票数 4
1回答
我使用下面的代码进行网格搜索，设置njobs=crossvalidation折叠，但是有很多行如下所示：
GridSearchCV(estimator = est,
cv = crossval_n,
n_jobs = crossval_n,
param_grid = param_grid,
scoring = grid_score,
浏览 0提问于2018-08-22得票数 0
回答已采纳
在持久化实例的上下文中，我读到了有关酸洗的内容，并浏览了以下代码片段：
泡菜文件可以被黑。如果您通过网络接收到一个原始的泡菜文件，请不要信任它！它可能包含恶意代码，当您尝试对其进行反腌制时，它会运行任意的python。
我的理解是，酸洗会将数据结构转换成字节数组，泡菜库还包含方法来获取一个经过腌制的字节数组并从它重建python实例。
我测试了一些代码，看看简单地将代码放入类或init方法中是否会运行它：
import pickle
class A:
print('class')
def __init__(self):
print(&#
浏览 1提问于2020-01-31得票数 0
回答已采纳
我使用scala.reflect.internal.pickling.ByteCodecs编码一个Array[Byte]。有关编码方案的信息可以找到。
一旦数组包含一个127的值，当我期望看到一个0时，我就会在编码字节中看到-64,-128, 1，并且我不能再解析编码的字节。
scala> import scala.reflect.internal.pickling._
import scala.reflect.internal.pickling._
scala> import java.util.Arrays
import java.util.Arrays
scala>
浏览 0提问于2013-09-14得票数 1
回答已采纳
1回答
我正在尝试使用泡菜来序列化Scala类。
import scala.pickling.Defaults._
import scala.pickling.json._
trait Tr[T<: Tr[T]]{}
class Sub(z: Int) extends Tr[Sub] {}
class Data(b: Tr[_])
val message = new Data(new Sub(1)).pickle.value
我在编译时遇到了这个错误：
错误：.类型参数_$2不符合Tr的类型参数界[T <：TrT] val message = new Data
浏览 5提问于2017-03-01得票数 1
我正在开发一个Scala程序，它使用来序列化和反序列化Map对象，该对象包含来自java.awt.geom包的String和Point2D.Double对象。
以下是相关的逻辑：
contents +=
new Button("Save Config") {
reactions += {
case ButtonClicked(_) => {
var m: Map[String, Point2D.Double] = Map()
nodeFields.foreach(x =>
浏览 2提问于2015-07-28得票数 2
回答已采纳
1回答
请考虑以下示例
import pickle
l1 = [1,2,3,4]
l2 = [5,6,7,8]
with open("test.txt", "ab") as fp: #Pickling
pickle.dump(l1, fp)
fp.close()
with open("test.txt", "ab") as fp: #Pickling
pickle.dump(l2, fp)
fp.close()
with open("test.txt", "rb") a
浏览 0提问于2019-03-21得票数 1
回答已采纳
每对数据集都有数十亿个数据点。我尝试了多处理循环，以使其更快。为什么多处理/for循环跳过了对中的一些元素？一旦我再次运行，它就会随机跳过一些其他的名字，代码就会结束。 import pandas as pd
import pickle
import time
import concurrent.futures
start = time.perf_counter()
pairs = ['GBPUSD', 'AUDUSD', 'EURUSD', 'EURJPY', 'GBPJPY', 'USDJPY
浏览 22提问于2020-12-13得票数 3
回答已采纳
在为Serialization搜索最佳apache-spark技术的同时，我在下面的链接中发现，使用该框架，在scala中的Serialization将更快、更自动。
由于Scala Pickling具有以下优点。(参考文献- )
因此，我想知道这个Scala Pickling (PickleSerializer)是否可以用于apache-spark而不是KryoSerializer。
如果是的话，需要做什么必要的改变。(示例将有帮助)
如果没有，为什么不呢。(请解释)
提前谢谢。如果我错了请原谅我。
注意:我正在使用scala语言编写apache-spark (版本)。1.4
浏览 4提问于2017-03-21得票数 2
回答已采纳
我最近遇到了scala-pickling，我正在尝试如何在项目中使用它，所以我一直在使用一个带有不可变哈希图的case类的简单示例。在本例中，scala-pickling不会生成unpickler，我不知道为什么。以下是演示该问题的REPL会话：
scala> case class Foo(a: HashMap[Symbol,Symbol], b: HashMap[Symbol,Double], c: Symbol, d: Double)
defined class Foo
scala> val bar = Foo(new HashMap[Symbol,Symbol](), ne
浏览 4提问于2014-01-14得票数 2
1回答
我有一个客户端scala代码，如下所示
import java.net._
import java.io._
import scala.io._
import scala.pickling._
import scala.pickling.json._
val sk = new Socket(InetAddress.getByName("localhost"), 13373)
val output = new PrintStream(sk.getOutputStream())
val textRDD = sc.textFile("some file&#
浏览 1提问于2015-07-14得票数 0
2回答
我正在尝试在Scala中将JSON对象数组从键转换为对象数组……
代码如下：
case class RoomList(val rooms : Array[Room])
case class Room(val name : String)
val json = "{\"rooms\" : [{\"name\" : \"Test\"}]}"
println(json.unpickle[RoomList])
以下是例外情况
Exception in thread "main" java.lang.Instantiat
浏览 4提问于2013-07-05得票数 0
下面的示例很好，但是我得到了一个编译错误，说明不能生成任何解拾取器。这里有一个简单的测试用例来重现这个过程：
import scala.pickling._
import json._
object JsonTest extends App {
val simplePickle = new Simple(new SimpleProp("TestProp")).pickle
val simpleUnpickle = simplePickle.unpickle[Simple]
}
abstract class SimpleAbstract(val stringWrapper
浏览 2提问于2013-10-17得票数 3
回答已采纳
我正在尝试运行Logistic回归示例()
这是代码：
public final class GettingStarted {
public static void main(final String[] args) throws InterruptedException {
System.setProperty("hadoop.home.dir", "C:\\winutils");
SparkSession spark = SparkSession
.builder()
.appName(&#
浏览 3提问于2017-09-21得票数 1
我使用的是带有Java 8的spark-sql-2.4.1版本。 我有一个列为"eventTs“的raw_df，它是Long数据类型的时间戳。我正在尝试将其转换回时间戳，如下所示： Dataset<Row> modified_df = raw_df
.withColumn("eventTimeStamp", ( col("eventTs").divide(1000) ).cast(DataTypes.TimestampType)) 使用( col("eventTs").divide(1000) ).cast(DataTy
浏览 37提问于2019-06-04得票数 1
回答已采纳
1回答
我希望能够使用scala泡菜来存储case类的二进制表示。
我想知道是否有一种方法来管理case类的版本控制(协议缓冲区允许的方式)
这是我的例子
我在某一特定日期创建一个程序，并使用下面的case类
case class MessageTest(a:String,b:String)
然后我序列化这个类的一个实例。
import scala.pickling._
import binary._
val bytes=MessageTest("1","2").pickle
然后我将结果存储到一个文件中
稍后，我可能不得不对case类进行改进，以添加一个新的可选
浏览 3提问于2014-09-21得票数 11
1回答
我是Django的新手，我正在尝试使用内置的缓存系统。我使用的是Django 1.4。
我的目标
在我看来，我想缓存对外部API的调用。因此，我想使用cache.get()和cache.set()。
我的方法
1)我安装了pylibmc和python-memcached
2)在我的设置中我添加了：
CACHES = {
'default': {
'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
# i also tried
浏览 0提问于2012-04-28得票数 2
回答已采纳
2回答
保存复杂的脚本化对象的状态
、、、、
在C++中，我有以下两个(使用Boost)公开给Python的类：
struct Foo {
// Empty
};
struct FooContainer {
// I use boost::shared_ptr for compatibility with Boost.Python
vector<boost::shared_ptr<Foo>> foos_;
};
在Python端，我可能会创建一种特殊类型的Foo，它实际上做了一些事情，而不仅仅是一个空类，然后将它添加到一个FooContainer中：
class Useful(Foo):
浏览 0提问于2011-09-09得票数 3
回答已采纳
我正在调查哪些数据处理作业比它们各自的使用时间更长(在我们的系统安装中，它已经运行了好几个月)。它处理的数据文件的大小在大小上有很大的差异，因此我希望将处理时间与锁定在XCOM变量值中的有效负载中的记录数量之间的比较规范化。
我希望构建一个SQL视图，用于关联处理持续时间(结束-开始)、文件大小与执行日期，以查看处理在其生命周期中的稳定性。
在联机文档中，有关于序列化为用于Python的JSON的示例，但是，我们用于气流的元数据存储在PostGres中，我希望创建一个SQL视图，该视图可以提供与处理dags/任务相关联的统计数据，并将嵌套在XCOM值内的处理本身的元数据关联起来。
现在有人如何
浏览 4提问于2019-09-25得票数 4
我有一个for循环，它在将我的6个文件(AWA、REM等)发送到混淆矩阵部分之前调用它们。我想保存每个生成的列表(6个列表)，以便以后可以调用它们并绘制混淆矩阵。
我用过泡菜。
代码如下：
#Here I load the matlab files
for name in ["AWA", "Rem", "S1","S2","SWS","stades"]:
x=sio.loadmat('/home/{}_FeaturesAll.mat'.format(name))['
浏览 0提问于2016-10-31得票数 0
1回答
众所周知，Python (或至少CPython)缓存了几个第一个整数。也就是说，以下是
a = 1
b = 1
print(a is b) # True
同时也
a = 1000
b = 1000
print(a is b) # False
更广泛地说，我们可以使用下面列出的方法来查看缓存哪些基本对象(或者“是单例对象”，如果您愿意的话)。
def does_survive_pickling(obj):
after_pickling = pkl.loads(pkl.dumps(obj))
return obj is after_pickling
我的问题是
，，什么是表现
浏览 1提问于2021-06-08得票数 1
我只是想澄清一下，我对python还是个新手。我得到了这个代码 class Player:
def __init__(self, name):
self.name = name
self.base_defence = 0
self.helm = "Worn Helmet"
self.chest = "Worn Shirt"
self.pants = "Worn Pants"
self.boots = "Worn Boots"
浏览 18提问于2021-03-20得票数 0
1回答
无法pickle连接对象
、、、、
我使用以下代码连接到SQL Server并返回连接，以便能够在其他函数中使用。但是，我得到了一个can't pickle pyodbc.Connection objects错误 代码是： def connect_to_the_DB(**kwargs):
#Connection to SQL Server
conn = pyodbc.connect(driver='{ODBC Driver 17 for SQL Server}',
server='test.co.uk',
浏览 9提问于2020-01-06得票数 2
这就是我的代码的样子，(我已经排除了一些不相关的细节) from multiprocessing.pool import ThreadPool as Pool
class GetUsers(BaseTask):
def foo(self):
pool = Pool()
try:
pool.map(self.bar, users)
finally:
pool.close()
pool.join()
def bar(self, users):
浏览 24提问于2020-03-20得票数 3
回答已采纳
1回答
我注意到，当我的对象包含对模块的显式引用时，pickling会因此而失败。
但是，如果我将对模块中某个函数的引用粘贴到我的对象中，则可以成功地对其进行拾取和取消筛选。
为什么Python可以pickle函数，但不能pickle模块？
浏览 21提问于2016-08-09得票数 0
回答已采纳
1回答
我在django应用程序中使用了celery。在失败的情况下，我会引发一个自定义异常，它是用这个类定义的： class CustomException(Exception):
def __init__(self, err_input, err_info=''):
self.err_key, self.err_msg, self.app_domain = err_input
self.message = self.err_msg
super(CustomException, self).__init__(self.mess
浏览 20提问于2020-10-15得票数 0
回答已采纳
1回答
我有一个函数foo，它接受一个小对象和一个大对象big_object。大的是一个常数。我正在使用多进程来处理小对象的列表。我希望避免每次调用foo时都必须对big_object进行pickle/unpickle操作。 看起来multiprocessing.Pool的initialiser参数对我很有用。但是我想不出来(内存爆炸)。我目前的方法看起来是这样的： big_object = None
def foo(small_object):
global big_object
# ... do stuff with big_object
return result
def
浏览 25提问于2020-07-29得票数 1
1回答
因此，我正在为一家钢铁酸洗厂开发一个基于web的过程模拟器。我有6个不同类型的表单(从6个不同的模型)在同一个模板上，这应该都是由同一个按钮提交。以下是与我的问题相关的模型：
class Settings(models.Model):
simulation = models.ForeignKey(Simulation, on_delete=models.CASCADE)
final_time = models.IntegerField(default=3000)
time_steps = models.IntegerField(default=50)
film_
浏览 3提问于2017-10-26得票数 0
目标
目标是获得一个非常简单的气流码头，我只是想安装几个非常基本的pip软件包从requirements.txt。Tan运行了一个包含numpy和熊猫部件的python脚本。
命令
docker build -t my38 .
docker-compose up airflow-init
docker-compose up -d
文件
气流/码头文件
FROM apache/airflow:latest-python3.8
COPY requirements.txt .
RUN pip install -r requirements.txt
气流/要求
apache-airflow==2.4.
浏览 8提问于2022-09-23得票数 0
回答已采纳
我想要创建一个类，其中每个实例都写入自己的日志文件。当我使用一个函数而不是一个类(或者当我不使用多重处理时)，这是很好的：
import multiprocessing, logging
def setup_logger(name_logfile, path_logfile):
logger = logging.getLogger(name_logfile)
formatter = logging.Formatter('%(asctime)s: %(message)s', datefmt='%Y/%m/%d %H:%M:%S'
浏览 2提问于2015-02-12得票数 3
回答已采纳
我有一个例子，我在酸洗一个对象，其中引用在对象树中重复。取消酸洗时，我得到了一个无效的索引异常。下面是一个测试用例。
import scala.pickling._
import json._
object JsonTest extends App {
val obj = StringProp("test")
val pickle = new PropTest(obj, obj).pickle.unpickle[PropTest]
}
case class StringProp(prop: String) {}
class PropTest(val prop1: Str
浏览 0提问于2013-10-18得票数 2
3回答
我有一个包含{ Name : Email Address }的字典
我有一个单独的.py来处理这个：
emailDict = {'Kilizo': 'info%40kilizo.com' , 'about': 'about%40google.com' }
# write python dict to a file
output = open('orig.pkl', 'wb')
pickle.dump(emailDict, output)
output.close()
这是可行的，因为它将原始字
浏览 0提问于2011-09-09得票数 0
回答已采纳
是否可以在使用require加载模块时传递参数？
我有模块，login.js，它提供登录功能。它需要一个数据库连接，并且我希望在我的所有模块中使用相同的数据库连接。现在我导出一个函数login.setDatabase(...)这让我可以指定一个数据库连接，这很好用。但我宁愿在加载模块时传递数据库和任何其他要求。
var db = ...
var login = require("./login.js")(db);
我是NodeJS的新手，通常使用Java和Spring框架进行开发，所以是的…这是一个构造函数注入:)可以做一些像我上面提供的代码吗？
浏览 1提问于2012-10-31得票数 132
回答已采纳
大家好，所以我的达格实际运行良好，所有的输出都在工作，但气流的UI不改变为成功，并由于以下问题失败。我在网上读到了以下两篇文章：
do_xcom_push=False
在气流版本2.0中，Xcom_push将被废弃。
我只是不知道该怎么安排这个？有谁能分享你的见解吗？
完整代码：
import pandas as pd
import logging
import csv
import numpy as np
import datetime
import glob
import shutil
import time
import gcsfs
from airflow.operators impo
浏览 14提问于2021-12-15得票数 3
当对象通过其属性引用自身时，从带有槽的类中提取对象的正确方法是什么？下面是一个简单的例子，用我当前的实现，我不确定它是100 %正确的：
import weakref
import pickle
class my_class(object):
__slots__ = ('an_int', 'ref_to_self', '__weakref__')
def __init__(self):
self.an_int = 42
self.ref_to_self = weakref.WeakKeyDic
浏览 2提问于2010-05-27得票数 9
回答已采纳
3回答
如何序列化异常
、、、、
当我尝试使用json.dump序列化异常时，我得到如下错误
TypeError: IOError('socket error', error(61, 'Connection refused')) is not JSON serializable
和
TypeError: error(61, 'Connection refused') is not JSON serializable
异常的__dict__字段是{} (这就是为什么不能帮助我的原因:那里的答案假设__dict__包含所有必要的信息，它们还假设我可以控制要序列化的类)。
还有比保存s
浏览 0提问于2017-07-21得票数 12
2回答
我正在使用，这是Scala的一个自动序列化框架。根据，只要作用域中有隐式Pickler[T]，任何类型的Pickler[T]都可以被腌制。在这里，我猜她是指scala.tools.nsc.io.Pickler。然而，以下内容没有编译：
import scala.pickling._
import scala.pickling.binary._
import scala.tools.nsc.io.Pickler
object Foo {
def bar[T: Pickler](t: T) = t.pickle
}
错误是：
[error] exception during macro ex
浏览 4提问于2013-09-10得票数 7
回答已采纳
我正在尝试使用joblib保存一个经过训练的大型sklearn管道对象。我很乐意使用任何方法来保存有效的模型，但我的研究到目前为止还没有找到任何有效的选择。代码端到端运行，joblib在小数据集上完美地保存了模型，但当我将其扩展到使用完整数据集时，它失败了，并显示以下错误：
File "/usr/local/lib/python3.7/pickle.py", line 732, in save_bytes
self._write_large_bytes(BINBYTES + pack("<I", n), obj)
struct.error:
浏览 239提问于2020-05-20得票数 2
在boost的帮助下，我实现了将一些C++类公开给python。我定义了两个不同的模块，它们静态地链接到我的应用程序。我可以使用这些模块中定义的类，派生它们，等等。
BOOST_PYTHON_MODULE(module1)
{
class_<MyClass, boost::noncopyable>("MyClass", no_init)
.enable_pickling();
}
但是，我不能对它们进行酸洗，因为出现了一个与酸菜无关的错误。我的类的__模块__属性不正确。因此，pickle无法将类取回。如果我的两个python模块是" modul
浏览 0提问于2012-03-01得票数 2
回答已采纳
1回答
我是一个编码的初学者，我的项目现在涉及到图像分类。在下面来自深度学习类的代码中，有一个函数maybe_pickle，但是我不知道"pickle“是做什么的，也不知道它有多大帮助，尽管我已经尝试过搜索一些答案。
def maybe_pickle(data_folders, min_num_images_per_class, force=False):
dataset_names = []
for folder in data_folders:
set_filename = folder + '.pickle'
dataset_names.appen
浏览 0提问于2017-08-24得票数 1
2回答
当我试图修改我的列表，然后加载它时，我会错误地说：
Traceback (most recent call last):
File "C:\Users\T\Desktop\pickle_process\pickle_process.py", line 16, in <module>
print (library[1])
IndexError: string index out of range
请建议解决我的代码：
import pickle
library = []
with open ("LibFile.pickle", "
浏览 0提问于2014-06-20得票数 0
回答已采纳
0回答
以下是我的代码
#my process class----------
class Process(object):
def PrintName(self, name):
print('Your name is : ', name)
#pickling-------------
import pickle
model = Process()
filename = 'Process.pkl'
pickle.dump(model, open(filename, 'wb')
浏览 0提问于2018-07-19得票数 1
回答已采纳
1回答
我最近遇到了这个框架，它看起来真的很有希望满足我的需求。我正在测试一些简单的例子，我很好奇为什么我可以提取我的对象，但它却找不到一个未拾取器。以下是我的例子：
import scala.pickling._
import json._
object JsonTest extends App {
val simplePickled = new Simple(("test", 3)).pickle
val unpickled = simplePickled.unpickle[Simple]
}
class Simple(val x: (String, Int)) {}
无法
浏览 0提问于2013-10-16得票数 1
回答已采纳
1回答
我试图制作一个简单的记事本应用程序(还没有完成，这就是为什么"y“是不完整的)
import pickle
var1 = input("Open Last Note?(y/n)")
if var1 = "y":
if var1 = "n":
note = input("Note")
class MyClass()
def __init__(self, param):
self.param = param
def save_object(obj):
浏览 4提问于2021-12-09得票数 -1
回答已采纳
1回答
我正在尝试使用Scala酸洗来编写一些通用的取消酸洗逻辑。
假设您有两种类型，A和B，并将它们提取到一个字节数组中。
你把这个字节数组发送给另一台机器，它被作为一个字节数组接收。
现在需要解开它，但是不知道字节数组是用于类型A还是类型B。
您将如何对拆卸部分进行编程？是否让A和B扩展另一个类型，比如T，然后调用unpickleT，然后对A或B的结果进行模式匹配？
或者向T添加一个实例变量，比方说字节，它对类型A或B的实例使用不同的数字，并基于此调用unpickleA或unpickleB
更新:查看Scala酸洗测试套件，我发现最接近的是，它有点像第一个选项。
浏览 2提问于2014-04-09得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
