我们有一个用Scala编写的Flink作业，使用case类(由avrohugger从avsc文件生成)来表示我们的状态。我们希望使用Avro来序列化我们的状态，这样当我们更新我们的模型时，状态迁移就会起作用。我们从Flink 1.7开始就知道Avro序列化是支持OOTB的。我们将flink-avro模块添加到类路径中，但从保存的快照恢复时，我们注意到它仍在尝试使用Kryo序
浏览 16提问于2019-03-21得票数 1
我正在尝试使用Salat-Avro来序列化和反序列化Scala case类。at Main$.<clinit>(salat-avro-example.sca
浏览 3提问于2012-08-30得票数 0
回答已采纳
我正在尝试将avro字节流反序列化为scala case类对象。基本上，我有一个带有avro编码数据流的kafka流，现在向模式中添加了一个，我正在尝试更新scala case类以包括新字段。case类如下所示 /** Case class to hold the Device data. */
case class DeviceData(de
浏览 13提问于2019-05-30得票数 1
回答已采纳
" %% "avro4s-core" % "3.0.4" 我们使用代码生成器从AVRO模式文件中生成Scala case类。问题变成了在从topic到case类(二进制-> Avro Map -> case类)的反序列化路径上缺少什么。-serde，但这个库可能只确保AVRO
浏览 22提问于2020-04-08得票数 2
回答已采纳
1回答
我希望使用avro ReflectDatumReader/ReflectDatumWriter序列化scala case类并进行反序列化。下面是我在scala中的完整代码-import java.io.ByteArrayOutputStream
<
浏览 17提问于2022-11-30得票数 0
回答已采纳
我使用的是Scala 2.12和Avro (org.apache.avro) 1.8。case类包括：我<em
浏览 0提问于2019-03-14得票数 0
我正在编写一个Apache流应用程序，它反序列化数据(Avro格式)，读取一个Kafka总线(关于的更多细节)。数据正在反序列化为Scala案例类。(SpecificData.java:347)Scala案例类非常简单：
package org.myorg.quickstart/** Case class to hold the Devic
浏览 1提问于2018-07-02得票数 5
回答已采纳
我想从scala case类生成一个avro模式。假设我有以下scala case类： case class User(name : String, favorite_number: Int, favorite_color: String) 相关的avro架构为： {"namespace": "example.avro",
"type": "re
浏览 14提问于2019-01-31得票数 0
回答已采纳
跟进这个问题： val writer = new GenericDatumWriter[GenericRecord](avro_schema) r.put("my_number", 1);
浏览 1提问于2016-08-15得票数 2
我们正在考虑一种基于scala的Akka持久性应用的序列化方法。我们认为持久化事件可能会随着时间的推移而“进化”，因此我们希望支持模式演化，并且首先考虑Avro。通过检查avro和各种scala库的文档，我看到了将模式包含在消息中的方法，以及如何通过使用模式注册中心来使用它“模式-无”，但是中间的情况如何呢？我会直接创建一个模式来表示我的case类，但是为模式版本增加一个“标识符”字段，然后在运行时
浏览 1提问于2018-02-02得票数 3
回答已采纳
我基于这些类测试了模式，它看起来很好。现在，我按照case类创建所需的对象。import java.io.File
//case更新
根据@Antot和@Daniel的以下建议，我将头类和body类
浏览 5提问于2019-03-01得票数 0
当生成或使用kafka中的消息以及Avro模式存储在模式注册表中时，是否可以将消息自动转换为scala案例类？String, User]("my-topic", user.id, user) java.lang.IllegalArgumentException:不支持Avro支持的类型为空、布尔、整数、长、浮点、双、字符串、byte[]和IndexedRecord
case</e
浏览 4提问于2021-03-17得票数 0
为了便于在Scala中使用Avro，我想根据存储在.avro文件中的模式定义一个case类。我可以试试：
在运行时修改现有的案例类定义？
浏览 0提问于2013-03-25得票数 17
回答已采纳
该流映射一个生成的Avro Java类( SpecificRecord )。 流作业是用Scala编写的。org.apache.flink.api.java.typeutils.runtime.kryo.KryoSerializer.buildKryoRegistrations(KryoSerializer.java:572) 我认为问题在于Flink无法序列化Avro Pojo类，因为该类中嵌套了多个Avro Pojo类。我尝试为所有嵌套的Pojo<
浏览 38提问于2020-09-25得票数 0
我有一个spark 2.0应用程序，它使用spark streaming从kafka读取消息(使用spark-streaming-kafka-0-10_2.11)。结构化流媒体看起来真的很酷，所以我想试着迁移代码，但我不知道如何使用它。
在常规的流中，我对createDstrean使用kafkaUtils，并且在我传递的参数中，它是值反序列化器。在结构化流中，文档说我应该使用DataFrame函数进行反序列化，但是我不能确切地理解这是什么意思。我看过像
浏览 3提问于2016-11-20得票数 9
3回答
在Scala中导入avro模式
、、、、
我正在编写一个简单的twitter程序，在这里我正在阅读使用Kafka的Tweets，并希望使用Avro进行序列化。到目前为止，我刚刚在Scala中设置了twitter配置，现在我想使用这个配置来读取tweet。 ]我
浏览 16提问于2015-08-01得票数 3
回答已采纳
1回答
我使用avro反射和confluent模式注册表来反序列化/序列化数据，如下所示：Schema schema = REFLECT_DATA.getSchema(value.getClass(schema: " + schema, e);反序列化： readerSchema = new Schema.Parser().parseschema for id " + schemaId
浏览 0提问于2018-12-20得票数 5
Spark无法在MapString，AvroObj中序列化avro对象，即使我使用avro-1.8.0使avro对象可序列化之后也是如此。}) - object (class scala.collection.mutable.HashMap我怀疑模式$属性仍然是不可序列化的，但是当我
浏览 2提问于2016-06-23得票数 1
我正在使用scala &使用下面的Spark Streaming方法从Kafka消费数据：上面的变量返回InputDStream，通过它我可以使用以下代码查看原始/二进制格式的数据:println(行)
但我需要在原始/二进制格式上应用avr
浏览 11提问于2017-02-14得票数 3
回答已采纳
我的需求包含一个类，应该使用返回一个avro模式。下面是代码，我正在尝试：import scala.reflect.ClassTag name: String,
ingredientsc
浏览 3提问于2020-06-17得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号