给定arvo模式和Json数组，如何将它们转换为Avro GenericRecord列表？
Avro是一种数据序列化系统，它支持将数据进行序列化和反序列化，并提供了强大的架构演化能力。为了将给定的arvo模式和JSON数组转换为Avro GenericRecord列表，您可以按照以下步骤进行操作：
- 创建一个Avro Schema对象，描述您的数据结构，可以使用Avro的SchemaBuilder来构建Schema。 例如，假设您的数据包含字段name和age，您可以使用以下代码创建Schema：
- 创建一个Avro Schema对象，描述您的数据结构，可以使用Avro的SchemaBuilder来构建Schema。 例如，假设您的数据包含字段name和age，您可以使用以下代码创建Schema：
- 遍历JSON数组，将每个JSON对象转换为Avro GenericRecord对象。您可以使用Avro的GenericRecordBuilder来构建GenericRecord。 例如，假设您的JSON数组是一个包含多个人员信息的数组，您可以使用以下代码将其转换为GenericRecord列表：
- 遍历JSON数组，将每个JSON对象转换为Avro GenericRecord对象。您可以使用Avro的GenericRecordBuilder来构建GenericRecord。 例如，假设您的JSON数组是一个包含多个人员信息的数组，您可以使用以下代码将其转换为GenericRecord列表：
- 现在，您已经将JSON数组转换为Avro GenericRecord列表。您可以根据需要使用这些GenericRecord进行进一步的处理或存储。
注意：这只是一个基本的示例，实际情况可能更复杂。您可能需要根据您的数据结构和要求进行相应的修改和调整。
腾讯云相关产品推荐：
相关·内容
假设我有一个有效的avro模式，如下所示： { "namespace": "com.example", "doc":of Customer" },
{ "name": "age", "type": "int", "doc":
浏览 44提问于2020-01-23得票数 0
我读入了一个Avro数据文件，使用的模式当前与文件的编写器模式和HBase中的记录相匹配：GenericRecordget返回的val是
浏览 2提问于2013-06-29得票数 2
1回答
用Avro序列化RDD
、、、
我们必须提供一个采用任何类型的RDD的功能，使用泛型表示法，您可以说是RDD[T]，并使用Avro DataFile序列化和保存到HDFS。请注意，RDD可能是任何类型的，因此该功能应该是给定的RDD类型的通用功能，例如，RDD[(String, AnyBusinessObject)] o RDD[(String, Date, OtherBusinessObject问题是:我们如何推断Avro模式，并为任何类类型提供Avro序列化，以便将其保存为Avro数据文件？这个功
浏览 0提问于2019-03-08得票数 0
我将把模式(例如，上面的“someSchema”)作为字符串放在“someSchema”字段中，然后将符合该模式的记录的avro二进制序列化形式(即，"GenericRecord someRecord"我的问题是，假设我使用这种基于JSON的方法，我如何将记录的avro二进制表示形式写入AvroContainer模式的"data“字段？baos.toString("UTF-8"));
我最初尝试省略By
浏览 27提问于2011-09-24得票数 20
1回答
用Avro嵌套特定类型反序列化
、、、、
下面是我用来生成Avro类的模式的相关部分 "type": "record", ] }
// some more fields de
浏览 1提问于2014-11-27得票数 5
回答已采纳
1回答
我正在开发一个使用Kafka和的.NET标准酒吧/子包。我的制作人有以下界面。它使用Event<T>将Newtonsoft.Json序列化为JSON，并生成一个卡夫卡主题的字符串。这样做的好处是，有效载荷可以是任何对象。主题名称是对象的完全限定类名，因此保证主题是同构的。我现在正致力于将Newtonsoft.Json转换为Avro和架构注册表。这似乎表明我的模特不可能再做任何事了。必须专门编写它们，以便通过实现ISpecificR
浏览 1提问于2019-05-13得票数 7
1回答
希望使用Avro作业(以及具有许多定义模式的SchemaRegistry )将来自Kafka主题的Spark消息放入Elasticsearch中。() }我正在逐条记录地读取记录，并且在调试器中看到反序列化的JSON字符串，一切看起来都很好，但由于某些原因，我无法将它们保存到Elasticsearch[String, GenericRecord](ssc, PreferBrokers, Subscribe[String, GenericRec
浏览 3提问于2019-11-20得票数 0
回答已采纳
1回答
现在我们要知道如何将JsonObject (具有复杂结构)转换为GenericRecord。我们尝试使用(org.apache.avro.generic.GenericRecordBuilder).生成GenericRecord。我们使用的是来自JsonObject的com.google.gson.JsonObject，但是我们被困住了如何转换为带有对象的JsonArray生成GenericRecord{8982", &
浏览 0提问于2018-12-29得票数 2
回答已采纳
1回答
我们使用的是融合式Kafka和模式注册表。我们有40多个主题。我们的应用程序使用注册表中的架构将avro消息写入这些主题。据我所理解，在使用注册表时，消息并不包含实际的模式，而是对来自注册表的模式(模式id )的引用。我正在使用Java中的一个实用程序，它将接受主题名称或主题名称列表，并从每个主题中检索有限数量的消息(可能是50条消息)。然后，此实用程序应该将avro消息转换为json。我看到的所有示例仍然需要给出能
浏览 2提问于2020-04-25得票数 3
回答已采纳
我使用avro-tools从avsc文件生成java类，使用：
java.exe -jar avro-tools-1.7.7.jar compile -string schema myfile.avsc然后，我尝试通过ObjectMapper将这样的对象序列化为json，但是总是有一个JsonMappingException说“不是枚举”或“不是一个联合”。
浏览 2提问于2016-09-06得票数 12
我是Avro的新手，我正在尝试编写一些代码来序列化一些嵌套对象。StringType, BooleanType, etc}因此，在序列化一个包时，我如何“放置”每个PluginDump条目？这是我的代码：
浏览 2提问于2017-03-07得票数 0
回答已采纳
我正在尝试使用Avro来读取/写入Kafka的消息。有谁有使用Avro二进制编码器来编码/解码将放在消息队列中的数据的示例吗？
我更需要Avro的部分而不是Kafka的部分。基本上，我正在尝试寻找一种在空间方面更有效的JSON解决方案。之所以提到Avro，是因为它可以比JSON更紧凑。
浏览 2提问于2011-11-28得票数 29
回答已采纳
我开发了一个应用程序，用于对图进行模拟和优化(例如，旅行推销员问题或各种其他问题)。目前我使用2dnumpy数组作为图形表示，并且总是存储列表列表，并且在每次从DB加载/转储到DB之后，我分别使用函数np.fromlist和np.tolist()函数。是否支持如何将numpy ndarray存储到psql中？不幸的是，np数组在默认情况下不是JSON可序列化的。我还考虑过将numpy数组转换为</e
浏览 1提问于2018-10-26得票数 1
1回答
如果我们在Kafka中使用模式注册表，是否每个生产者都需要在每次将记录发送到代理时发送当前版本的Kafka？
如果是，那么额外的开销有什么意义，因为我们已经在每个avro文件中发送模式了？如果不是，请为我的问题的愚蠢感到遗憾，并请帮助我更好地理解模式注册表。
浏览 0提问于2017-10-31得票数 0
我有一个Scala类，它用getter和setter包装avro记录。使用Jython允许用户编写python脚本来处理Avro记录，并最终对新处理的记录执行json.dumps。import json在运行时，任何给定的python脚本都可以使用AClass。泛型数组( GenericData.Array[T] )。对于略有变化的对象，
浏览 6提问于2021-05-12得票数 1
2回答
给定大小为(n,)的numpy数组，如何将其转换为大小为(n,1)的numpy数组。原因是我试图将矩阵乘成大小为(n,)和(,n)的numpy数组，以获得(n,n)，但当我这样做时：上面说你做不到。作为一个事实，我知道转置(n,)没有任何作用，所以最好改变(n,)并使它们成为(n,1)，并且一起避免这个问题。
浏览 6提问于2014-03-13得票数 4
回答已采纳
8回答
我正在寻找一个数据结构(或多个结构)，它允许我保持一个有序的整数列表，没有重复，索引和值在相同的范围内。我需要四项主要业务才能有效率，按重要程度的大致顺序排列：
使用数组，我在O(1)处有1，但2是O(N)，插入和删除也很昂贵(我相信O(N)也是如此)。链表具有O(1)插入和删除(一旦有节点)，但是1和2是O(N)，
浏览 9提问于2009-05-20得票数 17
回答已采纳
2回答
我将这些数据存储在一个列表中，即dataframes[]。最后，我想将这些数据合并成分层格式，并用avro编写输出。avro模式如下所示： "name": "mydata", "fields": [
{"name": "data", "type，我想将它们作为数组</em
浏览 2提问于2017-06-01得票数 0
回答已采纳
在编写单元/组件测试用例时，由于avro schema注册表url错误而失败。我在互联网上尝试了不同的选项，但没有找到任何有效的方法。我甚至不确定我的方法是否正确。请帮帮忙。KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG,"http://localhost:8081"); }{
浏览 0提问于2019-08-20得票数 3
6回答
Avro文件是由在Microsoft事件中心中生成的文件。使用Java，我可以使用来自Apache的将文件转换为JSON：
java -jar avro-tools-1.8.1.jar tojson --pretty inputfile > output.json使用NuGet包NuGet，我可以提取SequenceNumber、Offset和EnqueuedTimeUtc，但是由于我不知道要为Body使用哪种类型，所以会引发异常。我尝试过使用Dictionary<strin
浏览 12提问于2016-10-04得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
