数组中的AVRO ENUM :不是联合运行时异常
AVRO ENUM是一种在AVRO架构中使用的数据类型，它用于表示固定数量的预定义值。ENUM是一个枚举类型，它可以将一组预定义的符号映射到整数值。AVRO ENUM可以用于描述特定字段的取值范围，并提供类型安全性和数据一致性。
AVRO ENUM的主要特点和优势包括：
- 类型安全性：AVRO ENUM定义了一组预定义的符号，只允许字段采用这些符号值中的一个。这样可以确保数据的类型安全性，防止无效或意外的数值输入。
- 数据一致性：使用AVRO ENUM可以确保数据的一致性。当字段的取值仅限于预定义的符号时，它们的值在不同的系统之间可以保持一致。
- 紧凑的数据表示：AVRO ENUM使用整数值来表示符号，这样可以节省存储空间和网络带宽。
- 易于扩展：AVRO ENUM可以随时添加新的符号值，而不需要修改现有的数据结构。这种灵活性使得数据模型的演化更加容易。
AVRO ENUM适用于以下场景：
- 数据模式的固定选择集合：当数据模型中的字段只能取固定预定义值时，可以使用AVRO ENUM来表示。例如，性别字段只能是"男"或"女"。
- 数据一致性要求高：当多个系统之间需要共享数据，并确保字段的取值一致性时，可以使用AVRO ENUM来定义字段类型。
- 简化数据表示：当需要在数据传输中使用紧凑的表示方式时，AVRO ENUM可以帮助节省存储空间和网络带宽。
腾讯云提供了一系列与AVRO ENUM相关的产品和服务，例如：
- 腾讯云消息队列 CMQ：https://cloud.tencent.com/product/cmq - 可以使用AVRO ENUM来定义消息队列中的消息格式，确保消息的一致性和类型安全性。
- 腾讯云数据传输 DTS：https://cloud.tencent.com/product/dts - 可以使用AVRO ENUM来定义数据传输任务中的字段映射，确保数据的一致性。
请注意，这只是一种举例，实际上可能有更多与AVRO ENUM相关的腾讯云产品和服务。在具体的场景中，根据需求选择合适的产品和服务。
相关·内容
org.apache.avro.UnresolvedUnionException: Not in union ["null",{"type":"enum","name":"document_change_type","namespace":"document","symbols":["create","update","delete"]}]: create
我为这个字段传入了字符串create，它抛出了上面的异常。
cr
浏览 1提问于2015-05-28得票数 1
我对Avro序列化完全陌生，我正试图了解如何定义复杂的类型。
我对Avro如何在Java中生成Enum感到困惑。
{
"type":"record",
"namespace":"com.example",
"name": "Customer",
"doc":"Avro Schema for our Customer",
"fields":[
{"name":"first_nam
浏览 7提问于2021-09-09得票数 0
1回答
我正在尝试将枚举值序列化为Avro消息并发送它。该架构是通过以下方式构建的：
Schema myschema = SchemaBuilder.record("com.testing.schemas").fields()
.name("enumTest").type().nullable().enumeration("aname")
.symbols("a","b","c","d","e").noDefault();
看起来像这样
{"name":
浏览 0提问于2020-04-23得票数 1
4回答
我遇到了一些设置Avro字段默认值的问题。我有一个简单的模式，如下所示：
data.avsc:
{
"namespace":"test",
"type":"record",
"name":"Data",
"fields":[
{ "name": "id", "type": [ "long", "null" ] },
{ "name": "value"
浏览 13提问于2014-04-08得票数 64
回答已采纳
我试图将默认值设置为整数，表示kafka的值，它可以是任意整数或null。我试过这样做：
union {null, int} field = 2; (in avdl file)
但是我得到了错误错误:线程中的异常“主”org.apache.avro.AvroTypeException:字段字段的无效默认值:2不是"null"，"int"
浏览 5提问于2022-09-16得票数 0
我有一个java程序，写入数据从Oracle数据库的avro格式。在写代码时，我在日期列上遇到了这个异常 org.apache.avro.file.DataFileWriter$AppendWriteException: org.apache.avro.UnresolvedUnionException:不在union中"null"，"int"：2020-04-01 我使用的是avro 1.9.2版本。以下是模式： {
"type": "record",
"name": "some",
浏览 51提问于2020-06-16得票数 0
我知道“正常”阿夫罗枚举是由
enum ActionType {CREATE, REMOVE}
在.avdl文件中或通过avro中的此类构造：
{ "type": "enum",
"name": "ActionType",
"symbols" : ["CREATE", "REMOVE"]
}
问题是我的特定实体将有可以有值"01“和"02”的字段。
因此，我的问题是: 1.这是正确的avro enum定义吗？
{ "type": "en
浏览 10提问于2019-11-11得票数 0
给定示例模式包含null和字符串的并集的字段，
模式
{
"type":"record",
"name":"DataFlowEntity",
"namespace":"org.sdf.manage.commons.server",
"fields":
[
{"name":"dataTypeGroupName","type":["null","string"]},
浏览 1提问于2015-10-20得票数 5
我正在使用这个Avro模式：
prices-state.avsc
{
"namespace": "com.company.model",
"name": "Product",
"type": "record",
"fields": [
{
"name": "product_id",
"type": "string"
浏览 0提问于2018-04-19得票数 9
回答已采纳
1回答
这是一个正在发送的数据的示例，但由于某种原因，我得到了一个空指针异常，我试图剥离一些代码以使其更小，但我认为我可能需要保留大量的模式来显示格式和嵌套字段。我已编辑为仅显示相关部分，因为不希望在网上宣传我的方案 {
"eventType": "XXX",
"correlationId": "XXX",
"timestamp": XXX,
"policy": {
"policyNumber": "XXX",
浏览 44提问于2020-01-15得票数 0
回答已采纳
我正在做简单的json到Avro记录转换，但我得到了这个问题，我尝试了很多方法，我应用了15个以上的解决方案，从堆栈溢出和在线。
我的档案看上去像这样
{
"namespace": "test",
"type": "record",
"name": "root",
"doc": "This stream contains raw data.",
"fields": [
{
浏览 1提问于2020-03-28得票数 2
回答已采纳
1回答
在我的Avro模式中，我有一个类型为enum的字段myenum，如下所示：
{
"name": "myenum",
"type": {
"type": "enum",
"name": "Suit",
"symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]
}
}
我还希望允许使用null。如果
浏览 0提问于2018-10-09得票数 3
我正在开发一个Avro模式，并试图创建一个测试数据来用Kafa测试它，但是当我生成消息时得到了这样的错误：“由: org.apache.avro.AvroTypeException: Expected . got START_OBJECT引起的”我创建的模式如下：
{
"name": "MyClass",
"type": "record",
"namespace": "com.acme.avro",
"doc":"This schema is
浏览 18提问于2022-01-11得票数 0
1回答
我有以下JSON数据集：
{
"hashtags":null
}
{
"hashtags":[
"value1",
"value2"
]
}
以及从Kite SDK生成的以下Avro模式(它看起来是正确的--一个null或字符串数组的联合)：
{
"type" : "record",
"name" : "tweet",
"fields" : [ {
"name"
浏览 2提问于2015-08-06得票数 0
回答已采纳
我正在尝试使用Union数据类型支持的成员记录类型来构建AVRO的复杂记录。
{
"namespace": "proj.avro",
"protocol": "app_messages",
"doc" : "application messages",
"types": [
{
"name": "record_request",
"type
浏览 0提问于2018-06-26得票数 3
我正在尝试在JAVA的AVRO记录中填充枚举。Maven插件的使用导致了其他问题，所以我决定使用GenericRecordBuilder。有问题的AVRO记录(只显示了导致我出现问题的模式的一部分)： {
"name": "allocs",
"type": {
"type": "array",
"items": {
"typ
浏览 8提问于2021-02-06得票数 0
回答已采纳
作为记录，我们有一个像下面这样的领域
{
"name": "errorType",
"type": [
"null",
"com.abc.xyz.ErrorEnum"
],
"default": null
}
但是我们得到了默认值的异常。
Caused by: org.apache.avro.AvroTypeException: Invalid default for field errorType: &
浏览 1提问于2022-06-11得票数 1
由于几个问题，我很难在Avro中推广名称空间。最近的一个问题是消息何时应该包含名称空间。我现在认为使用名称空间会因为被感知到的不一致而引起太多的麻烦。最近，我们一直在处理来自合流模式注册表的以下错误：
"error_code": 42203,
"message": "Conversion of JSON to Object failed: Failed to convert JSON to Avro: Unknown union branch id"
此错误的来源似乎是正在发送的消息中缺少命名空间标识符。
例如，在我的模式中，我有一个名为Comp
浏览 1提问于2021-09-13得票数 0
回答已采纳
我正在尝试使用这个avro模式
{
"type": "record",
"name": "ComplianceEntity",
"namespace": "com.linkedin.events.metadata",
"fields": [
{
"name": "fieldPath",
"type": "string"
},
{
"nam
浏览 1提问于2018-10-17得票数 0
回答已采纳
1回答
我面临着Avro和Schema注册表的问题。Debezium创建了一个模式和一个主题之后，我已经从schema下载了这个模式。我将它放入一个.asvc文件中，看起来如下所示：
{
"type": "record",
"name": "Envelope",
"namespace": "my.namespace",
"fields": [
{
"name": "before",
浏览 3提问于2019-12-18得票数 1
回答已采纳
在执行avro-maven-plugin:schema goal的过程中，我一直收到这个错误： [ERROR] Failed to execute goal org.apache.avro:avro-maven-plugin:1.10.2:schema (default) on project test: Execution default of goal org.apache.avro:avro-maven-plugin:1
.10.2:schema failed: Invalid default for field someId: null not a ["int",&#
浏览 58提问于2021-07-27得票数 1
回答已采纳
我的工作流程是--在我的C++应用程序中创建avsc文件，使用avrogencpp工具生成C++类，并创建avro二进制编码数据。
我正在试图找出为什么场景2不起作用。
场景1
test.avsc
{
"namespace": "com.company.project",
"name": "Component_DeviceInfo",
"type": "record",
"doc": "Identifies a client device",
"fie
浏览 6提问于2017-10-06得票数 1
回答已采纳
我需要在我的Avro模式中向logicalType：'date‘添加一个'null’默认值。我现在的定义如下：
{
"type": "record",
"namespace": "my.model.package",
"name": "Person",
"version": "1",
"fields": [
{"name":"birthday","type": {
浏览 1提问于2018-03-19得票数 5
回答已采纳
2回答
我试图在我们的软件中使用C++ avro库，但我遇到了一个严重的问题。我有一个"Value“类，它包装了一系列类型，我想使用avro来读/写它。这不仅包括简单类型，还包括类型的std::vectors、任意类等等。
我正在尝试为我的"Value“类指定一个avro模式。在我的示例中，我将其限制为空、int、long、int数组和long数组。
我的模式是一个包含两个字段的记录，一个字段标识所包含的类型，一个联合来保存所包含的对象。我拥有的模式如下所示...
{
"type": "record",
"name": &
浏览 11提问于2017-08-31得票数 2
当每个文件的模式可以是N个不同模式中的一个时，如何从Avro文件构造PCollection？
我们只想指定一个匹配所有avro文件的glob路径，并且我们想使用单个Avro源，而不是为每个文件构造一个新的Avro源？
浏览 0提问于2015-01-15得票数 0
模式：
const char schema[] =
"{ \"type\":\"record\", \"name\":\"foo\","
"\"fields\": ["
"{ \"name\": \"nullableint\", \"type\":[\"int\",\"null\"]}"
"]}";
设置架构：
avro_datum
浏览 0提问于2018-09-05得票数 1
1回答
如何在avro中序列化java枚举。
例如，我有枚举-
enum color {
WHITE,RED,GREEN
}
avro模式
{
"type": "enum",
"name": "Color",
"symbols" : ["WHITE", "RED", "GREEN"]
}
enum应该为avro序列化实现哪个接口？
浏览 3提问于2016-05-26得票数 4
1回答
我有一些文件记录，其中存储为纯文本Json。A示例记录：
{
"datasetID": "Orders",
"recordID": "rid1",
"recordGroupID":"asdf1",
"recordType":"asdf1",
"recordTimestamp": 100,
"recordPartitionTimestamp": 100,
浏览 0提问于2016-12-12得票数 0
我有Scala2.12并导入了库avro4s，根据我的需求遵循了。
基本上，我的avro模式如下:仅示例：
Schema: {"name": "person","type": "record","fields": [{"name": "address","type": {"type" : "record","name" : "AddressUSRecord","fields" : [{&#
浏览 5提问于2019-03-01得票数 0
我有一个带有数组字段的AVRO模式。此数组字段具有作为另一个AVRO模式的对象的项。下面是我现在拥有的代码。 {
"name": "bars",
"type": ["null", {
"type": "array",
"items": "com.example.Bar"
}],
"default": null
} 这段代码是"bars“的字段定义，它是一个包含"com.example.Bar”对象的数组
浏览 23提问于2020-10-19得票数 0
回答已采纳
2回答
我正在尝试运行一个map reduce作业，它接受一个avro文件作为输入，并进行一些处理。我遵循了apache提供给我们的示例程序
但是我总是遇到这样的异常
java.lang.Exception: java.lang.NoSuchMethodError: org.apache.avro.generic.GenericData.createDatumWriter(Lorg/apache/avro/Schema;)Lorg/apache/avro/io/DatumWriter;
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(L
浏览 3提问于2015-02-03得票数 0
JSON负载：
{
"BILLING_EVENT_RULE_MET_DT": "lsks",
"PlanType":"hhh"
}
AVRO模式：
{
"name": "Subscription",
"type":"record",
"doc": "Subscription details",
"fields":
[
{ "name": "BILLING_EVEN
浏览 5提问于2019-11-28得票数 0
下面是我的SQL，它可以工作： select hostnetworkid,roamertype,carrierid, total_failure,total_count,date_format(timestamp(unix_timestamp(window.start)),\"yyyyMMdd\") as eventdate, date_format(timestamp(unix_timestamp(window.start)),\"HH:mm\") as start from (select hostnetworkid,roamertype,carrie
浏览 7提问于2021-04-01得票数 0
我已经在线查看了avro文档和几个示例(以及类似的StackOverflow问题)。然后，我尝试定义一个avro模式，并且不得不逐步退出字段来确定我的问题是什么(来自python中avro库的错误消息并不像人们希望的那样有帮助)。我有一个想要转换为Avro的JSON文档，我需要为此指定一个模式(使用avro-tools从json生成模式不能像预期的那样工作，并且在尝试将json转换为avro时产生一个AvroTypeException )。我使用的是Avro版本1.7.7。下面是我想为其定义avro模式的JSON文档：
{
"method": "Do_Thing&#
浏览 16提问于2016-09-13得票数 1
回答已采纳
1回答
我正在尝试使用连接器以avro格式将数据从我的code代码编写到Kafka到HDFS，并且遇到了一些问题。当我使用汇合平台网站上提供的简单模式和数据时，我可以将数据写入HDFS，但是当我尝试使用复杂的avro模式时，在HDFS连接器日志中会出现以下错误：
ERROR Task hdfs-sink-0 threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:142)
org.apache.kafka.connect.errors.DataException: Did no
浏览 3提问于2016-07-28得票数 0
我有一个用于UKRecord的avro模式，其中包含一个CMRecord列表(也是avro模式)：
{
"namespace": "com.uhdyi.hi.avro",
"type": "record",
"name": "UKRecord",
"fields": [
{
"name": "coupon",
"type": [
浏览 1提问于2015-04-24得票数 1
1回答
我还是不知道怎样才能理解打字文稿。
考虑到这一点：
enum Int { a, b };
const array: Int[] = [];
array.push(Int.a); // ok
array.push(0); // same
array.push(1); // this is b
array.push(123); // works
array.push(-3e6); // also works
因此，任何number都与Int兼容?？
我知道我可以动态地检查，因为enum声明也会生成一个对象声明，除非我们使用const enum。但我认为静态类型应该是0 | 1，而不是number。
浏览 0提问于2021-07-05得票数 1
回答已采纳
1回答
循环引用未在Avro中处理
、、、、
有一个名为Avro的工具，它随Avro一起提供，可用于JSON、(.avsc)和二进制格式之间的转换。但它不适用于循环引用。
我们有两个档案：
circular.avsc (由Avro生成)
circular.json (由杰克逊生成，因为它有循环引用，而Avro不喜欢这样)。
circular.avsc
{
"type":"record",
"name":"Parent",
"namespace":"bigdata.example.avro",
"f
浏览 0提问于2014-06-09得票数 4
我知道VARIANT数据类型可用于加载非结构化文件，但是此数据类型是否支持Avro ie -第1天名称为avro文件中的记录类型和第2天更改为数组的联合数据类型。在Hive中，我将能够在UNION数据类型的帮助下读取这两个记录，snowflake是否提供了从表中读取记录和数组元素的相同类型的支持？
致以问候，戈壁
浏览 1提问于2020-05-13得票数 0
我面临的问题是地图还原的avro文件，它有字符串和数组的值。
`Describe hdfs:/test/test.avro
number STRING
totalProductFee STRING
productID STRING
otherPartyId STRING
浏览 5提问于2016-07-26得票数 0
1回答
在中，他们编写了删除和添加可选AVRO字段，以保持完全的AVRO兼容性。我需要通过删除可选字段和添加新的可选字段来更新AVRO模式。但是，合流模式注册表响应错误409，即新模式与旧模式不兼容。
我正在删除以下字段(在avsc语法中)：
{
"name" : "eligibility",
"type" : [ {
"type" : "array",
"items" : "Scope"
}, "null" ]
}
并添加以下字段：
{
&#
浏览 2提问于2021-11-24得票数 0
Apache索引服务使用avro_stream作为解析器类型，avroBytesDecoder集类型为schema_registry和url模式注册表url。当使用kafka数据和logParseExceptions为真时，获取以下日志：
2021-01-06T02:48:33,022 ERROR [task-runner-0-priority-0] org.apache.druid.indexing.seekablestream.SeekableStreamIndexTaskRunner - Encountered parse exception on row from partition[
浏览 6提问于2021-01-06得票数 0
回答已采纳
2回答
我目前有一个目录的文件占用了大量的空间。我想将这些文件压缩并序列化为二进制Avro格式，以释放磁盘空间。Avro数据文件的模式将只是一个包含单个字段的记录，用于存储原始文件的内容。我正在考虑使用Apache提供的avro-tools jar中的一个实用程序来序列化每个文件。该实用程序采用Avro模式和包含要以JSON格式序列化的记录的输入文件，并生成Avro数据文件：
$ java -jar ~/avro-tools-1.7.6.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro
我想编写一个bash脚本
浏览 4提问于2015-06-30得票数 0
1回答
下面是我试图用Avro编写模式的Java等价物：
abstract class Vehicle {}
class Bike extends Vehicle {}
class Car extends Vehicle {}
class Bus extends Vehicle {}
现在，我想要一个车辆的List文件，例如：
List<Vehicle> vehicles = ;
列表中的元素可以是Bike、Car或Bus。现在，将其与Avro模式进行比较，我可以看到，因此我可能必须编写类似这样的代码(对于Avro部分的无望，我很抱歉，我以前没有使用过它)：
{
"name&#
浏览 1提问于2017-09-08得票数 0
我试图为可选的可空GUID定义Avro模式。把logicalType作为这样的联合类型的一部分是正确的吗？
我已经找到了，但是找不到这个用例的例子
{
"name": "MyMessageType",
"type": "record",
"namespace": "com.mycompany.kafka.records",
"fields": [
{
"name": "userId",
"type
浏览 6提问于2019-11-21得票数 4
回答已采纳
我正在试图弄清楚为什么我不能在media_type的"message"模式中使用：
{
"namespace": "com.ci.generated",
"name": "MessageEnvelope",
"type": "record",
"fields": [{
"name": "message",
"type": {
"
浏览 2提问于2016-06-27得票数 1
我有一个文件Pojo.avsc，它包含以下声明：
{
"namespace": "io.fama.pubsub.schema",
"type": "record",
"name": "Pojo",
"fields": [
{
"name": "field",
"type": "string"
}
]
}
我有一个文件PojoCollection.avsc，它只包
浏览 1提问于2018-03-13得票数 1
回答已采纳
1回答
我想我在从AVRO模式注册中心获得一个模式时遇到了问题，因为我在AVRO模式中扩展了一个ENUM。
在此之前
"name": "eventType",
"type":
{
"type": "enum",
"name": "EventFilter",
"symbols" : ["START", "PAUSE", "
浏览 2提问于2020-11-21得票数 0
我们试图通过将Avro Schema消息发送到Message Channel，从而将Kafka通知推到外部Kafka主题。
在将消息发送到信道时，我们将得到以下异常：
Failed to send Message to channel 'DemoChannel';
nested exception is java.lang.IllegalStateException:
Failed to convert message: 'GenericMessage [payload={"location":"
浏览 13提问于2022-05-03得票数 0
回答已采纳
我试图使用Avro模式验证JSON文件，并编写相应的Avro文件。首先，我定义了以下名为user.avsc的Avro模式
{"namespace": "example.avro",
"type": "record",
"name": "user",
"fields": [
{"name": "name", "type": "string"},
{"name": "favo
浏览 7提问于2014-12-15得票数 29
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
