使用架构注册表对avro消息进行Spring云合约测试
是一种在云计算领域中常见的做法。下面是对这个问题的完善且全面的答案：
架构注册表是一种用于管理和存储微服务架构中的消息和数据格式的中心化服务。它允许开发人员在不同的微服务之间共享和验证消息和数据的结构，以确保它们之间的兼容性和一致性。架构注册表通常使用Avro作为消息和数据的序列化格式，因为Avro提供了一种紧凑且跨语言的数据交换格式。
Spring Cloud Contract是一种用于测试微服务之间的契约的框架。它允许开发人员定义和验证微服务之间的消息和数据的契约，以确保它们之间的正确性和一致性。在使用Avro作为消息和数据的序列化格式时，可以使用架构注册表来管理和存储Avro消息的架构，并在Spring Cloud Contract测试中使用这些架构来验证消息的结构和内容。
使用架构注册表对Avro消息进行Spring云合约测试的步骤如下：
- 定义Avro消息的架构：首先，需要定义Avro消息的架构，包括消息的字段、类型和约束。可以使用Avro的Schema语言来定义架构，或者使用其他工具生成Avro架构文件。
- 注册Avro消息的架构：将Avro消息的架构注册到架构注册表中。可以使用腾讯云的架构注册表产品来管理和存储Avro消息的架构。在注册时，可以为每个架构指定一个唯一的标识符，以便在后续的测试中引用它们。
- 创建Spring Cloud Contract测试：使用Spring Cloud Contract框架创建测试契约，定义微服务之间的消息交互和期望的结果。在契约中，可以引用注册表中的Avro架构，以验证消息的结构和内容。
- 运行Spring Cloud Contract测试：运行Spring Cloud Contract测试，它将自动使用注册表中的Avro架构来验证消息的结构和内容。如果消息与契约定义不一致，测试将失败并显示详细的错误信息。
使用架构注册表对Avro消息进行Spring云合约测试的优势包括：
- 结构和内容验证：通过使用架构注册表，可以确保消息的结构和内容与定义的契约一致，减少由于消息格式错误引起的问题。
- 中心化管理：架构注册表提供了一个中心化的地方来管理和存储消息的架构，使得多个微服务之间可以共享和重用架构，提高开发效率。
- 跨语言支持：Avro作为一种跨语言的数据交换格式，可以在不同的编程语言和平台之间进行消息交互。使用架构注册表可以确保不同语言和平台之间的消息兼容性。
使用架构注册表对Avro消息进行Spring云合约测试的应用场景包括：
- 微服务架构：当系统采用微服务架构时，不同的微服务之间需要进行消息交互。使用架构注册表和Spring Cloud Contract可以确保消息的正确性和一致性。
- 分布式系统：在分布式系统中，不同的节点之间需要进行消息传递和数据交换。使用架构注册表和Spring Cloud Contract可以验证消息的结构和内容，确保系统的稳定性和可靠性。
腾讯云提供的相关产品和产品介绍链接地址如下：
- 腾讯云架构注册表产品：https://cloud.tencent.com/product/tcr
- Spring Cloud Contract官方文档：https://spring.io/projects/spring-cloud-contract
请注意，本答案仅供参考，具体的架构注册表和Spring Cloud Contract的使用方法和产品选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
我试图使用函数编程(和spring云流)从输入主题转换输入AVRO消息，并在输出主题上发布新消息。这是我的转换函数：
@Bean
public Function<KStream<String, Data>, KStream<String, Double>> evenNumberSquareProcessor() {
return kStream -> kStream.transform(() -> new CustomProcessor(STORE_NAME), STORE_NAME);
}
CustomProcessor是一个实现“转换
浏览 5提问于2021-04-06得票数 1
我需要记录到达Kafka使用者的消息，因为对于Kafka消费者，没有Avro模式兼容性。
我怎样才能做到这一点？
我想，默认情况下，Avro不兼容的消息永远不会到达我的Kafka消费者代码。我使用Spring的@KafkaListener。
浏览 11提问于2021-12-07得票数 0
1回答
我试图了解如何使用与卡夫卡绑定的Spring流。
目前，我正试图在我的AVRO schema中注册一个Confluent Schema Registry，并将消息发送到某个主题。
我无法理解Spring Cloud Streams是如何在幕后完成模式注册的。
让我们从Stream示例中获取。
AVRO架构位于src/resources/avro中。
当运行mvn:compile目标时，将生成AVRO模式的POJO，并且生产者可以发布数据。
但是，我无法理解Stream是如何对AVRO进行模式注册的？
@Autowired
StreamBridge streamBridge;
浏览 0提问于2021-09-20得票数 1
回答已采纳
我们使用的是Kafka，Avro和Avro模式注册表。给定我想要使用的一组主题，是否有一种方法可以获得所有模式I，以解码我将收到的消息？
我检查了Confluent的Python的实现，它似乎是接收消息，从单个消息获取Avro，然后从Avro动态查找模式。
我正在寻找一种方法，在程序的执行之前(即手动)获得所需的所有模式。
浏览 1提问于2018-06-06得票数 1
1回答
我的目标是让Spring自动地从POJO和任何Avro模式文件中对Avro格式进行响应和请求。几天来，我一直试图获得spring registry自动序列化/反序列化应用程序/avro消息的方法，这些消息由控制器作为响应发送回来。该请求附带了Accept标头"application/avro“(我还尝试了application/emp.v1+avro和其他组合)。
无论我尝试什么，响应消息都不会被spring自动反序列化。按照他们的，应该从POJO自动推断Avro模式，并且应该将repsonse发送回Avro中。
我使用的依赖性是
<dependency>
浏览 8提问于2022-06-08得票数 1
1回答
我正在查看spring文档和spring github，我可以看到异步Kafka消息(生产者和消费者)的一些非常基本的examples，它们通过json消息和kafka主题进行通信，但似乎还没有更多的生产示例，比如设置消息不是json而是avro，而模式注册表(例如Confluent )也在图片中。我对此感到非常惊讶，因为当基于事件的微服务通过产生/消费avro消息进行通信时，那么契约测试就必须在avro模式演变时避免运行时异常，并在构建时捕获它们。我想知道是否其他人已经解决了这个问题。任何方向都非常感谢！
浏览 10提问于2021-03-16得票数 1
1回答
我正在使用和注册Avro模式。
架构已成功注册。但是当我的Stream侦听器接收到一条消息时，有效负载仍然在Bytes中。
这是我的财产。
spring.cloud.stream.schemaRegistryClient.endpoint= spring.cloud.stream.bindings.output.contentType=application/*+avro spring.cloud.stream.schema.avro.dynamic-schema-generation-enabled=true spring.cloud.stream.schemaRegistryClient
浏览 4提问于2017-08-22得票数 2
我正在研究Kafka，作为一个初学者，下面这个问题突然出现在我的脑海中。
每次我们为Avro设计模式时，我们都会通过它的jars从它创建Java对象。
现在，我们使用该对象来填充数据并从生产者发送数据。
为了使用消息，我们在Consumer中再次生成对象。现在，在Producer和Consumer这两个位置生成的对象包含一个字段
"public static final org.apache.avro.Schema SCHEMA$“，实际上将模式存储为字符串。
如果是这样的话，为什么kafka要使用模式注册表呢？该模式已经作为Avro对象的一部分可用。
希望我的问题是清楚的。如果有人能
浏览 0提问于2018-04-02得票数 0
1回答
让我们假设我们有一个设置如下。
模式演化兼容性设置为向后。
轮询从DB写入到Kafka topic.HDFS Sink连接器的数据，读取来自Kafka主题的消息，并以Avro格式写入HDFS。
就像我所理解的那样。
查询DB并从ResultSet.V1的JDBC元数据中生成模式col1，col2，col3.SchemaV1在模式注册表中注册。
源连接器轮询来自DB的数据，并将消息写入V1模式中的Kafka主题。
(问题1)当HDFS连接器从主题读取消息时，它是否根据模式注册表中的V1模式验证消息？
下一个DB架构将被更改。从表中删除列"col3“。
下次J
浏览 0提问于2019-07-17得票数 3
回答已采纳
我已经创建了一个NiFi流，它最终将json记录发布为带有Avro编码值和字符串键的记录，使用模式中的模式。这是 in NiFi。
我现在试图使用Kafka (connect-standalone)使用JdbcSinkConnector将消息移动到PostgreSQL数据库，但得到了以下错误：
我已经确认我的为1的架构。
Worker Config:
bootstrap.servers=localhost:29092
key.converter.schemas.enable=false
key.converter=org.apache.kafka.connect.storage.StringC
浏览 0提问于2018-12-11得票数 0
回答已采纳
1回答
带有模式的Avro消息
、、、、
因此，我们计划使用Avro在一个以卡夫卡为基础的合流生态系统上进行交流。我目前对Avro的理解是，每条消息都包含其模式。如果是这样的话，我们需要模式注册表来解析版本更新吗？
我问您，因为携带每条消息的模式可以防止需要模式注册中心将消息id映射到模式。还是我在这里漏掉了什么？
浏览 5提问于2017-05-30得票数 1
回答已采纳
1回答
我们使用Kafka消息的无注册Avro模式，所以我们有我们的自定义Avro转换器，因为我们没有可用的模式注册表
问题是，当我们使用新元素升级模式时，旧模式不是向后或向前兼容的
浏览 1提问于2021-05-31得票数 0
我已经设置了Spring Cloud Stream中提供的Spring Avro schema注册中心，以便在RabbitMQ中使用。我看到的大多数示例都使用Maven Avro插件从模式资源文件生成Java类。然后在模式注册表中注册模式文件。我的理解是，这个注册表使消息能够只引用已注册的模式，而不是将整个模式包含在消息中。我不明白的是，这些模式文件随后是如何在设计时在所有服务之间分发以生成Java类文件的。Maven插件要求模式文件位于类路径中。处理Avro模式定义的最佳实践是什么？任何进展都将受到高度赞赏。
浏览 0提问于2017-11-19得票数 1
2回答
Hive提供了两个表属性，允许定义Avro：avro.schema.literal和avro.schema.url，前者可以指定为模式服务的hdfs路径或http端点。我想使用作为我的模式服务，但问题是它的返回模式封装在一个更大的json对象中：
请求：
GET /schemas/ids/1
响应：
HTTP/1.1 200 OK
Content-Type: application/vnd.schemaregistry.v1+json
{
"schema": "{\"type\": \"string\"}"
}
请求：
GE
浏览 3提问于2017-06-06得票数 1
回答已采纳
1回答
我有一个应用程序，它周期性地用原始JSON生成一系列消息。我可以用Avro工具把它转换成avro。我这样做是因为由于Kafka接收器的限制，我需要消息包含模式。我可以在notepad++上打开这个文件，并看到它包括模式和几行数据。
现在，我想将它发送给我的中心Kafka代理，然后使用Kafka接收器将数据放入数据库。我很难理解我应该如何将这些阿夫罗文件发送给我的卡夫卡经纪人。我是否需要一个模式注册表来实现我的目的？我相信Kafkacat不支持Avro，所以我想我必须坚持卡夫卡-生产者. so的卡夫卡安装(请纠正我，如果我错了)。
问题是:能否有人分享步骤，以生产我的Avro文件给一个卡夫卡经纪
浏览 3提问于2021-03-31得票数 0
回答已采纳
我正在使用nifi构建一个数据流，其设置如下：
apache nifi 1.14.1
卡夫卡2.13-2.7.1
合流模式注册表
我还使用处理器ConsumeKafkaRecord_2_6处理来自一个主题的消息，在这个主题中，键和值都使用avro模式对键和值进行序列化，都存储在汇合模式注册表中。但是处理器无法解析消息，因为没有一种方法--我可以看到--指定键和值都是用存储在汇合模式注册表中的模式序列化的。命名架构的约定通常是主题名称-值和主题名称-键。使用kcat，以前使用kafkacat，我可以很好地读取消息：
kcat -b broker1:9092,broker2:9
浏览 16提问于2022-02-18得票数 0
回答已采纳
在我的Spark streaming工作中，我试图从Kafka主题中读取Confluentavro消息，并获得“在记录解析中检测到错误的记录”。
我试着调试了很多次，但还是找不出错误的记录。需要帮助理解如何从格式错误的行中获取记录。有没有一种方法可以打印avro消息，以查看消息有什么问题。
我的代码：
object AvroReadMessage extends App {
val spark = SparkSession.builder.master("local[*]").appName("AvroReadMessage")
.getOrCreate
浏览 0提问于2019-12-16得票数 0
2回答
我对Spring kafka Stream是个新手。我最近设置了一个项目，并尝试使用kafka stream API来发布AVRO。需求:需要解析一个复杂的Jsonobject，它可能有多个子jsons。解析Json并为每个子json发送AVRO消息。它也可以是一个或多个。 我知道如何使用kafka客户端API来做到这一点。这很简单，可以用循环来完成，但是用Stream API，我是个新手。 当前stream类的代码如下： @Service
@Log4j2
@EnableBinding(StreamBindings.class)
public class StreamListener {
浏览 38提问于2021-08-12得票数 0
我正在研究Avro作为序列化格式在Java应用程序中发布事件。
我想要做的是将一些Avro字节转换成一个特定Java类的实例，这个实例是我使用Avro插件生成的，反之亦然。
我希望这样做，因为它允许使用我的代码的开发人员订阅特定事件，并接收表示该特定事件的特定生成类的实例(可能会将其从对象中转换为事件类，但不必触摸任何Avro特定代码)。
通过使用编写代码并传入生成的类来指定我期望的类，我可以以一种特定的方式做到这一点。不幸的是，这需要为每个生成的类编写代码。另一种选择是使用，但这不会给出我想要的生成类的实例。我想我想在这两种解决方案之间找到一些东西，得到一个特定的对象作为输出，但是具有通用方
浏览 2提问于2016-12-08得票数 3
我试图用avro消息生产者、kafka和avro消费者构建一个使用spring引导、spring云流模式注册表和kafka绑定器的工作示例。在使用消息时会发生以下错误：
错误7059 --afka-侦听器-1 o.s.c.s.b.k.KafkaMessageChannelBinder :无法使用contentType java.lang.NullPointerException反序列化io.igx.android.Sensor
我有消费者端的spring.cloud.stream.bindings.output.contentType=application/+avro和制片人端的spring
浏览 6提问于2017-03-09得票数 1
1回答
我有不受我控制的汇合注册表，以及基于@kafkajs/confluent-schema-registry的生产者。有什么方法可以让我理解使用的是哪个版本的消息格式？
我可以得到编码的AVRO消息，但它只是字节流。有任何方法来理解它实际上是哪种版本的消息吗？
浏览 0提问于2021-05-11得票数 0
回答已采纳
1回答
我正在使用python来读取来自不同主题的消息。一些主题将它们的消息编码为普通的JSON，而其他主题则使用Avro二进制序列化，其中包含合流模式注册表。
当我收到一条信息时，我需要知道它是否必须被解码。目前，我只依赖于二进制编码消息以值为零的MAGIC_BYTE开头的事实：
from confluent_kafka.cimpl import Consumer
consumer = Consumer(config)
consumer.subsrcibe(...)
msg = consumer.poll()
# check the msg is not null or error etc
if
浏览 0提问于2018-08-06得票数 0
回答已采纳
在NiFi中，我首先将JSON转换为Avro，然后再从Avro转换为JSON。但在从Avro转换到JSON时，我遇到了异常。
从Avro转换到JSON时，我得到了以下异常：
2019-07-23 12:48:04,043 ERROR [Timer-Driven Process Thread-9] o.a.n.processors.avro.ConvertAvroToJSON ConvertAvroToJSON[id=1db0939d-016c-1000-caa3-80d0993c3468] ConvertAvroToJSON[id=1db0939d-016c-1000-caa3-80d0993
浏览 0提问于2019-07-23得票数 0
我想知道我是否可以使用合流模式注册表生成(然后将其发送到kafka)模式，而不是avro记录？如果是的话，谁能分享一些资源吗？我无法在汇合网站和谷歌上找到任何例子。
我有一个普通分隔的文件，并且有一个单独的模式，目前我正在使用Avro通用记录模式来序列化Avro记录并通过Kafka发送它。这样，模式仍然与记录相关联，这使得它更加庞大。我的逻辑是，如果我删除模式，同时从kafka发送记录，我将能够获得更高的吞吐量。
浏览 1提问于2017-07-13得票数 0
回答已采纳
我有一个定义如下的消费者。它读取主题外的avro消息，并构造一个聚合数据的状态存储，该数据也是avro类型的。
@Bean
public Consumer<KStream<String, InputEvent>> avroTest() {
Serde<OutputEvent> serdeOutEvent = new SpecificAvroSerde<>(schemaRegistryClient);
return st -> st.groupByKey().aggregate(OutputEv
浏览 23提问于2021-02-27得票数 1
回答已采纳
1回答
忽略了这个问题，我的代码中只存在一个问题.
我想用在两个不同的主题中生成不同的2种kafka消息。当我只做一次时，一切都很好，但是当我尝试创建2个供应商bean函数时，我遇到了一个问题。这是我的application.yaml
server.port: 8087
spring:
application:
name: metrics-producer
cloud:
schema:
avro:
dynamicSchemaGenerationEnabled: true
stream:
default:
c
浏览 9提问于2022-05-24得票数 1
在我们分发给工人的道具中，我们有：
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=<dev-schema-url>
我们已经注意到，当我们使用模式注册中心时，性能是不好的。如果没有模式注册中心，我可以使用AvroConverter吗？我试过，但我们遇到了：
java.io.IOException Not a data file
模式注册表是否与kafka连接器读取的每一条消息相联系？
模式缓存了吗？
在没有模式注册中心的情况下使用A
浏览 1提问于2019-01-23得票数 4
1回答
我试图在Ubuntu上运行一个星火流应用程序，但是我遇到了一些错误。由于某种原因，Ubuntu22.04没有找到jar文件，尽管Windows上的配置是相同的。
我在脚本中运行以下配置
spark = SparkSession \
.builder \
.appName("File Streaming PostgreSQL") \
.master("local[3]") \
.config("spark.streaming.stopGracefullyOnShutdown",
浏览 6提问于2022-08-15得票数 0
回答已采纳
我试图为我的Spring服务编写一个测试，同时它会运行在Docker容器中的Kafka和Schema上。
Kafka和Schema通过码头网络相互通信，并且具有在主机上公开的端口。我正在测试的服务正在主机上运行-它能够与和docker注册表进行通信。我是从一个JUnit测试开始的，该测试有注释，如下所示。
@ExtendWith(SpringExtension.class)
@SpringBootTest
@EnableAutoConfiguration(exclude = TestSupportBinderAutoConfiguration.class)
@AutoConfigureTest
浏览 12提问于2022-02-15得票数 1
我有一个使用Kafka Streams绑定器的Spring cloud stream的项目。对于流的输出，我使用Avro，并使用Confluent提供的Serde (io.confluent.kafka.streams.serdes.avro.SpecificAvroSerde)。 我可以在Confluent Schema Registry中使用它。序列化和反序列化是正确发生的。但是，我想看看我们是否可以使用 Spring Cloud Schema Registry Server 而不是 Confluent 的。我配置了一个独立的Schema Registry服务器，并在我的项目中将模式注册
浏览 107提问于2020-09-24得票数 0
回答已采纳
我试图使用Postgres接收器连接器将json消息加载到Postgres数据库中。我一直在线阅读，并且只找到了在JSON消息中使用模式的选项，但是，理想情况下，我不希望在消息中包含模式。有没有一种方法可以在模式注册表中注册JSON模式并像使用Avro那样使用它？
另外，我目前正在通过下载bin运行kafka，因为由于ARM兼容性问题，我在运行kafka与坞连接时遇到了几个问题。模式注册表是否有类似的安装？因为我只能选择通过汇流下载它并在码头上运行它。是否可以只运行带有docker的架构注册表，保持当前的设置？
谢谢
浏览 2提问于2022-01-31得票数 0
我正在尝试阅读卡夫卡主题中的最后一条消息，使用ConsumerSeekAware.Message类型是Avro列表。我能成功地做到这一点。但在反序列化过程中，它是失败的。这条消息是使用spring云流-kafka框架生成的。消息有一个contentType contentType=application/x-java-object;type=java.util.ArrayList。
我知道avro消息可以反序列化如下所示。
DatumReader<GenericRecord> datumReader =
new SpecificDatumReader<
浏览 4提问于2017-09-28得票数 1
我想在kafka上生成avro类型的消息。有没有一种方法可以使用在模式注册表中注册的模式id而不是指定模式？
浏览 12提问于2020-11-20得票数 0
1回答
我有一个遗留的基于C++的系统，它吐出二进制编码的Avro数据，支持合流Avro模式注册格式。在我的Java应用程序中，我使用KafkaAvroDeserializer类成功地反序列化了消息，但无法打印出消息。
private void consumeAvroData(){
String group = "group1";
Properties props = new Properties();
props.put("bootstrap.servers", "http://1.2.3.4:9092");
props
浏览 1提问于2017-08-25得票数 0
1回答
消息不以神奇字节开头。
、、、、
我正在尝试使用Go中的/linkedin/goavro包将avro编码的数据生成到kafka主题中。目标是能够使用不同的客户端来使用这个主题。
首先，我将模式注册如下：
curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema": "{\"name\":\"test_topic2\",\"type\":\"record\", \"fields\":[{
浏览 13提问于2020-03-09得票数 1
1回答
是否有任何支持或计划支持avro和/或模式注册中心的汇合平台在春季云流？我看到在春季集成中存在着对avro的依赖-kafka 1.3.0，dependency被排除在spring云流绑定卡夫卡之外，但是spring-integration-kafka (2.0)和spring的主分支没有我能找到的任何avro依赖。
浏览 5提问于2016-05-20得票数 2
回答已采纳
从Azure开发指南，有一个小部分(如下图所示)谈论设备反欺骗。对我来说还不清楚，它说IoT集线器用属性来标记每条消息，但是对于我来说，设备反欺骗是指IoT集线器停止接收从任何欺骗设备发送的消息。请帮我解释一下这是怎么回事？
抗欺骗性能
为了避免设备到云消息中的设备欺骗，IoT集线器使用以下属性为所有消息盖章：
ConnectionDeviceId
ConnectionDeviceGenerationId
ConnectionAuthMethod
浏览 3提问于2016-01-18得票数 1
回答已采纳
我试图使用Avro模式向代理发送一条消息，但是“我总是收到错误：
2020-02-01 11:24:37.189 nioEventLoopGroup-4-1错误应用程序-未处理: POST - /api/orchestration/ org.apache.kafka.common.errors.SerializationException:错误注册Avro模式: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:模式所导致的“io.confluent.kafka.schemaregistr
浏览 1提问于2020-02-01得票数 5
回答已采纳
1回答
我为一个主题生成相同的Avro模式，使用不同的。当我使用这个主题时，我会得到错误：
org.apache.kafka.common.errors.SerializationException: Error deserializing key/value for partition XXXXX_XXXX_XXX-0 at offset 0. If needed, please seek past the record to continue consumption.
Caused by: org.apache.kafka.common.errors.SerializationException
浏览 0提问于2020-01-09得票数 0
回答已采纳
1回答
我试图将Avro和Schema集成到Kafka数据管道中。现在它看起来在Go服务的内部
获取数据->将数据编码为JSON ->写入卡夫卡
我想以同样的方式使用avro模式。
在模式注册表中生成模式->更新模式->获取数据->编码到Avro ->写入
但是有几个问题：
如何从Go类自动生成模式？
如何检查模式与模式注册表的兼容性？
浏览 1提问于2018-06-01得票数 2
1回答
对不起，这是个初学者的问题。
我的Java微服务接受一个包含模式版本元素的有效负载请求，可以有许多不同版本的有效负载，每个版本的格式略有不同。是否可以使用该版本号对AVRO模式注册表进行查找，然后使用该模式验证所接收的有效负载。
这是一个有效和可能的AVRO用例吗？
然后，我们的目的是在Java微服务中处理这些数据，然后再继续发送。
也许AVRO不是正确的技术，但如果不正确，请告知。
浏览 2提问于2018-07-18得票数 4
回答已采纳
1回答
我有一个卡夫卡主题，没有阿夫罗模式的信息。我们最近希望使用avro模式将消息推送到此主题。
现在，主题具有带有/不带模式的两种消息。
我有一个消费者从这个话题中消费。
->如果我在使用者配置中将value.deserializer设置为"KafkaAvroDeserializer.class"，则不会看到任何消息正在被消耗。
-> --如果我在使用者配置中将value.deserializer设置为"StringDeserializer.class"，则可以使用这些消息，但是，具有avro模式的消息现在看起来是加密的。
例：ConsumerRecor
浏览 1提问于2018-12-10得票数 2
回答已采纳
2回答
我需要将JSON消息转换成Avro，这样我才能将它发送给Kafka。
我有示例JSON请求，还有Avro的avsc文件中的模式。
你知道我怎么能做到吗？
谢谢
浏览 16提问于2022-02-06得票数 0
我试图为我的应用程序编写一个测试用例。我正在使用ContentSchemaRegistry和Avro，所以我需要在从通道轮询后对消息进行解码。这是我的代码：
processor.input()
.send(MessageBuilder.withPayload(InputData).build());
Message<?> message = messageCollector.forChannel(processor.output()).poll();
BinaryMessageDecoder<OutputData> decod
浏览 0提问于2019-07-25得票数 1
回答已采纳
我有一个生产者使用kafka connect，它使用Confluent Kafka Connect API，它以"SourceRecord“格式发布消息，其中包含”模式“和”结构“，如下所示。
我正在寻找一个示例代码来在scala中构建一个kafka消费者，它使用消息并将其反序列化为对象
import org.apache.kafka.connect.source.SourceRecord;
import org.apache.kafka.connect.source.SourceTask;
//publish kafka message in avro format
p
浏览 0提问于2018-08-24得票数 0
说明Avro和服务注册中心使用情况的大多数Quarkus示例将消费者和生产者结合在同一个项目中。在这样做时，模式和生成的类对生产者和使用者都是可用的。
我理解模式注册中心的作用是维护模式的各种版本，并将它们提供给消费者。
我不完全理解的是使用者如何以及何时从注册表中提取模式。例如，使用者的团队如何获得模式的初始版本？他们只是去注册表并手动下载吗？他们是否使用maven插件下载并生成源代码？
对于Quarkus，avro扩展将自动从avro模式生成Java源。我想知道它是否也为消费者下载了初始模式。
浏览 10提问于2022-07-23得票数 0
1回答
我很难弄清楚如何测试使用Avro作为消息格式和(合流)模式注册表的应用程序。
配置可以如下所示：
spring:
application:
name: shipping-service
cloud:
stream:
schema-registry-client:
endpoint: http://localhost:8081
kafka:
streams:
binder:
configuration:
application:
浏览 0提问于2019-07-31得票数 1
回答已采纳
我想从弗林克州立大学出来和卡夫卡汇合。在中，为了进行模式检查并将数据放入到kafka主题中，我们所需要做的就是使用kafka客户端ProducerRecord对象和avro对象。
但是在中，我们需要重写卡夫卡出口的"ProducerRecord<byte[]，byte[]>序列化“方法。这将导致以下错误。
Caused by: org.apache.kafka.common.errors.SerializationException: Error registering Avro schema: "bytes"
模式登记和国家-卡夫卡出口似乎是不相容的。有什
浏览 6提问于2020-06-22得票数 0
回答已采纳
我是KAFKA协议世界的新手，我想问你一些与我的项目相关的重要信息。
我正在使用AVRO文件来生产和消费消息，我想知道是否可以将相同的avro文件用于多个主题，例如，通过在生产者中使用不同的"name“属性，以及在使用者中使用特定的"name”属性。
非常感谢。斯特凡诺
浏览 0提问于2018-07-20得票数 0
我们有一个使用Spring云函数方法的spring处理器。当前使用的引导版本是2.1.4，云版本的Greenwich.SR1
处理器骨架在下面
@EnableBinding(Processor.class)
public class FilterProcessor {
@Bean
public Function<DeviceEvent, DeviceEvent> filter() {
return deviceEvent -> {
// process and return data
};
}
浏览 4提问于2020-04-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
