在从Kafka broker获取数据之前，消费者如何检查模式注册表是否可访问？
在从Kafka broker获取数据之前，消费者可以通过以下步骤检查模式注册表是否可访问：
- 确认模式注册表的地址：模式注册表通常是一个独立的服务，用于存储和管理数据的模式。消费者需要知道模式注册表的地址，以便能够访问它。
- 使用网络通信协议访问模式注册表：消费者可以使用适当的网络通信协议（如HTTP或HTTPS）与模式注册表进行通信。消费者可以向模式注册表发送请求，以获取特定主题的模式信息。
- 验证模式注册表的可访问性：消费者可以检查模式注册表的响应状态码来验证其可访问性。如果响应状态码为200，则表示模式注册表可以正常访问。
- 获取模式信息：一旦确认模式注册表可访问，消费者可以向模式注册表发送请求，获取特定主题的模式信息。模式信息包括模式的版本、结构和其他相关属性。
- 使用模式信息进行数据解析：消费者可以使用获取到的模式信息来解析从Kafka broker获取的数据。模式信息可以帮助消费者正确地解析和处理数据，以确保数据的完整性和一致性。
腾讯云相关产品推荐：
- 腾讯云消息队列 Kafka：提供高吞吐量、低延迟的分布式消息队列服务，支持海量消息的存储和订阅。详情请参考：腾讯云消息队列 Kafka
- 腾讯云云原生数据库 TDSQL-C：支持分布式事务的云原生关系型数据库，适用于高并发、高可用的场景。详情请参考：腾讯云云原生数据库 TDSQL-C
相关·内容
据我所知，Kafka消费者会去模式注册表获取并缓存数据模式，以便在第一次从代理反序列化avro数据时使用。在所有这些操作开始之前，使用者进程是否可以首先检查模式注册表是否可访问(如网络问题或注册表意外关闭等)？
浏览 23提问于2019-10-31得票数 1
我在我的mac上的minikube k8集群的Pod上运行了一个landoop kafka镜像。我有两个不同的服务来公开用于模式注册的端口8081和用于代理的端口9092。但是，当我尝试运行控制台消费者或我的消费者应用程序时，Kafka从不消费消息。要验证broker 9092端口是否可从k8群集外部访问：
nc <exposed-ip> 30092, it says the port is open.要验证模式注
浏览 86提问于2018-02-13得票数 3
1回答
如何在消费前获取模式？
、、、
我使用python confluent-kafka 1.5.0和模式注册表来消费来自kafka的avro消息。
我只是消费者，没有访问管理生产者或经纪人或其他东西。我知道主题名称，并从消息字段中获取主题和命名空间，还可以在架构注册表客户端、sr客户端使用schema_id从消息中获取架构。根据我的目标，在我开始消费之前，我需要方法获取模式(只有id或主题名称)。也就是说，我希望通过
浏览 10提问于2021-10-09得票数 0
我遵循了多数据中心模式注册表的以下步骤：https://docs.confluent.io/platform/6.0.0/schema-registry/multidc.html。如何告诉我的辅助模式注册中心使用可访问的主机名和端口号来连接主模式注册中心？ 我使用的是image confluentinc/cp-schema-registry:6.0.0。kafkastore.boot
浏览 34提问于2021-09-21得票数 0
回答已采纳
我正在尝试从schemas获取所有模式，但我不能只在模式注册客户端中这样做。只有在此之前，我实例化了一个KafkaConsumer，它才能工作。
由于输入结束，io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:没有要映射的内容对消费者来说，一切都很好。我希望有人能对为什么会出
浏览 1提问于2019-01-02得票数 0
Schema 16 not foundio.confluent.rest.exceptions.RestNotFoundException: Schema 16 not found我想知道为什么应用程序试图找到模式16，它在哪里找到这个号码？它是否存储在应用程序缓存或Kafka Broker/Schema
浏览 5提问于2022-07-25得票数 0
1回答
假设我有一个Kafka集群，它有几个主题分布在几个分区上。另外，我有一组应用程序作为Kafka的客户端。此外，这些客户端中的每一个都共享相同的Kafka组ID。
现在，说到提交模式。我真的不想手动指定偏移量，但我也不想使用自动提交，因为在从Kafka收到数据后，我需要做一些处理。使用这种解决方案，我预计会出现“不同消费者接收的相同数据”问题，因为我在读取(消费)之前没有指定偏移量，并且我同时从不同的客户端读取
浏览 10提问于2018-02-01得票数 0
~/kafka/bin/kafka-console-producer.sh --broker-list 34.93.59.30:9092 --topic TestTopic202
OpenJDK 64-@hgtestsrv1 ~]$ ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TestTopic202Broker</
浏览 0提问于2019-09-03得票数 0
回答已采纳
这是一个基于Armando Ballaci提供的答案的"Where do zookeeper store Kafka cluster and related information?“的后续问题。现在很明显，消费者偏移量存储在Kafka集群中的一个名为__consumer_offsets的特殊主题中。很好，我只是想知道这些偏移量的检索是如何工作的。主题不像RDBS，我们可以在RDBS上根据某个谓词查询任意数据。例如，如果数据存储在RDBMS中，下面这样的查询可能会获得某个<em
浏览 40提问于2020-07-05得票数 1
生产者正在从HTML页面获取数据。我可以看到，生产者发布的大部分数据都是在消费者身上找到的，但是有些数据缺失了。new Properties(); properties.put("metadata.broker.list;
import kafka.producer.KeyedMessage;
浏览 0提问于2016-11-02得票数 1
1回答
Partitionxxx.public.Hu-14 broker=3缓存zkVersion 3不等于在动物园管理员中，跳过更新ISR (kafka.cluster.Partition) 2018-12)
在org.apache.kafka.clients.NetworkClientUtils.sendAndReceive(NetworkClientUtils.java:97)读取响应之前架构注册表超时。--我不知道模式注册表是如何受到
浏览 0提问于2018-12-13得票数 5
1回答
我试图了解如何使用与卡夫卡绑定的Spring流。让我们从Stream示例中获取。但是，我无法理解Stream是<
浏览 0提问于2021-09-20得票数 1
回答已采纳
之后，创建了新的kafka主题：(尚未在架构注册表中创建架构)。现在尝试生成(基于此示例-步骤3- )： --broker-list localhost:9092 --topic simple(ConsoleProduc
浏览 0提问于2018-04-24得票数 2
1回答
我有一个卡夫卡节点(v0.10.2)，running.We已经配置了log.retention.hours=480，但是在消息到期之前，用户无法使用消息(Ex消息在7月1日被推送，我在7月4日启动了我的用户在启动用户之前，我已经通过yahoo监控服务验证了消息的存在。但在启动使用者时，它会继续轮询并等待消息)。下面提到的是代理配置：delete.topic.enable=truenum.io.threads=8
socket.send.buffer.bytes请让我知道
浏览 0提问于2019-07-05得票数 0
我正在使用命令行生成器和使用者对Kafka进行测试。我在一个终端窗口运行这个在另一个但是我发送给消费者的数据需要超过1
浏览 2提问于2017-01-06得票数 5
回答已采纳
2回答
Kafka模式-注册表提供了一种使用通用数据契约序列化和反序列化Kafka数据的好方法。但是，数据契约(.avsc文件)是生产者和消费者之间的粘合剂。然而，
什么是消费者拉下模式定义以供参考的最佳机制？对于avro，有类似于swaggerhub或典型api文档门户的东西吗？如果我们使用汇流平台，控制中心提供了一个gui来查看与主题相关的模式，但它也允许用户编辑。它将如何在生产者
浏览 0提问于2019-09-05得票数 4
回答已采纳
我需要了解何时使用卡夫卡连接与自己的消费者/生产者由开发人员编写。我们正在获得合流平台。此外，为了实现容错设计，我们是否必须从所有代理运行使用者/生产者代码( jar文件)？
浏览 6提问于2019-12-27得票数 7
3回答
我是Apache NiFi的初学者，但到目前为止，我读到的所有教程都是关于kafka与Nifi的集成。kafka如何成为Nifi的补充？为什么我们不直接使用Nifi来推送我们的消息，而不是使用kafka？
注意:我看过的所有教程都没有提到这一点。
浏览 7提问于2018-11-29得票数 14
回答已采纳
为什么Kafka是拉取的而不是推送的？我同意Kafka提供了我所经历的高吞吐量，但我不认为Kafka的吞吐量会下降，如果它是基于推送的。关于基于推送的如何降低性能有什么想法吗？
浏览 5提问于2016-09-20得票数 55
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
