1回答
我在Databricks读了下面的博客
1.卡夫卡数据不断被火花工人/执行者中的卡夫卡接收者接收。使用了卡夫卡的高级消费者API。2.接收到的数据存储在Spark的worker/executor内存以及WAL中(在HDFS上复制)。卡夫卡接收机只在数据被保存到日志后才将卡夫卡的偏移信息更新给动物园管理员。现在我怀疑高级用户如何更新动物园管理员中的偏移量，因为高级用户不处理偏移量，而是由动物园管理员处理
浏览 1提问于2017-06-30得票数 1
可以在spark-kafka consumer中动态更新主题列表吗？
我有一个火花流应用程序，使用火花-卡夫卡消费者。一开始，我让spark-kakfa用户监听主题：“测试”，过了一段时间，我的主题列表更新为“测试”，"testNew“。现在有一种方法可以更新spark-kafka消费者主题列表，并要求spark-kafka消费者在不停止sparkStreaming应用程序或sparkStreaming上下文的情况下使用<e
浏览 0提问于2016-09-21得票数 5
为什么不推荐使用kafka-consumer中的zookeeper，为什么建议使用bootstrap服务器？bootstrap-server有什么优点？
浏览 0提问于2017-09-12得票数 36
回答已采纳
需求: Module1发布数据，module2消费数据。有没有办法实现领导理念？类似于经纪人在kafka中的工作方式。
浏览 0提问于2021-09-11得票数 0
我想知道spring boot内部的spring kafka Producer是否保证交付。
有人知道如果某个随机监听器无法接收消息会发生什么情况吗？spring kafka是否会重试发送消息？
浏览 0提问于2019-05-29得票数 0
是否有人使用Apache Kafka在每个服务都有自己的数据库的微服务体系结构中维护数据完整性？我一直在搜索，有一些帖子提到了使用Kafka，但我正在寻找更多的细节，比如Kafka是如何使用的。您是否必须为生产者和消费者编写代码(例如，对于作为生产者的客户数据库和作为消费者的订单数据库，以便如果在客户数据库中删除了一个客户，那么订单数据库需要以某种方式知道这一点，这样它也会删除该客
浏览 1提问于2019-12-06得票数 1
“视图的行为就像一种不断更新的缓存”？
这是否意味着听Kafka的流使用者应用程序不断更新视图或缓存，缓存的数据存储在客户端机器上而不是kafka服务器上？
浏览 1提问于2019-06-05得票数 0
回答已采纳
旧版本建议消费者连接zookeeper，新版本建议连接broker？一个社区的网友回复我说，topic的offset老版本是ZK，新版本是Kafka本身。这是这个答案的答案吗？
浏览 0提问于2018-04-27得票数 1
1回答
我做了一个poc，在其中我使用火花流读取来自Kafka的数据。但是我们的组织要么使用Apache或者Kafka使用者来读取Apache中的数据作为一个标准过程。所以我需要用Kafka消费者或者Apache来代替Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据，并在cassandra中放置字段，因此建议使用Kafka使用者，而不是flink/其他流，因为我
浏览 4提问于2017-03-26得票数 0
我们在AWS中有一个KAFKA设置，我们在那里发布来自发布者的消息，我们希望通过Kafka消费者从可以通过代理访问互联网的本地盒子中消费这些消息。在KAFKA消费者中是否有任何设置，以便我们可以更新代理详细信息。
注意:我们能够连接并从本地机器(Kafka消费者)获取消息，该机器可以直接访问互联网(无需代理)。
浏览 3提问于2018-05-09得票数 3
我注意到Consumer配置有两个ID。一个是group.id (强制)，另一个是consumer.id (非强制)。
浏览 2提问于2016-01-01得票数 45
我正在尝试让我的消费者动态更新它的消耗。
让我给你一个使用动物的更具体的例子。假设我有一家宠物店，每个主题都是一种动物(例如狗、猫、鱼)。我的Kafka消费者的主要责任是抓取我们在Kafka中的任何日志/记录/消息，并将它们存储到数据库中。假设我的消费者正在积极消费dogs和cats主题，并且一切正常，现在有一种新的动物进入商店，并且在Kafka集群中生成了一个新的主题。如何通知我的消费者添加了新的主题？2.)在<
浏览 2提问于2017-10-11得票数 0
我刚接触卡夫卡，我有一个卡夫卡领导者version 0.10.0和一个动物园管理员version 3.4.6.There是我遇到的两种类型的卡夫卡消费者应用程序接口：2. Kafka Streams
我找不到这两者之间的显著区别。Kafka polling和Kafka流媒体消费者有什么区别?适用于两者的用例有哪些？
浏览 10提问于2017-02-01得票数 2
回答已采纳
我有一个Spring Boot项目，它在8个分区的汇合Kakfa主题上运行几个Kafka消费者(@KafkaListener)。每个消费者的并发设置为1。主题从一个文件加载大约一百万行消息&消费者批量使用它们来验证、处理和更新数据库。更新06/04这里是消费者工厂设置。/kafka-consumer-groups“命令跟踪消费者的状态，一段时间后发现这个组中没有消费者。
浏览 429提问于2018-06-05得票数 2
回答已采纳
我在编程方面相对较新(你可以在我的代码中看到)，但我目前正在学习更多关于kafka和java数据处理的知识。对于主题中的数据，我需要与一些表进行连接以检查数据是否存在，并获取其他数据，因此我对数据库做了一些请求(要检索的字段太多，我需要单独的查询才能使其可读).For从主题中检索到的每个记录我做了一些到数据库的连接，然后(在处理数据之后)更新表(我用表的批处理来做这件事，只有这样才快)。.getConnection();)
{
浏览 3提问于2019-11-22得票数 2
用例:源和目标之间的数据范围非常小且不常见。但我们仍然需要实时的。在这种情况下，如果我想要Kafka，有没有可能让消费者只在生产者产生消息时才开始消费数据。我知道生产者和消费者是分离的。但是，使用Kafka处理这种用例的最佳方式是什么呢？
浏览 3提问于2020-08-07得票数 0
1回答
Kafka中的消息一致性测试场景
、、、、
我正在构建一个POC，它包含一个部署在Kubernetes上的Kafka集群和三个spring引导应用程序，它们从kafka读取数据并写入jms，反之亦然。我想知道如何确保数据完整性和一致性，例如:如果生产者节点发生故障，消费者如何在不丢失消息一致性的情况下继续读取消息。有没有详细的场景来测试这个特性。
浏览 28提问于2020-04-21得票数 0
回答已采纳
我们有一个Kafka消费者，它完美地消费了消息。但问题是，当Kafka消费者启动时，消费者正在向Kafka代理发送大量TCP数据包。我可以用Wireshark嗅探这些数据包。我们团队的理解是，每当生产者产生消息时，它都应该发送TCP数据包，而消费者应该能够通过向代理发送请求来消费这些消息。(类似于事件驱动)
我们不能真正理解为什么当消费者启动时，TCP数据包在代理和消费者<
浏览 1提问于2020-02-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
