腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何配置kafka的
消费
者,使其在自动伸缩后,获取的消息总数保持不变?
apache-kafka
、
kafka-consumer-api
假设我有一个
消费
者正在运行,它正在从10个分区中获取数据。在一次轮询请求中,
消费
者为每个分区提取10条
记录
,因此总共提取100条
记录
。现在,在向组中再添加一个
消费
者并重新平衡之后,两个
消费
者都从5个分区获取数据,每个
消费
者现在总共获取50条
记录
(每个分区10条
记录
)。我想知道是否有一种方法可以配置Kafka Consumer,这样即使在添加了一个
消费
者之后,两个
消费
者也会开始为每个分区获取20条<e
浏览 2
提问于2020-09-29
得票数 1
1
回答
Kafka
消费
者配置
apache-kafka
、
kafka-consumer-api
如何配置
消费
者,使其在单次轮询中一次轮询50条
记录
。我已经创建了
消费
者,并将max_poll_records设置为50。但是我的
消费
者正在使用time.how中的单个
记录
来配置
消费
者,以便在一次轮询中获取50条
记录
。
浏览 13
提问于2019-02-10
得票数 0
1
回答
卡夫卡
消费
者需要知道从主题中收到的所有信息。
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
、
kafka-producer-api
我们需要在卡夫卡
消费
部分的火花流中对消耗的
记录
进行排序。是否有可能知道所有已发表的
记录
都是卡夫卡
消费
者
消费
的?
浏览 5
提问于2016-11-22
得票数 1
1
回答
Kafka中已存储
记录
的详细信息
apache-kafka
事实上,我正在寻找一种方法来获取存储在kafka brokers中的
记录
的详细信息,以供操作使用。我尝试过Kafka-consumer-groups.sh工具,但它只显示指定
消费
者组的信息,没有显示其状态的单个
记录
或一组
记录
的详细信息,例如“是否已
消费
”和“已
消费
的时间”。实际上,我的建议是,有时我的
消费
者不能正确地
消费
,而我的生产者已经成功发送了。所以我必须确定哪里出了问题。 有没有办法让我得到一些这样的
记录
信息? 提前感谢!
浏览 11
提问于2020-10-30
得票数 0
1
回答
生产者-
消费
者使用MySQL数据库
java
、
mysql
、
sql
、
algorithm
我的要求如下 为了确保每个
消费
者
浏览 2
提问于2014-08-14
得票数 1
1
回答
如何在Kafka服务器的同一主题上发布针对不同
消费
者的消息?
apache-kafka
对于我们的主题,我们有多个
消费
者(单独的微服务),而我们在这个主题上发布的事件是为了单独的微服务,还是一次只针对一个
消费
者?如何确保CG从偏移量中消耗
记录
-1。
浏览 1
提问于2022-10-11
得票数 0
1
回答
我应该在什么情况下使用批处理使用者与单
记录
使用者
spring-kafka
据我所知,Apache Kafka文档中没有诸如批处理
消费
者之类的特殊概念,但spring-kafka可以选择使用以下代码片段创建批处理
消费
者。factory.setBatchListener(true); // <<<<<<<<<<<<<<<<<<<<<<<<<} 现在我的问题是, 我应该在什么时候使用批量
消费
者与单
记录
浏览 17
提问于2020-10-21
得票数 0
回答已采纳
1
回答
扩展模式匹配的Kafka
消费
者
java
、
apache-kafka
、
kafka-consumer-api
我有一个场景,其中有多个Kafka主题(每个主题都有一个分区)和一个
消费
者组来
消费
记录
。我在
消费
者组中使用一个模式匹配的
消费
者,它匹配所有主题,从而
消费
所有主题中的所有
记录
。我现在想扩大规模,让多个
消费
者(在同一个
消费
者组中)收听所有主题。然而,这似乎不起作用,因为所有
记录
都只由组中的第一个
消费
者使用,导致组中的其他
消费
者无用。
浏览 1
提问于2020-01-09
得票数 2
2
回答
单
消费
者-多线程vs多
消费
者
mysql
、
multithreading
、
algorithm
、
transactions
、
locking
通过googling搜索,似乎并不是真的推荐使用表来实现生产者/
消费
者模式。最棘手的部分是拥有多个
消费
者。我是不是误解了什么,比如事务智能、锁定等?
浏览 0
提问于2014-04-03
得票数 0
1
回答
max.poll.records对
消费
者调查有何影响
apache-kafka
、
kafka-consumer-api
max.poll.records最近在kafka的
消费
者配置中被更改为500,但我想知道这对
消费
者调查有什么影响。它只是可以获取的最大
记录
数的上限,还是
消费
者等到它获得500条
记录
时才能获取。
浏览 1
提问于2018-11-15
得票数 5
回答已采纳
2
回答
Kafka
消费
者阅读率似乎在添加同一群id的
消费
者时有所下降
apache-kafka
、
kafka-consumer-api
我已经创建了一个Kafka主题,我已经在该主题上生成了数据(5 5gb的csv
记录
)。我将分区的数量设置为与我要使用的使用者的数量相等。我的Apache Kafka设置由3个代理组成。当从一个节点
消费
主题时(只有一个
消费
者和一个分区的情况),
消费
者以65K
记录
/秒的速率获取数据。当从两个节点
消费
主题时(具有两个
消费
者和两个分区的情况),每个
消费
者以120K
记录
/秒的总速率获得数据(每个
消费
者60K
浏览 0
提问于2019-08-14
得票数 0
3
回答
如何阅读Kafka主题中的所有
记录
apache-kafka
、
kafka-consumer-api
、
spring-kafka
为此,我启动了一个新的
消费
者(具有唯一的
消费
者组id,并将偏移量设置为earliest)。然后,我遍历
消费
者(poll方法)以获取所有消息,并在
消费
者
记录
为空时停止。但我注意到,当我开始轮询时,前几次迭代返回的
消费
者
记录
为空,然后开始返回实际
记录
。现在,这打破了我的逻辑,因为我们的代码认为主题中没有
记录
。我尝试了几种其他方法(比如使用偏移量),但没有想出任何解决方案,除了在某个地方保留另一个
记录
,告诉我在我停止之前需
浏览 1
提问于2019-02-11
得票数 3
1
回答
卡夫卡弹簧引导偏移复位?
spring-boot
、
apache-kafka
、
spring-kafka
卡夫卡
消费
者auto-offset-reset: latest和enable-auto-commit: false的主要目的是什么?卡夫卡
消费
者中是否有一种方法,我可以检查是否能够在KafkaListner期间接收重复的
记录
或处理先前的
记录
。在spring引导中创建
消费
者端时需要记住的所有必要事项以及日志
记录
的所有重要内容,这样日志
记录
才有意义
浏览 1
提问于2022-01-04
得票数 1
1
回答
如何读取apache kafka中最旧的
记录
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
我正在使用sparkstreaming从Kafka
消费
,想想如果在
消费
者端发生了一些崩溃或类似的事情。我不担心复制
记录
,但我不能错过任何一条
记录
。如果我重新启动我的
消费
者,我将不会从我离开的地方继续。但在最坏的情况下,我想检查一下从kafka主题中最古老的
记录
运行我的
消费
者的可能性。
浏览 2
提问于2018-03-02
得票数 0
1
回答
Spring EmbeddedKafka生产者不等待
消费
者确认
java
、
spring-boot
、
apache-kafka
、
spring-kafka
、
embedded-kafka
我希望测试中的生产者等待测试类中的
消费
者通过调用Acknowledgement.acknowledge()来确认。
浏览 5
提问于2022-11-19
得票数 0
回答已采纳
1
回答
单
记录
kafka
消费
者和kafka批量
消费
者的基本区别是什么?
spring-kafka
我正在使用spring-kafka 2.2.8,试图理解单个
记录
消费
者和批量
消费
者之间的主要区别是什么。 据我所知,从一个主题中读取消息/字节对于单个
记录
消费
者和批量
消费
者来说没有什么不同。
浏览 170
提问于2020-10-17
得票数 0
回答已采纳
1
回答
Kafka具有两个不同检查点的一个
消费
者
apache-kafka
、
apache-zookeeper
、
kafka-consumer-api
、
apache-kafka-connect
我有一个Kafka
消费
者项目,它使用来自特定Kafka主题的数据。我一得到90%的
记录
就进行了处理,但我延迟了对其中一些
记录
的处理(10%)。这些
记录
需要延迟,我无法提交
记录
,因此可能会导致Kafka将分区重新分配给新节点。为了避免这种情况,我可以将同一主题读两次,并在第二个使用者中延迟获取数据部分,但它需要两次反序列化,因此会带来开销。有没有可能使用单个
消费
者读取
记录
,但与Kafka
消费
者有两个单独的提交?就提交而言,这基本上类似于有两个不同的<em
浏览 0
提问于2017-12-27
得票数 0
1
回答
kafka如何从多个主题安排
消费
者
消费
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我想了解单个使用者如何从多个主题(& partition)
消费
,以及如何安排
消费
哪个主题、哪个部分、哪个偏移量?我的问题是关于多个主题的单一
消费
者
消费
。假设所有主题都加载了1M条
记录
,一个
消费
者必须处理这些
记录
。
浏览 2
提问于2019-12-09
得票数 1
2
回答
Kinesis consumer getRecords不会始终返回10,000条
记录
amazon-web-services
、
sharding
、
producer-consumer
、
amazon-kinesis
我有一个kinesis流(20个分片),它有大约1天的数据延迟,正在被一个基于KCL的kinesis
消费
者消耗。
消费
者部署了20个ECS实例,因此每个实例都有一个线程从每个分片拉取数据。根据文档,看起来单个getRecords调用可以获取多达10,000条
记录
或最大有效负载大小为10MB。然而,当我监视
消费
者日志时,似乎并不是所有的分片都达到了这个限制。使用单个getRecords调用获取的
记录
在
消费
者实例之间非常不一致。一些调用获取大约100-400条
记录
,而另一些调
浏览 0
提问于2020-09-07
得票数 0
1
回答
spring批处理错误处理程序实现-需要了解一些示例
spring-kafka
我的要求是,当批处理
消费
者
消费
的列表或
记录
,如果任何毒药丸(无效的
记录
-不同格式)遇到,我们需要跳过
记录
。 谢谢
浏览 3
提问于2021-11-17
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
kafka的安装及生产消费消息demo以及踩坑记录
用Python脚本模拟登陆获取地铁一卡通的充值和消费记录
聊天记录找回记录
记录一下学习记录
记录脚印
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券