腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(213)
视频
沙龙
1
回答
Kafka
消费者
超
时或
下载
消息
数
、
我读了
kafka
的
消息
,但我有问题。是否有强制
消息
下载
结束的参数,例如一个小时后?例如在一小时后开始超
时或
中止该过程。
kafka
-console-consumer.bat --bootstrap-server qa-
kafka
-prod-worker01:9080 --topic test.test.topic1 --from-beginning --consumer-property group.id=READ_DATA> C:\
Kafka
\t
浏览 43
提问于2021-02-11
得票数 0
回答已采纳
1
回答
记录
消费者
id时
kafka
是什么意思*离开组
我们使用
kafka
2.1.0,当我们在
Kafka
日志中看到这条
消息
时,请帮助我了解到底发生了什么:(
kafka
.coordinator.group.GroupCoordinator) 这是否表明
浏览 10
提问于2020-05-06
得票数 0
回答已采纳
1
回答
尽管有30多个
kafka
-monitor副本,
Kafka
主题还是卡住了
、
、
但demo.incoming中的
消息
数量每秒都在堆积。这是我用来查看
Kafka
中demo.incoming主题
消息
数
的命令--broker-list localhost1 | awk -F ":" '{sum += $3} END {print sum}' 我认为这是因为
Kafka
-monitor(
消费者
)不能足够
浏览 1
提问于2019-07-07
得票数 1
3
回答
如何强制
消费者
读取
kafka
中的特定分区
、
我有一个应用程序
下载
特定的网页内容,从一个从1
Kafka
产生的URL流-生产者。我已经创建了一个有5个分区的主题,有5个
kafka
-consumers。然而,网页
下载
的超时时间是60秒。当其中一个url正在
下载
时,服务器会假定该
消息
已丢失,并将数据重新发送给不同的
消费者
。是否可以在
kafka
中将特定的
消费者
与分区绑定?我在我的应用程序中使用
kafka
-
浏览 4
提问于2017-08-29
得票数 4
回答已采纳
3
回答
Kafka
主题
消息
数
我需要在一个卡夫卡主题存储的
消息
数量。这与是否有
消费者
消费了
消息
无关。
kafka
-run-class.sh
kafka
.tools.GetOffsetShell --broker-list localhost:9092,localhost:9093,localhost:9094以上数据是否等于
kafka
topic当前存储的
消息
数
?
浏览 0
提问于2018-08-23
得票数 0
1
回答
Spring
Kafka
多并发
消费者
-提交偏移失败
、
、
我正在使用spring和
Kafka
来使用
Kafka
主题中的数据。我已将并发
数
配置为10。因此,不同的线程轮询代理以获取
消息
并处理这些
消息
。即使在经过一段时间(成功处理)之后,我们仍会将相同的
消息
返回给
消费者
的不同线程。我们能够在已配置的max.poll.interval.ms=1500000中处理收到的
消息
。请查看下面配置的
Kafka
消费者
属性。我已经通过
Kafka
配置了自动提交。key.deser
浏览 24
提问于2020-04-24
得票数 0
1
回答
Kafka
在设置retention.ms时不去掉数据
、
、
、
因此,当我寻找一种方法来计算主题中的
消息
时,这个方法很好唯一的问题是,当我将retention.ms配置更改为retention.ms=1000,甚至通过运行
kafka
-topics94,160,95 Topic: rev-dly-upd Partition: 7
浏览 177
提问于2018-07-31
得票数 1
回答已采纳
2
回答
Kafka
--
消费者
只读了一半的内容
、
、
、
bin/
kafka
-console-consumer.sh --zookeeper localhost:2181 --主题sha test2--from-sha 我到底做错了什么?非常感谢您的帮助。
浏览 3
提问于2016-01-21
得票数 0
1
回答
如何使用JAVA API从
Kafka
获取每个主题的
消息
数
、
、
、
、
我想知道如何通过java api在
kafka
中获取每个主题的
消息
数
,我不知道如何使用下面提到的命令行工具。你知道怎么做吗?PS:我不想通过循环通过
KAFKA
消费者
流来计算计数,我试图在开始时计算这个计数(在从
Kafka
消费之前)
浏览 1
提问于2016-08-06
得票数 0
1
回答
卡夫卡坚持使用num.stream.threads和max.poll.record
、
我有一个
Kafka
消费者
,配置如下。num.stream.threads=10 max.poll.record=90 是
消费者
消费了10个线程的topic中的90条记录,还是
消费者
中的10*90=900
消息
。
浏览 1
提问于2020-07-02
得票数 0
1
回答
Mac:自制的没有安装所有卡夫卡脚本
、
能够运行动物园管理员,卡夫卡,
消费者
,生产者和发布
消息
使用生产者控制台和看到
消息
在
消费者
控制台.
kafka
浏览 3
提问于2016-02-29
得票数 0
1
回答
获取
Kafka
用法的详细信息
、
、
、
我希望收集以下资料: 任何指点都会有很大帮助!
浏览 1
提问于2019-02-12
得票数 0
1
回答
了解如何在分布式支付系统中立即返回错误
、
、
、
、
处理大量支付的常见架构是带有某种分布式
消息
传递的pub/sub架构,例如
Kafka
。然后,
消费者
呼叫第三方支付处理器。通常存在第三方支付处理器可能超
时或
可能停机的情况,因此需要额外设置来处理重试。通常还涉及DB来跟踪支付状态,例如让额外的
消费者
在DB中设置记录。我遇到的一个问题是,如果存在合法错误,例如卡详细信息不正确,如何及时将此错误返回给用户?我们可能不想立即给用户一个成功的
消息
,然后再给他们一个错误?
浏览 7
提问于2021-07-09
得票数 0
1
回答
使用Python Spark streaming从http
下载
数据
、
、
、
我是PySpark的新手,我在我的Ubuntu14.04上安装了
Kafka
单节点和单代理。安装完成后,我测试了使用
kafka
-console-producer和
kafka
-console-consume发送和接收数据的
Kafka
。启
浏览 24
提问于2016-09-27
得票数 1
1
回答
卡夫卡流基本面解释
、
我有一些关于卡夫卡流以及它们是如何工作的问题,我对卡夫卡的
消费者
和生产者范式有着丰富的经验,然而,这是我第一次尝试使用卡夫卡流。问题: 一般来说,卡夫卡
消费者
模型我们订阅了一个主题并开始从一个分区开始消费,为了简单起见,为了简单起见,我们有一个分区和一个
消费者
,现在如果我们想要增加我们的处理,我们增加了分区的数量,并且增加了更多的
消费者
当我通过
Kafka
消费者
消费数据时,我可能最终会对
消息
做一些事情,例如,我可能会查询API
下载
文件并写入NFS并将
浏览 1
提问于2018-12-22
得票数 1
回答已采纳
1
回答
Spring cloud
Kafka
限制单位时间内
消息
消耗
、
、
、
我有一个使用spring cloud stream的
消费者
应用程序。这个应用程序正在使用队列中的
消息
(
Kafka
),并且每条
消息
应用程序向4个不同的服务器发出4个不同的HTTP调用,其中一个非常慢(10秒应答)。有没有办法通过spring-cloud-stream或者
kafka
来限制消费端的消费速度?像每秒最大
消息
数
这样的东西会更好。
kafka
:
浏览 28
提问于2020-02-12
得票数 2
回答已采纳
1
回答
如何使用nodejs使用者在
kafka
中实现并行性?
、
、
、
例如,如果我有一个有4分区的卡夫卡主题,那么当与nodejs一起使用时,我如何能够并行地使用4条
消息
。最多我可以使用单线程事件循环来实现并发。一种可能的解决方案是分叉子进程(在本例中为3),以便每个进程能够接收来自特定分区的
消息
,假设系统有3个空闲内核。但是,这种方法的效率/效力如何? 实现这一目标的最佳途径是什么?
浏览 2
提问于2020-05-18
得票数 2
2
回答
卡夫卡
消费者
可以从所有分区消费吗?
、
、
我有一个由多个
消费者
(同一个组)使用的多分区主题。我的目标是最大化消费处理,即任何使用者都可以使用来自任何分区的
消息
。 我知道这看起来是不可能的,因为只有一个
消费者
可以从一个分区消费。
浏览 3
提问于2020-01-17
得票数 2
1
回答
Apache
kafka
消息
调度和均衡加载
、
、
、
我的系统实际上被分成3个主要组件:发布者(生成任务的代码),传输-实际上是
kafka
,以及一组
消费者
-它实际上是从队列中提取数据的工作者,以某种方式对其进行处理。值得注意的是,如果
消费者
的任务需要两步计算(
消费者
只需创建任务并将其发送回传输),那么
消费者
本身就可以是发布者。因此,我们可以从我有3个服务器的想法开始:1个单一的根发布者(
kafka
服务器也在那里运行)和2个实际处理任务的
消费者
服务器。如果每个
消费者
都能像其他人一样处理相同数量的任务,那就更
浏览 0
提问于2014-12-15
得票数 2
1
回答
为
kafka
-node中的主题创建分区
、
我已经创建了一个节点,用于将
消息
发布到主题流,该主题流将由使用
kafka
- HighLevelProducer的ConsumerGroupStream使用。当我从相同的ConsumerGroup创建多个
消费者
来消费同一主题时,只创建了一个分区,并且只有一个
消费者
在消费。此外,是否有可能将对象推送到转换流而不是字符串(我目前使用JSON.stringify,因为否则我会在
消费者
中获取对象对象。({ kafkaHost, highWaterMark, topic }); myTransfrom.pi
浏览 1
提问于2020-01-07
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
必知必会-使用kafka之前要掌握的知识
Spark的PIDController源码赏析及backpressure详解
kafka实战演练,欲走大数据之路的台阶打造,通往的必经之路
Kafka为什么这么快?
Go kafka consumer小知识点
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券