腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flume
Kafka
频道是否总是只有一个内部
Kafka
消费者
?
apache-kafka
、
flume
、
flume-ng
基于
Kafka
文档:可以通过拥有一个具有多个分区的主题,然后创建一个最多具有与分区数量相同数量的
消费者
实例的
消费者
组,来提高
Kafka
中的吞吐量。这样,每个使用者实例都被分配了自己的分区。我可以创建一个具有多个分区的主题,然后配置flume-
kafka
-channel以使用该主题。然而,不管主题有多少个分区,flume-
kafka
-channel只创建一个
消费者
(至少根据我在flume日志中看到的)。 有没有办法将
Kafka
-Channel配置为生成与
浏览 31
提问于2019-05-30
得票数 1
1
回答
如何在Apache
Kafka
中添加备份生产者?
apache-kafka
我有订单/市场数据
多
播(通过Tibco Rendezvous),我的
Kafka
生产者正在监听它,并将其发布到一个代理(我有一个代理列表和一个由3个节点组成的Zookeeper集合),容忍Zookeeper然而,如果我的生产者宕机了,那么
Kafka
代理中的持久性是不够的,因为我无论如何都会丢失
多
播的消息。我的
消费者
在每条消息之后都会提交偏移量,因为它不能同时处理一条消息。我在考虑让备份制作人发布一个不同的主题,但即使
Kafka
允许重新启动
消费者
,
消费者<
浏览 2
提问于2015-03-10
得票数 0
2
回答
Docker
多
容器依赖
python
、
docker
、
apache-kafka
、
docker-compose
、
dockerfile
我的问题是-我有一个
多
容器应用程序( zookeeper,
kafka
,producer,consumer),我只想在zookeeper和
kafka
容器启动并运行之后运行生产者和
消费者
容器。
kafka
容器需要大约15秒的时间来设置和创建
消费者
要监听的主题。我想在主题创建之后运行
消费者
容器,这样我就已经启动并运行了一个代理。提前谢谢。: container_name:
k
浏览 11
提问于2019-10-10
得票数 0
2
回答
kakfka-控制台-使用者是否从多个分区消费?
apache-kafka
我有一个带有多个分区的
kafka
主题。 我想将主题转储到一个文件中来进行一些分析,因此我认为最简单的方法就是使用
kafka
-控制台用户。我的问题是,
kafka
-控制台-使用者是否能够读取所有主题分区,还是将其分配给单个分区?如果不是,如何将
kafka
-控制台-
消费者
分配到特定的分区,因此一个将不得不启动与分区一样
多
的
kafka
-控制台-
消费者
。
浏览 4
提问于2015-08-27
得票数 0
回答已采纳
1
回答
使用
kafka
-go在
Kafka
中创建客户计划
go
、
apache-kafka
、
kafka-consumer-api
我在golang中使用
kafka
-go来创建生产者和
消费者
。目前,我可以创建一个生产者,但我希望
消费者
一旦一个主题的生产者被创建,而不是每次都被创建。意味着对于每个主题,一个
消费者
只创建一次。此外,当需要为一个主题创建更多的
消费者
来平衡负载时,它就会被创建。有没有什么方法可以通过goroutines或Faktory来安排?
浏览 18
提问于2019-08-27
得票数 0
3
回答
如何控制Apache
Kafka
在特定时间内发出的消息数量?
java
、
spring-boot
、
apache-kafka
、
spring-kafka
我是Apache
Kafka
的新手,我正在尝试配置Apache
Kafka
,使其尽可能
多
地接收来自生产者的消息,但它只在每个特定时间向
消费者
发送配置数量的消息。
浏览 0
提问于2020-12-23
得票数 1
1
回答
方便
消费者
开发的
Kafka
/ Mock主题
apache-kafka
、
node-kafka
考虑到整个
kafka
管道相当笨重,需要相当
多
的资源。我真的找不到太多,我对
Kafka
也是新手。我想我们可以有这样的东西:然后,在稍后的
消费者
代码中: import { ConsumerGlobalConfig, ConsumerTopicConfig } from 'node-rdkafka
浏览 1
提问于2021-03-10
得票数 0
2
回答
flink
kafka
消费者
groupId不起作用
apache-kafka
、
apache-flink
根据
Kafka
的行为,当我使用相同的group.Id在同一主题上运行两个
消费者
时,它应该像消息队列一样工作。我尝试使用随
kafka
服务器下载的
消费者
客户端。它以记录的方式工作(处理了2条消息)。有什么想法吗?这是我期望的输出: 1>
Kafka
and Flink2 says: e
浏览 10
提问于2016-07-28
得票数 6
回答已采纳
1
回答
如何使用nodejs使用者在
kafka
中实现并行性?
node.js
、
apache-kafka
、
kafka-consumer-api
、
node-kafka
从理论上讲,既然nodejs是单线程的,那么当我定义多个使用者以提高吞吐量时,如何才能实现并行呢?一种可能的解决方案是分叉子进程(在本例中为3),以便每个进程能够接收来自特定分区的消息,假设系统有3个空闲内核。但是,这种方法的效率/效力如何?
浏览 2
提问于2020-05-18
得票数 2
2
回答
多
绑定器场景下不工作的
kafka
消费者
简历
spring-cloud-stream
我有一个要求暂停卡夫卡
消费者
,并在固定的间隔后,它应该恢复卡夫卡
消费者
的.Pausing如预期的那样工作,但问题是与
消费者
的简历。在
多
绑定器场景下,固定时间间隔后未触发ListenerContainerIdleEvent。如果只为单个活页夹配置相同的代码。= message.getOriginalMessage();
浏览 0
提问于2019-05-02
得票数 0
4
回答
每个
消费者
订阅
Kafka
主题的最大限制
apache-kafka
、
kafka-consumer-api
在
Kafka
中,一个
消费者
可以订阅的主题的最大限制是什么。我在任何地方都找不到这个记录的值。 如果
消费者
订阅了500000个或更多的主题,性能是否会下降。
浏览 6
提问于2017-09-19
得票数 5
1
回答
获取某个特定主题的卡夫卡
消费者
列表
apache-kafka
我们有一个分布式、
多
区域、
多
区域的
Kafka
集群。我们是平台所有者,维护和管理集群。有些应用程序利用我们的平台进行上游/下游数据。现在,我们如何列出正在阅读某一特定主题的
消费者
?到目前为止,我的理解是,我们可以列出所有的
消费者
群体,然后描述他们,然后搜索其中的主题。有没有其他更简单的解决方案?
浏览 7
提问于2022-09-02
得票数 0
2
回答
运行依赖于其他容器的
多
容器应用程序
docker
、
docker-compose
、
dockerfile
我的问题是-我有一个
多
容器应用程序( zookeeper,
kafka
,producer,consumer),我只想在zookeeper和
kafka
容器启动并运行之后运行生产者和
消费者
容器。
浏览 1
提问于2019-10-08
得票数 0
4
回答
卡夫卡
消费者
因失衡而挨饿
apache-kafka
、
kafka-consumer-api
我是
Kafka
的新手,我认为我在如何平衡分区队列的主题上遗漏了一些东西 我们在一个主题上有5个分区和2个
消费者
。该主题有一个空键,因此我假设
Kafka
以循环方式随机挑选一个新分区来添加新记录。这意味着一个
消费者
将从3个分区中读取数据,而另一个
消费者
将从2个分区中读取数据。如果我的假设是正确的(即记录在多个分区中平均不受信任),则具有3个分区的
消费者
将执行更多的工作(
多
1.5倍)。这可能会导致一个
消费者
什么都不做,而另一个
消费者
则继续努
浏览 3
提问于2018-08-01
得票数 0
1
回答
卡夫卡-信息与记录与偏移
apache-kafka
、
apache-kafka-streams
我是像
Kafka
这样的流代理的新手,来自队列消息系统,比如JMS、兔子MQ。当
消费者
从偏移中读取时,
消费者
是否有可能读取部分信息?
消费者
是否需要根据某种逻辑对这些部分消息进行串?
浏览 3
提问于2020-11-01
得票数 4
回答已采纳
1
回答
Kafka
分区分配协议
c#
、
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我正在编写集成测试,以使用confluent-dotnet (包装librdkafka)来验证
kafka
生产者和
消费者
配置。在一个测试中,我想启动一个
消费者
,它将从现有分区的末尾启动,然后发布来自生产者的消息,并断言
消费者
只使用了一条消息。现在
消费者
的启动是异步的(即:如果你直接调用订阅然后发布,从最后开始的
消费者
将不会收到它)。在没有竞争条件的情况下编写此测试的合适方法是什么?一旦我完成了"Partition.Assign",
消费者
的偏移量是否已经
浏览 5
提问于2018-01-12
得票数 1
回答已采纳
2
回答
用于一个作业的多个数据收集器,而不会在流集内复制记录
data-collection
、
streamsets
我有一个由多个文件组成的目录,该目录在多个数据收集器之间共享。我有一项工作是处理这些文件并将其放入目的地。因为记录很大,所以我想在多个数据收集器中运行作业。但是当我尝试的时候,我得到了目的地中的重复条目。有没有办法在不复制记录的情况下做到这一点。谢谢
浏览 2
提问于2018-07-17
得票数 0
2
回答
Kafka
多
消费者
apache-kafka
、
kafka-consumer-api
当我们有多个
消费者
从单个分区的主题中读取时,所有
消费者
都有可能得到所有的消息。我已经创建了两个
消费者
,手动偏移commit.started,第一个
消费者
,2分钟后启动第二个
消费者
。第二个
消费者
正在从第一个
消费者
停止读取的消息中读取。有没有可能第二个
消费者
会从头开始阅读所有的信息。我是卡夫卡的新手,请帮帮我。
浏览 24
提问于2019-02-09
得票数 0
3
回答
kafka
中的Bootstrap server vs zookeeper?
apache-kafka
、
apache-zookeeper
为什么不推荐使用
kafka
-consumer中的zookeeper,为什么建议使用bootstrap服务器?bootstrap-server有什么优点?
浏览 0
提问于2017-09-12
得票数 36
回答已采纳
1
回答
我们可以在apache
消费者
中调用spring启动rest应用程序中的服务方法吗?
spring-boot
、
apache-kafka
如果文件大小大于50 Id,则调用
kafka
producer并传递Id作为值的列表。我可以调用服务方法来提取卡夫卡
消费者
中的数据吗?
浏览 2
提问于2018-05-25
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka消费者API
Kafka之文件消费者应用案例
Kafka消费者主流程概况
4.kafka生产者&消费者
kafka消费者分组消费的再平衡策略
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券