腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何使用direct stream在
Kafka
Spark Streaming中指定消费群
、
、
、
、
如何使用直播流
API
指定
kafka
spark流的消费组id。
浏览 0
提问于2016-04-09
得票数 7
回答已采纳
1
回答
基于WAL接收机的电火花卡夫卡集成
、
、
、
使用了卡夫卡的高级
消费者
API
。 2.接收到的数据存储在Spark的worker/executor内存以及WAL中(在HDFS上复制)。
浏览 1
提问于2017-06-30
得票数 1
2
回答
Kafka
Streams - java版本依赖关系
我正在使用Java1.6运行我的应用程序,并计划将一些方面与
Kafka
集成。 我正在探索是否应该使用
Kafka
Consumer (使用poll())或使用KafkaStreams
API
。我们需要Java 1.7 / 1.8来使用Stream
API
吗?
浏览 3
提问于2018-12-20
得票数 0
1
回答
kafka
高/low级
消费者
API
是如何从代理获取消息的?
、
据我所知,
kafka
消费者
只能使用
API
轮询()从代理中提取消息,但是我们知道我们也可以使用
kafka
高/low级别的使用者
API
从代理获取消息,那么
kafka
高/low级
消费者
API
和
API
轮询()之间的关系是什么高/low级别的使用者
API
调用轮询()内部?
浏览 1
提问于2017-05-15
得票数 0
回答已采纳
1
回答
kafka
与Apache spark的集成
、
、
我正在学习apache spark与
kafka
的集成,这样当新消息到达
Kafka
的主题时,我的代码就可以自动运行。结构化流媒体是
kafka
和spark java代码之间的桥梁吗?它是否一直在监听
kafka
,并且每当消息到达时,它都会从
kafka
中提取消息,并将其传递给java代码?这是对的吗?我应该如何将我的java spark代码集成到
Kafka
中,以便在新消息到达
kafka
时自动触发? 谢谢
浏览 15
提问于2019-12-10
得票数 1
2
回答
Confluent架构注册表偏移管理
、
、
、
、
这是因为Schema Registry的设计方式--不是在Zookeeper中存储偏移量,而是在
Kafka
中存储偏移量,或者这是
Kafka
中压缩日志/主题的标准设计模式吗?
浏览 0
提问于2017-10-16
得票数 0
1
回答
使用高级
消费者
API
的
Kafka
offsetcommit请求
、
我想使用
Kafka
高级
消费者
API
,同时我想禁用偏移量的自动提交。我试图通过以下步骤来实现这一点。1) auto.commit.enable = false3) dual.commit.enabled = false1)高级
消费者
API
是否会自动从
kafka
存储中获取偏移量,并使用该偏移量进
浏览 1
提问于2015-04-28
得票数 5
1
回答
Kafka
流与
Kafka
消费者
和Java流
API
的比较
、
、
我想知道使用
kafka
流
API
而不是使用标准
kafka
生产者/
消费者
API
和用Java在
消费者
中进行流处理会带来什么好处。
浏览 4
提问于2022-04-25
得票数 0
回答已采纳
1
回答
重新阅读来自高级
消费者
的消息,而无需重新启动高级
消费者
、
我在本地实现了带有手动偏移的高级
消费者
代码,但我有一个问题要问,假设如果我们不提交消息,是否有任何逻辑可以在不重新启动
消费者
的情况下再次读取该消息。如果我正在重新启动
消费者
,我能够获得该消息,但如何在不重新启动
消费者
的情况下获得该消息。
浏览 3
提问于2016-01-29
得票数 0
2
回答
在Java中手动提交
Kafka
偏移量
、
、
我有一种情况(不要问),我有需要从外部服务提交给
Kafka
的偏移量信息(主题、分区、偏移量)。
浏览 0
提问于2018-10-31
得票数 2
1
回答
用
Kafka
高级
消费者
0.8.x防止信息丢失
、
典型的
kafka
消费者
如下所示: 如果偏移是,而不是基于时间间隔自动提交的,而是由
API
提交,则可能是最理想的。这将确保
kafka
-
消费者</
浏览 5
提问于2016-03-08
得票数 2
2
回答
如何删除
kafka
消费者
群体(通过新的消费
api
创建)?
、
、
我通过新的消费
API
创造了卡夫卡
消费者
。我们有一个使用者组,每个组中有一个使用者实例。
Kafka
脚本“
kafka
- old groups.sh”提供了删除用户的方法,但这只适用于运行命令的旧使用者组:给出 --删除:警告:组删除只适用于旧的基于因此,我想问一问,是否有任何方法删除通过新的
消费者
API
创建的
消费者
浏览 2
提问于2016-06-10
得票数 7
1
回答
当服务器重新启动后未使用
消费者
group.id时
当
消费者
实例group.id在重启时更改时,是否会对
kafka
性能产生任何影响。较旧的group.id将会发生什么情况?它是否仍然存在于代理内存中,或者何时将被删除?假设我有1000+
消费者
实例,并且所有实例都在重启时动态分配group.id。 可以为{log.retention.ms'}提供什么列表值。可以设置为1ms吗?
浏览 8
提问于2018-08-28
得票数 0
回答已采纳
1
回答
如何上传文件给卡夫卡
消费者
?
、
、
我试图加载一个文件给卡夫卡
消费者
,要么用水槽,要么直接到卡夫卡。我使用以下链接启动
Kafka
服务器:有什么建议吗?谢谢。
浏览 1
提问于2015-10-18
得票数 0
1
回答
Kafka
心跳线程阻塞
、
、
我们有一个WebSocket服务器,它为每个WebSocket客户端创建一个单独的
消费者
组,这样每个WebSocket用户就可以相互独立地接收来自
Kafka
主题的更新。我们使用camel
API
来创建
Kafka
消费者
(组),它使用了
Kafka
原生Java
API
,所以这与Camel没有任何关系,但提到camel只是一个FYI。通过使用JMX和JMC监控,我们发现
Kafka
心跳线程被阻塞,并且对于每次新的WebSocket客户端加入时创建的每个新
浏览 1
提问于2018-11-06
得票数 1
1
回答
使用apache spark的
Kafka
流媒体
、
、
我已经在本地机器上设置了apache
kafka
,并且工作正常,当我将一条消息发布到生产者中时,它立即在
消费者
提示中流动。 可以从我的本地文件夹配置连续文件流吗?我该怎么做呢?
浏览 0
提问于2016-07-28
得票数 0
1
回答
Kafka
消费者
诉Apache Flink
、
、
、
、
我做了一个poc,在其中我使用火花流读取来自
Kafka
的数据。但是我们的组织要么使用Apache或者
Kafka
使用者来读取Apache中的数据作为一个标准过程。所以我需要用
Kafka
消费者
或者Apache来代替
Kafka
流媒体。在我的应用程序用例中,我需要从
kafka
读取数据,过滤json数据,并在cassandra中放置字段,因此建议使用
Kafka
使用者,而不是flink/其他流,因为我实际上不需要对
Kafka
json数据进行任何处理因此
浏览 4
提问于2017-03-26
得票数 0
1
回答
Spring cloud
Kafka
Stream -不同集群中的死信主题
、
、
我有一个
Kafka
消费者
。如果
消费者
无法阅读任何消息,我需要将其发送到Dead Letter主题。我使用的是Spring cloud
Kafka
流,我在如下配置中启用了DLQ。spring: stream: definition: myConsumer bindermyConsumer-in-0: **enableDlq
浏览 12
提问于2021-02-03
得票数 0
1
回答
在
消费者
端节流消息
、
、
我是
kafka
的初学者,已经开发了
kafka
消息的
消费者
,现在看起来很好。虽然在测试
消费者
时出现了一些需求,但这可能需要在
消费者
端对消息进行一些节流。
消费者
(.net核心,使用confluent)在接收到消息后,调用
api
,
api
处理该消息。作为这个过程的一部分,它对数据库的读写次数很少。场景是,
消费者
每天可能会收到数百万或至少几千条消息。因此,我正在考虑在
kafka
消费者
上设置一些节流来接收消息,
浏览 12
提问于2020-05-18
得票数 0
1
回答
部署
Kafka
使用者
、
我们将基于Java
API
的
kafka
消费者
部署在一个单独的VM中,按使用情况分组。基于这些
消费者
的吞吐量,可能有3-4个
消费者
(不在同一组中)/vm。是使用这种方法还是使用dockers部署
消费者
最好?任何提示都会很有帮助。 虽然您可以使用
Kafka
confluent REST代理和其他工具,但我的问题是关于
消费者
部署。
浏览 7
提问于2020-09-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka消费者API
Kafka之文件消费者应用案例
Kafka消费者主流程概况
4.kafka生产者&消费者
Liftbridge为NATS提供了类Kafka的日志API
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券