腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Apache Flink State Store与
Kafka
Streams
、
、
、
据我所知,处理
Kafka
流的
状态
在内存、磁盘或
Kafka
主题中都是本地的,因为所有的输入数据都来自一个分区,其中所有的消息都是由一个定义的值键控的。大多数情况下,计算可以在不知道其他处理器的
状态
的情况下完成。如果是这样的话,您有另一个Streams实例来计算结果。如图所示:Flink到底在哪里
存储
它的
状态
?Flink是否也可以在本地
存储
状态
,或者总是将它们发布到所有实例(任务)?是否可以将Flink配置为将
状态
存储
浏览 0
提问于2019-02-10
得票数 3
1
回答
如果节点崩溃,旧的topic消息因为保留而被丢弃,
Kafka
Stream会丢失
状态
吗?
、
、
、
默认情况下,
kafka
stream使用快速本地KV
存储
RocksDB作为其
状态
存储
。我的问题是,如果节点崩溃,并且那些要重放
状态
的主题消息由于
kafka
保留而被丢弃(所以它不能从头开始重放消息),
kafka
流是否会丢失
状态
?这是不是意味着那些旧的
状态
在这种情况下丢失了?谢谢!
浏览 0
提问于2018-03-18
得票数 1
1
回答
状态
存储
分区迭代器?
我有一个
Kafka
流转换器,它的功能类似于窗口:它将
状态
累加到transform()中的
状态
存储
中,然后在punctuate()期间将其转发到输出主题中,
状态
存储
主题分区键与输入主题相同。在punctuate()期间,我希望每个StreamThread只迭代自己的
状态
存储
分区,以尽量减少从支持的
kafka
主题中读取的数据量。但是我唯一能得到的迭代器就是通过 org.apache.
kafka
.streams.state
浏览 2
提问于2018-04-16
得票数 3
回答已采纳
2
回答
卡夫卡流州立商店干什么?
、
正如我从书中得到的,
Kafka
流
状态
存储
是一种
存储
键/值
存储
,用于将数据
存储
到
Kafka
或过滤后。 为什么主题不能替代
状态
存储
?
浏览 3
提问于2020-06-27
得票数 0
回答已采纳
1
回答
kafka
在哪里保存本地
状态
存储
?
、
我创建了一个
Kafka
主题,并向它发送了一些消息。我看到新目录已在我配置的state文件夹中创建。我删除了
状态
文件夹中创建的目录。我重新启动了具有流拓扑的应用程序。卡夫卡真
浏览 0
提问于2021-04-12
得票数 0
1
回答
Kafka
streams协同分区与交互式查询
、
、
状态
存储
是从第一个主题构建的,第二个流读取
状态
存储
。当我启动拓扑时,我看到这些流线程被分配了两个源主题的相同分区(共同分区)。我假设这是因为
状态
存储
被第二个主题流访问。对我来说,第二个主题应该尽可能快地处理。处理第一个主题的延迟是可以的。Is there a chance that
Kafka
will assign 10 partitions
浏览 5
提问于2020-10-05
得票数 0
2
回答
max.request.size参数的
kafka
流
状态
存储
问题
、
我们在项目中使用
Kafka
流
状态
存储
,我们希望
存储
超过1MB的数据,但是我们得到了下面的例外: topic.max.request.size=50000000 然后应用程序可以正常工作,但是当创建了
状态
存储
内部主题时,但是当
Kafka
重新启动并且
状态
存储
主题丢失/删除时,它可以正常工作,然
浏览 3
提问于2020-06-04
得票数 1
1
回答
是否可以在运行时将新的
状态
存储
添加到拓扑中?
、
、
有没有办法在不关闭KafkaStreams的情况下在运行时向拓扑中添加新的
状态
存储
并与处理器连接。
浏览 0
提问于2021-06-15
得票数 0
回答已采纳
1
回答
如何重新启动KafkaStreams使用者组,以避免从其changelog主题重新创建
状态
存储
在具有多个承载KafkaStreams (0.10.2.1)实例和持久
状态
存储
的节点的部署中,建议重新启动所有节点同时避免重播整个
状态
存储
更改主题的推荐方法是什么?这必须在不更改application.id的情况下完成,因为我不想丢失
状态
存储
中已经有的数据。当代理开始重新分配分区(在所有节点都启动后)时,似乎KafkaStreams实例正在重播整个
状态
存储
更改主题,而不是从重新启动之前到达的偏移量中提取。我想,为了从最近的抵消中挑选出这些条件,必须满足
浏览 3
提问于2017-10-28
得票数 1
回答已采纳
2
回答
kafka
在单个事务中生成主题并写入
状态
存储
、
、
是否可以在单个事务中生成
Kafka
主题并写入
状态
存储
?而不是作为主题消费的一部分启动事务。我也知道Confluent提供的解决方案。
浏览 3
提问于2019-03-01
得票数 0
1
回答
Kafka
流
状态
存储
区rocksdb文件大小在手动删除消息时不会减少
、
、
我使用处理器api从
状态
存储
中删除消息。Delete是成功的,我通过使用由
kafka
键对
状态
存储
的交互式查询来确认,但是它并没有减少本地磁盘上tmp/
kafka
-streams目录下的
kafka
流文件大小。statestore.all().forEachRemaining(keyValue -> { });
kafka</em
浏览 7
提问于2020-02-12
得票数 0
回答已采纳
1
回答
用
Kafka
Streams中的内存
状态
存储
替换RocksDB
、
、
我使用的是
Kafka
Streams 0.10.1.1版本。2017-01-23T13:19:11.830674020Zat org.apache.
kafka
.strea
浏览 1
提问于2017-01-23
得票数 2
1
回答
为什么
kafka
流
状态
dir在/tmp/
kafka
流中?
、
、
为什么卡夫卡流state.dir
存储
在/tmp/
kafka
-streams下?我知道我可以通过在流代码中提供
状态
dir配置来更改路径,如下所示但是改变目录会有什么影响吗?或 我可以在应用程序目录而不是/tmp中配置
状态
DB吗?
浏览 0
提问于2019-03-11
得票数 6
1
回答
春启动连接阿里巴巴电子地图演绎卡夫卡
、
、
、
我已经尝试将引导属性设置为:获取错误:在身份验证期间终止到节点-1 (/xx.xx:9092)的连接。这可能是由于以下任何原因造成的:(1)身份验证失败是由于代理的凭据无效,代理的年龄超过1.0.0;(2)防火墙阻塞
Kafka
TLS通信量(例如,它可能只允许HTTPS通信);(3)瞬态网络问题。spring.
kafka
.properties.security.protocol=SASL_SSL 引发的抛出: java.lang.Ille
浏览 2
提问于2020-03-02
得票数 1
4
回答
CQRS应用程序中的
Kafka
+ Streams作为事件
存储
-命令模型一致性
、
、
、
我读过几篇关于使用
Kafka
和
Kafka
流(与
状态
存储
一起)作为事件
存储
实现的文章。实施理念如下: 每当执行新命令时,从商店获取实体,执行对其的操作,并继续执行步骤
浏览 20
提问于2019-12-05
得票数 0
2
回答
当
Kafka
broker在消费者组协调方面失败时会发生什么情况?
、
Kafka
是如何知道经纪人死了的,需要多长时间才能指派一个新的协调员?它是如何配置的? 这本应在文档中,但我找不到。
浏览 2
提问于2017-08-08
得票数 3
1
回答
如何在Spring Cloud Stream中将RocksDB改为内存中的stateStore
、
为了比较使用RocksDB或内存中的Spring Cloud Stream应用程序(使用
Kafka
)的性能,我想将RocksDB更改为内存中。不幸的是,我找不到任何解决方案。我已经为DSL API和处理器API ()找到了一个解决方案,但我不确定它是否适用于
kafka
-streams绑定器。有人能在这个问题上帮我吗? 向马丁致以最美好的问候
浏览 20
提问于2019-07-10
得票数 0
1
回答
收集用户在卡夫卡的活动?
、
我希望提供一个快速的能力,以获得用户的
状态
,他的可用性。因此,我选择Redis
存储
器来
存储
每个用户的可用
状态
。因此,我需要
存储
更多关于可用用户的扩展信息,如区域、登录时间等。问题是,如何同步卡夫卡和雷迪斯?哪个序列应该是,先将事件在线用户
存储
在
Kafka
中,然后再将其
存储
到Redis? 其次是在Redis中<em
浏览 3
提问于2020-05-22
得票数 0
回答已采纳
1
回答
使用
kafka
流
状态
存储
可容纳超过5亿条消息
、
我正在尝试评估
kafka
流是否与rocksdb
状态
存储
一起使用,并在changelog (
状态
主题)中使用5亿条消息。用例我有大约8个不同的主题数据,它们属于不同的团队,从这些主题我关心某些数据点,所以我使用rocksdb来保存对象的
状态
,我将来自不同主题的所需数据添加到其中。使用
状态
存储
的
kafka
流也是这样使用的吗?
浏览 0
提问于2018-12-29
得票数 1
1
回答
状态
存储
changelog主题的使用者是什么
、
我有一个使用处理器api的拓扑,它更新了一个
状态
存储
,配置了复制因子3,acks=ALL Topologies: Source: products-sourceenriched-products-sink (topic: enriched.products) <-- products-processor 我的监控显示,源主题(< 100条记录)的延迟很小,但是支持
存储
的有一些对rocksdb
状态
存储
的调用,但这些数据
存储</em
浏览 25
提问于2020-11-28
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
kafka zookeeper存储结构
将Kafka作为存储系统
Kafka的存储及刷盘原理
kafka 内部是怎么存储消息的
kafka日志存储以及清理机制
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券