KStreams tmp文件清理
KStreams tmp文件清理
提问于 2019-08-12 05:47:42
我的Kstreams消费者在/tmp/kafka-streams/下存储一些检查点信息。在我们的情况下，这个文件夹填充得相当快。我的kstream基本上在3秒窗口中消耗一条1kb的消息，并根据一个键解除该消息。我正在寻找关于如何定期清除这些数据的建议，这样磁盘就不会填充哪些文件来保存vs没有？
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-08-13 01:14:11
如果您使用加窗聚合，默认情况下将使用1天的保留时间，以便正确处理无序数据。这意味着，最后24小时的所有窗口(或实际上高达36h)都会被存储。
您可以尝试减少保留时间，以存储更短的历史记录：
.aggregate(..., Materialized.as(null).withRetentionTime(...));- 旧版本(pre
2.1.0)：TimeWindows#until(...)(或SessionWindows#until(...))
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57456161
复制相关文章
相似问题
腾讯云开发者
