我正在尝试去复制传入的kafka消息(我正在轮询一个数据源,该数据源使给定一天的所有数据点在第二天可用,但时间不一致,因此我每隔x分钟轮询一次数据点,并希望去复制数据点,使其具有一个只包含新点的清晰的下游主题由于数据点的日期时间是去重复键的一部分,所以我有一组无界的键,因此不能依赖简单的KeyValueStore。据我的理解,WindowStore将允许我只保留特定保留期的密钥(在我的例子中是2天),所以这就是我所使用的。
我试着用kafka-streams- test -utils测试去重复。我尝试使用更短的窗口大小和持
因此,缓存仅在数据库上的读取操作时更新。在名义上的情况下,我希望缓存率先响应,直到数据不超过某个时间点( =>这种情况下可以通过定义正确的过期选项) 在数据库访问失败的情况下,即使缓存中的数据已过期,我也希望回退到缓存。此用例假设尚未删除过期数据。我正在考虑的解决方案是创建Eviction of Items from the cache only after a successful PUT (成功的PUT意味着数据库工作正常)。