首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >KafkaIO检查站-如何向Kafka提交抵消

KafkaIO检查站-如何向Kafka提交抵消

提问于 2018-06-11 03:46:41
回答 1关注 0查看 149

我正在使用GoogleDataflow中的BeamKafkaIO源运行一个作业,并且无法找到一种简单的方法来在作业重新启动期间持久化偏移(作业更新选项是不够的,我需要重新启动作业)

比较BEAM的KafkaIO与PubSubIO(或者准确地比较PubsubCheckpoint与KafkaCheckpointMark),我可以看到在KafkaIO中没有实现检查点持久性(KafkaCheckpointMark.finalizeCheckpoint方法是空的),而它是在PubsubCheckpoint中实现的。

这是否意味着我没有办法可靠地管理卡夫卡在工作中的抵消,用最少的努力重新启动?

到目前为止,我考虑的备选方案如下:

  1. 实现我自己的持久化偏移的逻辑-听起来很复杂,我在Scala中使用了BEAMBERSAO。
  2. 除了这会导致许多重复的工作重新启动(主题有30天的保留期),什么也不做。
  3. 启用自动提交,但这会导致消息丢失,甚至更糟。
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档