我编写了另一个单独的简单程序来读取检查点目录，如下所示： object StateReader extends App {
val path = "file://...."Caused by: java.lang.IllegalStateException: Unexpected state handle type, expected: class org.apache.flink.runtime.state.KeyGroupsStateHandle, but found: class org.apache.<e
浏览 19提问于2020-10-27得票数 0
回答已采纳
我是Flink的新手，刚刚开始写一个基于Flink的项目。我的Flink作业使用RocksDB作为状态存储，并打开检查点，以便每15分钟向S3拍摄一次状态存储快照。我需要从Hive中查询状态存储的数据进行一些数据分析，发现来自S3上checkpoint的状态数据无法从Hive中消费。
浏览 30提问于2020-12-22得票数 0
将文件系统状态后端保存到s3。指向s3的检查点正在工作 - "standalone-job" - "s3://BUCKET_NAME/34619f2862ce3e5fc91d80eae13a434ajob-classname" - "--kafka-broker"
- "KAFKA_HOST:9092&qu
浏览 4提问于2020-08-06得票数 3
1回答
我使用的是在从docker-flink安装的ECS中运行的Flink。我已经通过flink-conf.yaml中的state.checkpoints.dir到S3启用了外部检查点到AWS S3。现在，根据Flink文档here，如果我们想在出现故障的情况下从检查点恢复，我们必须使用bin/flink run -s :checkpointMetaDataPath [:runArgs]，但我使用</em
浏览 35提问于2020-04-03得票数 0
回答已采纳
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
1回答
如果作业多次运行，flink是否缓存某些结果并重用它们？如果是这样的话，我该如何控制呢？
我想弄清楚我的任务运行了多长时间，但是每次我重新运行它们的速度都比以前快。
浏览 1提问于2021-12-06得票数 0
他们正在使用不同的存储格式。
如果由于某种原因需要关闭或重新启动整个应用程序(例如错误修复或意外崩溃)，那么我必须使用savepoint来恢复整个应用程序吗？我认为checkpoint仅在Flink中用于运行应用程序时的容错，即应用程序本身正在运行，但是任务或其他事情可能会失败，也就是说，Flink将使用checkpoint进行状态</
浏览 3提问于2019-02-04得票数 2
我们知道，Flink定期为每个有状态操作符创建检查点，当崩溃发生时，它可以使用检查点来恢复系统。但是我找不到任何关于这些过程中的无状态操作符的论文或文档--“检查点的创建”和“故障的恢复”.Thanks，需要您的帮助。
浏览 21提问于2020-09-22得票数 1
1回答
我正在使用Apache Flink + RabbitMQ堆栈。我知道有机会手动触发保存点并从中恢复作业，但问题是Flink在成功检查点后确认消息，如果您想要设置保存点和恢复状态，您将丢失上次成功的保存点和上次成功的检查点之间的所有数据。有没有办法从检查点恢复作业？这将解决在不可重放数据源(如rabbitmq)的情况下丢失数据的问题。顺便说一句，如果我们有检查点和所有的开销，为什么不让用户使用
浏览 20提问于2016-09-13得票数 3
回答已采纳
1回答
我在本地和flink集群中运行它，并在集群中取消提交，然后在本地重新运行
env.setStateBackend(new RocksDBStateBackend(..)
浏览 4提问于2020-05-08得票数 1
回答已采纳
使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：
在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作的状态，以一致的方式。如果作业失败，Flink将恢复
浏览 6提问于2017-12-12得票数 1
在处理过程中添加了一些托管状态之后，我们发现尽管在RocksDb中使用了增量检查点，但检查点的大小和持续时间却出现了令人担忧的增长。
为了隔离这个问题，我们用源、映射操作符和接收器创建了简单的拓扑。使用上面描述的设置，我们发送了1200个事件，检查点间隔和最小暂停设置为5秒。当事件以恒定的速度和相同的状态出现时，我们预计检查点的大小或多或少是恒定的。然而，我们观察到了检查点大小的线性增长峰值(最后一个峰值有将近120 of，接近于整个
浏览 0提问于2018-10-31得票数 1
回答已采纳
我有一个用Flink (Scala)编写的示例流式WordCount示例。在它中，我想使用外部化的检查点在失败的情况下进行恢复。但它并没有像预期的那样工作。kafkaConsumerProperties.setProperty("zookeeper.connect", "localhost:2181")
kafkaConsumerProperties.setProperty("group.id", "flink} 我第一次运行程
浏览 25提问于2019-04-15得票数 1
回答已采纳
我们正在使用Flink Kinesis Consumer将Kinesis流中的数据消费到我们的Flink应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。因此，下次应用程序启动时，它将从中断的位置恢复。 但是，Flink Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此，我们需要依靠ShardIteratortype (trim_horizen、latest等)来决定在应用程序重启时从哪里恢复<
浏览 16提问于2019-02-22得票数 3
例如，如果我窗口一些数据和.aggregate，如果系统宕机，我创建的聚合器是否会重置？
浏览 10提问于2019-04-11得票数 0
回答已采纳
我需要知道Apache Flink如何从检查点恢复其状态，因为在运行纯作业时，我看不出启动时间和在operator中看到第一个事件与从保存点恢复相比有什么不同。
状态是否从检查点/保存点延迟加载？
浏览 4提问于2018-02-01得票数 0
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。
浏览 44提问于2019-01-23得票数 5
我正在使用AWS (KDA)服务运行Flink应用程序。我的KDA Flink应用程序上一个检查点的大小似乎随着时间的推移而稳步增长。当我将更改推送到应用程序时，您可以在附加的图形中看到检查点大小的突然下降，导致它获取快照、更新，然后从快照恢复。我担心的是，一旦应用程序不再被积极开发，更改就不会像以前那样定期部署，检查点的大小最终可能会增长到太大。
有人知道是什么导致检查点的大小不断增长吗？我正在对所有重要状态使用<
浏览 1提问于2020-09-21得票数 4
1回答
我试图了解检查点恢复的过程，到目前为止，我只发现了增量检查点机制是如何工作的信息。通常，当您在其他地方讨论备份过程时，您将首先谈到一个完整的操作，然后是代表完整和增量之间的增量操作。但是在这里，当我们谈到增量检查点时，我们不会对状态进行完整的快照，而是立即从增量机制开始。所以，我想了解的是，当我们使用保留时，它是如何工作的--我们只剩下几个增量检查点--那么如果增量检查点只代表从一个检查点到另一个检查点的变化，我们如
浏览 0提问于2019-04-11得票数 1
回答已采纳
我们有一个场景，在这个场景中，我们必须将一些值保存到检查点中，并在故障恢复/应用程序重新启动期间将其检索回来。任何导致这一点的结果都将有助于使用检查点。如何放置并从检查站返回？
浏览 10提问于2022-01-19得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号