flink群集重新启动时自动恢复作业

文章/答案/技术大牛

发布

1回答

apache-flink、restart

我在一个独立的flink集群上运行作业，只有一个作业管理器，在一个docker容器中运行。每当集群崩溃并重新启动时，我必须再次手动提交作业才能启动。有没有办法让flink在群集重新运行后自动恢复作业？

浏览 74提问于2020-01-29得票数 0

回答已采纳

1回答

Flink职务群集与会话群集-部署和配置

java、docker、deployment、apache-flink、flink-streaming

我正在研究Flink 1.9.1的停靠/K8部署的可能性。目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这个社区的趋势是什么？我们不希望每个Flink集群部署一个以上的作业。在这两种情况下，Flink的UI显示每

浏览 1提问于2020-01-10得票数 2

回答已采纳

2回答

使用单个JobManager进行恢复

apache-flink

我正在尝试恢复作业，并在作业管理器关闭而我无法成功重新启动作业时进行状态。我想知道是否有一种方法可以在没有zookeeper的情况下恢复作业管理器？当所有作业管理器都宕机时，flink是否能够恢复？我可以等待单个JobManager重新启动。当我重新启动作业管理器时，我得到了以下异常：org.a

浏览 16提问于2018-09-07得票数 1

回答已采纳

2回答

Apache Flink: IDE执行中的作业恢复未按预期工作

apache-flink、flink-streaming、checkpointing

我有一个用Flink (Scala)编写的示例流式WordCount示例。在它中，我想使用外部化的检查点在失败的情况下进行恢复。但它并没有像预期的那样工作。kafkaConsumerProperties.setProperty("zookeeper.connect", "localhost:2181")

浏览 25提问于2019-04-15得票数 1

回答已采纳

2回答

Apache Flink -运行重复作业时检查点/保存点的工作方式(多租户)

apache-flink、flink-streaming、flink-cep、flink-sql、flink-batch

我有多个Kafka主题(多租户)，并且我根据主题的数量多次运行相同的作业，每个作业消耗来自一个主题的消息。我已经将文件系统配置为状态后端。假设有3个作业在运行。检查点在这里是如何工作的？这3个作业是否都将检查点信息存储在同一路径中？如果任何作业失败，该作业如何知道从何处恢复检查点信息？我们过去常常在向flink群集提交作业时提供作业名称。这跟它有什么关系吗？一般而言，Flink如

浏览 33提问于2020-07-16得票数 0

回答已采纳

1回答

在运行时异常的情况下，如何在Apache Flink中手动重放函数中的元组？

exception-handling、apache-flink、flink-streaming、flink-cep

Flink中的类似方法是什么？

浏览 14提问于2019-02-22得票数 0

3回答

如何模拟flink流作业失败情况

apache-flink、flink-streaming

我正在flink群集内运行flink流作业。我需要模拟一个作业失败的场景。我在我的源代码中引入了一个损坏的事件。当该事件发生时，我看到抛出异常的作业和任务已经从检查点重新启动。即使在第一次尝试后，任务仍在恢复。根据文档，作业应在第一次尝试后失败。我需要模拟作业失败的场景。该怎么做呢？

浏览 38提问于2020-10-13得票数 0

回答已采纳

1回答

Flink状态变量与普通类变量的区别

java、variables、streaming、state、apache-flink

我无法理解Apache Flink中状态的用法。据我所知，状态在Flink程序执行期间维护变量值。我认为同样的事情也可以通过类变量来实现。

浏览 64提问于2020-02-10得票数 0

回答已采纳

1回答

我们在hadoop 2.6群集上运行Flink 1.5.0 Yarn会话。./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu但是这不会启动任何任务管理器。日志上说Flink JobManager是从leader id 000000开始的...在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交一个flink作业时，一些任务管理器确实会在执行该作业的web界面上产生。这是从Fli

浏览 10提问于2018-08-21得票数 0

2回答

Flink SQL client:选择'hello‘引发的[错误]无法执行SQL语句

apache-flink、flink-sql

我正在跟踪Flink 。打开Flink SQL客户端看起来很好，但是SELECT 'hello world'不能工作。$ /data/apache/flink/flink-1.12.0/bin/sql-client.sh embedded SLF4J: Class path contains multiple SLF4JSLF4J: Found binding in [jar:file:/data/apache/<

浏览 14提问于2021-03-26得票数 1

回答已采纳

1回答

Flink部署生产标准

apache-flink、flink-streaming

我们有一个由不同团队管理的Flink集群。群集在多个作业之间共享。因此，在任何特定时间，任何任务管理器都有运行不同作业操作的槽。这是否建议与其他作业共享prod中的集群？如果一个作业失败，它也会杀死运行另一个作业线程的任务管理器？如果我们没有其他的方法，并且必须使用共享集群，那么处理异常场景的最佳方法是什么，以便在任务管理器以致命错误自杀时不会杀死另一个作业？

浏览 2提问于2018-06-12得票数 2

回答已采纳

1回答

作业重新启动/取消后恢复MapState

apache-flink

MapState sourceAggregationMap = getRuntimeContext().getMapState(sourceAggregationDesc)；对于每个事件流，重新填充值问题是，每当作业停止(失败)/cancelled时，当作业重新启动时，映射状态不会重新初始化/恢复。计数再次从0开始。使用Apache flink 1.6.0 state.backend: rocksdb

浏览 25提问于2019-01-11得票数 1

回答已采纳

1回答

如何在Flink中实现自动故障切换

apache-flink

我在集群模式下启动flink并提交flink作业。我已经在flink配置中配置了24个任务槽，对于该任务，我使用了6个任务插槽。在代码中，我启用了检查点，并将重新启动策略设置为fixedDelayRestart。这是预期的行为，还是有自动故障转移，如星火。我们是否需要

浏览 4提问于2018-01-15得票数 2

1回答

如何扩大/缩小正在运行的Flink集群？

apache-flink

我正在对库伯奈特斯进行弗林克调查。我想如果我更新了TaskManager部署的副本，Kubernetes会为我增加/减少TM的数量，但我不确定这是否是我所需要做的全部。我还需要做些什么来使这份工作适应更多/更少的TMs吗？

浏览 3提问于2019-11-10得票数 1

回答已采纳

3回答

Apache on Kubernetes -如果工作经理崩溃，恢复工作

kubernetes、apache-flink、high-availability、flink-streaming

我想在kubernetes上运行一个flink作业，使用一个(持久的)状态后端，似乎崩溃的任务管理器没有问题，因为如果我正确理解的话，他们可以询问作业管理器需要从哪个检查点恢复。在这个上，我读到动物园管理员需要能够知道工作经理需要使用什么检查点来恢复和进行领导人选举。由于kubernetes将在作业管理器崩溃时重新启动作业管理器，是否有一种方法可以让新的作业管理器恢复作业，而不必设置动物园管理员<e

浏览 0提问于2018-08-30得票数 6

回答已采纳

1回答

重新运行后，闪烁状态为空(已重新初始化)

scala、state、apache-flink、flink-streaming

我在本地和flink集群中运行它，并在集群中取消提交，然后在本地重新运行 env.setStateBackend(new RocksDBStateBackend(..)

浏览 4提问于2020-05-08得票数 1

回答已采纳

1回答

Flink savepoint与本地执行环境(如独立应用程序)

apache-flink、flink-streaming、flink-sql、flink-batch

如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。感谢你的帮助。谢谢

浏览 0提问于2020-08-18得票数 0

1回答

Flink 1.16重新启动策略运行良好，但在整个作业管理器重新启动时丢失消息

java、apache-kafka、apache-flink

重新启动策略可以正常工作，但当整个作业管理器在最大重试尝试后重新启动时，会丢失消息。例如，我已经连续发送了一个2 msg，第一个msg有一个异常，所以它用我在配置中提到的max尝试重试。在那之后，它重新启动了整个工作经理。这一次我失去了第二条信息。

浏览 12提问于2022-11-17得票数 0

1回答

为什么flink* 1.10.1在flink崩溃后未加载存储的状态-使用FsStateBackend重新启动*

java、apache-flink、flink-streaming、flink-cep

我使用Flink 1.10.1和FsStateBackend作为检查点的状态后端。必须有一种方法可以使用检查点和FsStateBackend来完成此操作，而不必从数据库读取所有信息，只需从已存储的检查点重新加载此状态。这个是可能的吗？private static final StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(org.apache.flink.api.common.time.Time.daysThis happens only once but

浏览 41提问于2020-07-09得票数 0

1回答

如何在Mesos Flink集群中实现JobManager高可用性？

apache-flink、mesos、high-availability、marathon

Flink官方文档为单机版和Yarn Flink集群提供了jobmanager高可用性解决方案。但是，使用Mesos Flink集群应该如何实现高可用性？我了解到Flink依赖于马拉松来带来失败的JobManager，但它也有一个问题:每次作业管理器重新启动时，作业都会被重新部署。这对于任务关键型作业是不可接受的。是否有解决此问题的方法？或者是否有计划在Mesos模式下使用Flink来支持完整的高可

浏览 25提问于2019-03-13得票数 0

点击加载更多