在zookeeper升级期间，flink作业管理器是否会崩溃？
在zookeeper升级期间，flink作业管理器不会崩溃。Flink作业管理器使用zookeeper来进行高可用性的管理，包括leader选举和状态存储等。当zookeeper集群进行升级时，Flink作业管理器会暂停对zookeeper的访问，但不会崩溃。在这个过程中，Flink作业管理器会继续运行已经提交的作业，并保持对已经分配的资源的管理。只有在zookeeper升级完成后，Flink作业管理器才会恢复对zookeeper的访问，并继续进行高可用性的管理。
推荐的腾讯云相关产品是Tencent ZooKeeper，它是腾讯云提供的分布式协调服务，用于实现分布式应用程序的协调和配置管理。Tencent ZooKeeper提供了高可用性、一致性和可靠性的分布式协调服务，可以作为Flink作业管理器的后端存储和协调服务。您可以通过以下链接了解更多关于Tencent ZooKeeper的信息：https://cloud.tencent.com/product/ckafka
相关·内容
我正在尝试理解在zookeeper升级期间flink作业管理器的行为是否是预期的。 我在kubernetes中运行flink 1.11.2，使用zookeeper服务器3.5.4-beta。当我进行zookeeper升级时，zookeeper有20秒的停机时间。我希望flink作业在这20秒内重新启动，或者<e
浏览 75提问于2021-02-09得票数 0
回答已采纳
我正在尝试恢复作业，并在作业管理器关闭而我无法成功重新启动作业时进行状态。我想知道是否有一种方法可以在没有zookeeper的情况下恢复作业管理器？当所有作业管理器都宕机时，flink是否能够恢复？当我重新启动作业管理器时，我得到了以下异常：org.apach
浏览 16提问于2018-09-07得票数 1
回答已采纳
1回答
我正在尝试将flink设置为从检查点恢复。在大多数情况下，这似乎是有效的，然而，在将其部署到我们的分段环境大约一周后，作业管理器已经开始崩溃循环，因为在尝试启动作业的“作业主机”时超时。我使用在高可用性模式下部署的flink 1.7.2和zookeeper 3.4.9-1757313，只是为了方便检查点恢复。我在kubernetes上只部署了一个作业管理器
浏览 57提问于2019-06-19得票数 1
我运行的Flink v1.10与1 JobManager和3个任务经理在码头群，没有动物园管理员。我有一个作业运行，占12个位置，我有3个TM，每20个插槽(总共60个)。因此，测试失败是，如果我手动取消作业，我将有一个侧车重试作业，浏览器控制台上的任务管理器不会恢复，并且会不断减少。
更实际的例子，所以，我有一个作业运行，消耗12个插槽，总共60个。i手动取消了工作，侧车重新触发了工作，而web控制台显示了36个空闲位置，以及2个TM的，作业
浏览 2提问于2020-04-15得票数 0
只是让这种超级生产在没有任何维护的情况下发生，就会遇到填满磁盘空间、命中inode限制等问题。删除/压缩高可用性.storageDir(默认情况下设置为/opt/flink/ha/)的方式是什么?在flink-conf.yaml中是否有一个HA设置可以启用某些轮换，而不需要这样的维护？我们已经有一个问题，作业管理器不想启动，因为磁盘空间耗尽，检查点无法写入，但由于zookeeper中写入的信息，它在启动
浏览 41提问于2019-07-09得票数 0
回答已采纳
假设我们有2个作业经理(HA的ZooKeeper)和3个任务经理。我已经为检查点配置了FsStateBackend。我假设FsStateBackend在每个任务管理器中运行，任务管理器在内存中维护状态。在检查点上，状态将持久化在我们配置的路径(file:/data)上。基本上，我已经配置了指向本地文件系统的路径。因此，每个任务管理器都有自己的本地磁盘存储，其中保存了检查点数据。根据我的理解，在检查点时，一个小的元数据被发送到
浏览 4提问于2020-10-30得票数 0
回答已采纳
我创建了一个成功的Flink本地Kubernetes集群(1.14.2)。我正在尝试更新logback配置，我正在使用Flink本地Kubernetes公开的configmap。Flink本机Kubernetes在集群开始时创建这个configmap，并在集群停止时删除它，此行为与正式文档相同。我更新了logback configmap，它也是成功的，这个过程甚至更新了作业管理器和任务管理器中的实际logback文件(conf文件夹)。但是Flink没
浏览 13提问于2021-12-28得票数 0
对于每个设备，我们在这5项任务中进行了一些计算，根据计算结果，在6.任务中，我需要做更多的事情。由于所有任务插槽都在同一个任务管理器JVM中运行，我心中的想法是开发使用相同 java对象的自定义RichSink和RichSource函数。由于它是静态的，我想所有的任务都可以访问同一个对象。我假设集群不会成为一个问题，因为在从共享队列读取数据之后，我将调用keyBy()，所以我希望Flink将处理这个部分。如果你有危险的观点和提示，请告诉我。
浏览 13提问于2022-12-02得票数 0
在主节点上，我使用以下命令在纱线集群中启动Flink会话：这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它在启动期间，有一个日志：
org.apache.flink.yarn.AbstractYarnClusterDescriptor - Cluster specification: ClusterSpecification另外，
浏览 0提问于2019-07-08得票数 0
回答已采纳
1回答
我正在考虑使用K8s部署Flink。我是Flink的新手，有一个简单的问题：
说我使用K8s来管理码头工人并将TaskManager部署到码头工人中。据我的理解，K8s可以在它失败时重新启动一个对接器，当它失败时可以由Flink重新启动一个任务。如果任务在停靠器容器中运行，而容器由于某种原因突然失败，在Flink视图中，任务失败，因此应该重新启动任务，而在K8s视图中，容器失败，因此应该重新启动对接器。在这种情况下，我们是否应该担心因为这两种“重新启动
浏览 3提问于2020-05-12得票数 0
回答已采纳
Flink正式文档为独立的和Yarn集群提供了一个解决方案。但是，如何使用Kubernetes Flink集群来实现高可用性呢？从文档的部分来看，在部署到Kubernetes集群时，我们似乎只部署了一个Jobmanager。那么，如何为Kubernetes Flink集群实现HA呢？
浏览 0提问于2018-08-20得票数 4
回答已采纳
我是Flink的新手，计划在EKS上部署Flink会话集群，其中包含1个作业管理器和5个任务管理器(每个任务管理器有4个槽)。不同的作业将通过UI提交给不同的应用程序。指向本地文件路径，该作业总共使用了8个槽，它分布在两个任务管理器上，运行良好，一天内没有任何问题。因此，所有的状态信息都存储在checkpointDataUri中，只在本地可用。如果是错的，请纠正我。2)假设我的Ec
浏览 1提问于2020-05-17得票数 1
回答已采纳
1回答
我现在的情况是，我想停止/取消代码中的flink作业。这是在我的集成测试中，我将一个任务提交给我的flink工作并检查结果。当作业异步运行时，即使测试失败/通过，它也不会停止。我尝试了以下几种方法：
对于每个正在运行的作业，向作业管理器发送一个取消请求。当然，在没有运行的情况下，我不确定这个工作经理是错误的，还是缺少了其他的东西。$从Actorakka:
浏览 1提问于2017-02-09得票数 4
1回答
我们有一个由不同团队管理的Flink集群。群集在多个作业之间共享。因此，在任何特定时间，任何任务管理器都有运行不同作业操作的槽。
这是否建议与其他作业共享prod中的集群？如果一个作业失败，它也会杀死运行另一个作业线程的任务管理器？如果我们没有其他的方法，并且必须使用共享集群，那么处理异常场景的最佳方法是什么，以便在任务管理器以致命错误自杀时不会杀死另一个作业
浏览 2提问于2018-06-12得票数 2
回答已采纳
如果我在当地商店使用EBS卷，是否需要考虑特殊待遇？更清楚的是，如果我在AWS中运行一个作业管理器和5个任务管理器(每个实例一个任务管理器)，并使用RockDB和检查点机制支持AWS，并且其中一个任务管理器实例由于某种原因被重新启动(将此实例称为X)，现在将从现在再说一遍，假设新节点(Node )离开EKS，节点X加入Flink集群，在这种情况下会发生什么？由于Node已经具有持久状态(但是是旧状态)，flink是否
浏览 2提问于2020-08-09得票数 0
回答已采纳
我在一个由三个节点组成的集群上执行Apache Flink程序。其中之一也可以作为jobmanager和taskmanager。另外两个只是taskmanager。在执行期间(在错误出现之前)，我观察了cpu使用率，并注意到作业-任务管理器的两个核心都在工作(每个核心至少有50%，有时甚至其中一个核心是100% )，而其他两个节点(任务管理器)完全空闲，cpu使用率约为我正确地设置了作业管理器的rpc地址，并正确地填
浏览 0提问于2017-09-16得票数 1
1回答
我是相对较新的Flink和检查以下是否是一个好的方式提交Flink的工作，而不发送罐子通过。注意:这在本地工作，我正在AWS EMR上进行试验。但想知道我在这里是否遗漏了什么，或者应该小心：public static void main(StringjobRef = env.executeAsync();
//Send ack to remote endpoi
浏览 5提问于2022-02-14得票数 1
回答已采纳
考虑Flink中的FlatMapFunction。这要求它的任何实现都必须是可序列化的。
我想知道为什么会这样，有谁能解释一下吗？是否所有这些操作员实例都是在作业管理器中创建的，然后序列化并发送到任务管理器？
浏览 0提问于2019-06-28得票数 0
我们使用Flink流在单个集群上运行几个作业。我们的工作是使用rocksDB来保持状态。集群配置为在3个单独的VM上运行单个Jobmanager和3个Taskmanager。我们遇到了两个与内存相关的问题：-当运行具有8GB堆分配的任务管理器时，TM耗尽了堆内存，而堆出现了内存异常。我们解决这个问题的方法是将堆大小增加到14 to。这个配置似乎解决了这个问题，因为我们不再因为堆内存不足而崩溃。-尽管如此，在将堆大小增加到14 of (每个TM进程)后，OS会耗尽内存并杀
浏览 0提问于2018-06-12得票数 3
我在运行flink作业时遇到了问题，flink作业基本上是对mysql数据库运行查询，然后尝试创建一个必须从不同作业访问的临时视图。resultStream = tableEnv.toDataStream(resultTable);
env.execute();2022-02-14 12:22:57
浏览 36提问于2022-02-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
