1回答
我们在纱线上运行flink。我们正在执行灾难恢复测试，作为测试的一部分，我们手动终止了一个正在运行flink应用程序的节点。Could not obtain block: BP-986419965-xx.xx.xx.xx-1602902058651:blk_1073743332_2508
file=/user/hadoop/.flink/application_1602902099413_0006/applicatio
浏览 8提问于2020-10-17得票数 1
我正在运行带有3个m5.x大节点(1个主节点，2个核心)和Flink 1.8的EMR集群(emr-5.24.1)。在主节点上，我使用以下命令在纱线集群中启动Flink会话：这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它另外，当查看纱线节点管理器时，我发现在其中一个核心节点上只有一个容器在运行。<
浏览 0提问于2019-07-08得票数 0
回答已采纳
当flink的内部作业失败时，如何使纱线上的flink应用程序终止或失败？无论有多少作业失败，应用程序仍在运行，因此无法立即发现问题。你有什么想法吗？
浏览 1提问于2018-03-22得票数 0
我想通过REST获取flink的度量信息，我的flink是由纱线管理的，但是在flink- want .YARN中更改web.port配置后，更改没有影响，而且flink仪表板中的web.port始终是0。因此，我无法通过REST获取flink度量信息。
环境：ubuntu16.04 openjdk-8 hadoop 2.7.1.2.3.6.0-3796 flink 1.4.0
浏览 0提问于2019-01-02得票数 0
回答已采纳
我有一个独立的集群，其中有一个具有1小时事件时间窗口的Flink流作业。运行2-3小时后，作业终止，并出现"org.apache.flink.util.FlinkException:分配的插槽...已删除“异常。
当我的窗口只有15分钟时，这项工作运行得很好。丢失插槽后，作业如何恢复？是否可以在多个插槽上运行相同的计算以防止此错误？我应该增加任何超时时间吗？如果是这样，是哪一个？
浏览 4提问于2019-12-09得票数 0
我试图在纱线集群上运行示例代码(flink_examples_WordCount.jar)，但得到了下面的安全身份验证错误。我确实更新了flink- CONF文件路径中的hdfs-site.xml和core-site.xml (在主节点和工作节点中更新相同)，并导出了HADOOP_CONF_DIR路径。此外，在执行flink run命令时，我尝试在HDFS文件路径中给出主机:端口。at org.apache.flink.client.program.Client.run
浏览 5提问于2015-08-19得票数 1
我们所有的作业都是在纱线集群模式下提交的，因此驱动程序将在其中一个集群节点中运行。主节点采用按需节点，核心节点采用点播实例.现在，虽然我们几乎总是选择中断率< 5%的实例，但有时很大一部分集群节点会过早地被终止(可能是因为更高的需求)。因此，我想知道，在上述情况下，如果包含驱动进程的节点出现故障，会发生什么情况？在这种情况下，火花工作是否有恢复的可能？还是这份工作永远都没了？
浏览 1提问于2020-04-08得票数 0
回答已采纳
1回答
我正在通过亚马逊的EMR上的纱线运行一个Flink应用程序，有一个主人和一个奴隶。 "jobmanager.web.upload.dir": "/home
浏览 0提问于2018-09-06得票数 1
回答已采纳
2回答
我的问题是，如果AM死了，资源管理器(RM)无法启动它(例如，由于AM中的某些代码缺陷)，会发生什么？我有一个场景，我想要终止它们。这是默认行为吗?他们的NodeManager (NM)会终止它们吗？
浏览 2提问于2015-06-10得票数 3
5回答
我得到以下异常at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:759)
at org.apache.flink.runtime.resourcemanager.slotmanager.SlotMan
浏览 0提问于2019-01-08得票数 5
我在客户端模式下对纱线运行Spark。驱动程序通过负载均衡器与ApplicationMaster分离，负载均衡器会在5分钟后终止非活动的TCP连接。这甚至会在5分钟后杀死活跃的纱线作业。在最后一次RPC调用五分钟后，负载均衡器会由于不活动而终止RPC连接，并在RPC连接上调用onDisconnected方法，从而终止纱线作业。这是一个企业环境，我无法更改有关丢弃非活动TCP会话的负载均衡器行为。我可以忍受纱线
浏览 19提问于2020-08-18得票数 1
我看过一个叫Managing State in Apache Flink - Tzu-Li (Gordon) Tai的视频。在这个中，它用分布式文件系统存储数据。我想知道如果我为Flink检查点配置了一个本地文件系统会发生什么？例：我假设Flink集群的每个节点都保留自己的数据。
浏览 0提问于2018-04-12得票数 1
回答已采纳
我正在尝试设置一个flink-yarn会话来运行~100+批处理作业。在连接到大约40个任务管理器和大约10个正在运行的作业(每个任务管理器有2个插槽和1 1GB内存)后，看起来会话变得不稳定。flink UI突然变得不可用，我猜作业管理器可能已经死了。最终，yarn应用程序也被终止了。作业管理器在4核16 gb节点上运行，12 gb可用
是否有任何指南可以计算作业管理器资源与它可以处理的任务管理器数量之间的关系？
浏览 2提问于2020-08-16得票数 0
出于各种原因，我试图在构建Flink的github主分支之后运行下面的简单代码。下面是一个例外，我想知道在端口9065上运行的是什么？以及如何修正这个异常？at org.apache.flink.client.program.rest.RestClusterClient.lambda$submitJob$18(RestClusterClient.java:(DefaultPromise.java:424)
at org.apache.flink.shaded.netty4.io.netty.channel.nio.AbstractNio
浏览 0提问于2018-02-26得票数 1
回答已采纳
集群自动伸缩器( Cluster Auto-scaler，CA)已配置为根据pods的资源可用性来增加/减少节点数量。如果不需要某个节点，CA将终止该节点，并且可以将该节点上的pod调度到另一个节点。这里，CA在重新调度另一个节点上的pods之前终止该节点。因此，在另一个节点被终止后，pods被调度到另一个节点上。因此，在重新调度的pods恢复<
浏览 20提问于2019-05-20得票数 2
我有一个Flink1.2集群的设置，由3个JobManagers和2个TaskManagers组成。在所有5个虚拟机上，flink-conf.yaml都是相同的，这意味着jobmanager.rpc.address:指向JobManager1 everywhere。TaskManager akka://flink/user/taskmanager disconnects from JobManager akka.tcp://flink@1.2.3.4:44779)
浏览 207提问于2017-03-14得票数 1
回答已采纳
1回答
给定一组运行在主机集群上的进程，我正在设计一个系统，通过进程的活迁移 (由外部服务执行)负载平衡主机。(1)集群中的所有主机都是重载的，我们希望在需要的进程之间平均分配资源。我正在考虑在每个用于健康检查的主机中创建端点。前端计划通过负载均衡器向主机发送健康检查请求。前端决定主机是否需要替换，或者是否需要添加新主机。主机位置存储在读取量较大的db中。
关于实时迁移，我认为我们要么需要粘稠的会话，要么需要将会
浏览 0提问于2020-11-21得票数 0
回答已采纳
说：
在这种情况下会发生什么？代理是否仅在目标正确关闭并能够离开终止消息时才终止？如果代理在这些条件下不终止，那么使用可靠代理的系统如何从网络或远程机器故障中恢复？
浏览 0提问于2013-12-28得票数 1
1回答
我正在运行一个由20个可抢占的GCE实例组成的实例组，在Google存储上读取ORC文件，数据按小时划分，每小时大约2GB。
浏览 2提问于2017-06-18得票数 4
回答已采纳
1回答
我正在使用Apache Flink + RabbitMQ堆栈。我知道有机会手动触发保存点并从中恢复作业，但问题是Flink在成功检查点后确认消息，如果您想要设置保存点和恢复状态，您将丢失上次成功的保存点和上次成功的检查点之间的所有数据。有没有办法从检查点恢复作业？这将解决在不可重放数据源(如rabbitmq)的情况下丢失数据的问题。顺便说一句，如果我们有检查点和所有的开销，为什么不让用户使用它们呢？
浏览 20提问于2016-09-13得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
