Flink JobManager因检查点故障而停止工作
Flink JobManager是Apache Flink框架中的一个关键组件，负责协调和管理整个作业的执行过程。它监控作业的状态、调度任务的分配和执行，并处理作业的故障恢复。
当Flink JobManager因检查点故障而停止工作时，可能会导致作业的执行中断和数据丢失。检查点是Flink用于实现容错性的机制，它定期将作业的状态和数据保存到持久化存储中，以便在发生故障时进行恢复。如果检查点故障导致JobManager停止工作，可能会丢失最近的检查点数据，从而影响作业的正确性和完整性。
为了解决这个问题，可以采取以下步骤：
- 检查故障原因：首先需要确定导致JobManager停止工作的具体原因。可能是由于硬件故障、网络问题、软件错误或配置错误等引起的。通过查看日志文件和系统监控工具，可以帮助定位问题。
- 恢复JobManager：一旦确定了故障原因，可以尝试重新启动JobManager。根据具体情况，可能需要修复硬件故障、解决网络问题或修复软件错误。确保JobManager能够正常启动并连接到Flink集群。
- 恢复作业状态：一旦JobManager重新启动，它将尝试从最近的检查点恢复作业的状态。如果最近的检查点数据丢失，可能需要使用较旧的检查点或手动修复数据来恢复作业的状态。这可能需要一些额外的工作，如数据恢复、重新计算或手动处理。
- 预防故障：为了避免类似的问题再次发生，可以采取一些预防措施。例如，定期备份检查点数据，确保检查点的可靠性和一致性；监控系统状态和日志，及时发现并解决潜在的故障；定期进行系统维护和更新，以修复软件错误和安全漏洞。
总结起来，Flink JobManager因检查点故障而停止工作可能会导致作业中断和数据丢失。为了解决这个问题，需要检查故障原因，恢复JobManager，恢复作业状态，并采取预防措施避免类似问题的再次发生。
腾讯云提供了一系列与Flink相关的产品和服务，例如Tencent Flink、Tencent Cloud StreamCompute等，可以帮助用户在云上部署和管理Flink作业。您可以访问腾讯云官网了解更多相关产品和服务的详细信息：https://cloud.tencent.com/product/flink
相关·内容
当我在Kubernetes上运行Flink 1.8 WordCount示例作业时，我注意到了一个行为。有时，TaskManager pod会获得OOMKilled并重新启动(暂时不需要担心)，但是整个工作都失败了，JobManager日志显示了The assigned slot XXX was removed。
我的问题是，为什么整个工作都失败了？我是否可以配置Flink，使作业更能容忍短暂的TaskManager故障？
浏览 0提问于2019-08-30得票数 1
回答已采纳
1回答
我正在尝试在我已经实现了自定义可并行性套接字源的作业上使用保存点。源看起来与此类似。
@Override
public void run(SourceContext<String> sourceContext) throws Exception {
int idx = getRuntimeContext().getIndexOfThisSubtask();
String[] hosts = (config.hostsStr).split(":");
String[] portStrArr = (config.portsStr).split(&
浏览 3提问于2017-09-19得票数 2
回答已采纳
我们的团队在我们的K8S集群中设置了一个Flink会话集群。我们选择Flink会话集群而不是工作集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离开来。我们的Flink设置包含：
单个JobManager作为K8S吊舱，没有高可用性(HA)设置
一些TaskManagers，每一个都是一个K8S吊舱
我们在单独的存储库中开发作业，并在代码合并时部署到Flink集群。
现在，我们注意到JobManager作为K8S中的一个吊舱，可以随时由K8S重新部署。因此，一旦重新部署，它就会失去所有的工作。为了解决这个问题，我们开发了一个脚本来监视
浏览 0提问于2020-02-27得票数 1
回答已采纳
我有两个关于Flink外部化检查点的问题
(Q1)我可以在flink-conf.yaml中设置"state.checkpoints.dir“来让外部化的检查点正常工作，但是当我从集成开发环境运行flink时，我如何实现同样的事情呢？我尝试了()中提到的GlobalConfiguration方法，但没有成功。我是这样做的：
Configuration cfg =
GlobalConfiguration.loadConfiguration();
cfg.setString("state.checkpoints.dir", "file:
浏览 0提问于2018-04-08得票数 5
2回答
如何将Flink应用程序配置为只启动/重新启动崩溃的pods/(Sub)任务，而不是重新启动整个作业，即重新启动作业/管道中的所有任务/子任务，包括健康的任务。这是没有意义的，并认为没有必要尝试重新启动健康的任务和崩溃的任务。流处理应用程序处理来自Kafka的消息，并将输出写回Kafka，并在Flink 1.13.5和Kubernetes资源管理器上运行--使用Lyft的Kubernetes运算符来调度和运行Flink作业。我们尝试将属性**jobmanager.execution.failover-strategy**设置为**region**，但没有提供帮助。
浏览 4提问于2022-02-11得票数 0
我使用Apache (v1.10.0)来流计算我的RabbitMQ数据，但是当我配置检查点数据来存储NFS文件系统时，如下所示：
env.setStateBackend(new FsStateBackend("nfs://28736435.boston.nas.amazonaws.com:/data/k8s/data/flink/checkpoint"));
告诉我这个错误：
Caused by: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit job.
at org.
浏览 0提问于2020-04-11得票数 0
回答已采纳
我目前正在运行一个Flink会话集群(Kubernetes，1 JobManager，1 TaskManager，，S3)，其中运行多个作业。
当我们努力增加更多的工作岗位时，我们希望改进我们的部署和集群管理策略。我们正在考虑迁移到使用作业集群，但是对于将要产生的容器的数量有保留。每个作业一个容器不是问题，但是每个作业有两个容器(1 JM和1 TM)引起了对内存消耗的担忧。有几个作业需要高可用性和使用检查点以及在保存点通过窗口聚合事件时从/接受保存点恢复的能力。
从我读到的文档和花在谷歌上的时间来看，我没有发现任何东西可以说明是否真的有可能。
是否有可能做这三件事：
将JobManager
浏览 5提问于2019-12-31得票数 1
回答已采纳
我对Flink很陌生，也没有机会阅读Flink源代码来理解源代码的JobManager、TaskManager和任务槽。
我曾经想过，TaskManager进程就像星火的执行者进程，而JobManager进程就像星火的驱动进程
但是当我看图表时，
看来我的想法不对？在纱线容器中运行的是任务槽进程？也就是说，任务槽类似于Spark的executor进程。
我对JobManager、TaskManager和、没有很好或清晰的理解
浏览 0提问于2019-01-25得票数 0
回答已采纳
Flink文档说：“当运行高度可用的纱线集群时，我们不运行多个JobManager (ApplicationMaster)实例，而是只运行一个实例，在故障时由纱线重新启动。”下面是“高可用性:动物园管理员”。
我没有纱线方面的经验，但为什么我们需要设置动物园管理员，如果亚恩负责重新启动，我们只有一个JobManager？或者这是资源管理器的动物园管理员？
浏览 6提问于2017-03-31得票数 0
我已经运行了独立的HA集群，它每分钟对我的流设置检查点，但是我在state.backend.fs.checkpointdir目录中没有看到它们。
flink-conf.yaml
jobmanager.heap.mb: 1024
jobmanager.web.port: 8081
taskmanager.data.port: 6121
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 4
taskmanager.memory.preallocate: false
taskmanager.tmp.dirs: /flink/data/
浏览 2提问于2016-04-15得票数 3
回答已采纳
我有一个Flink1.2集群的设置，由3个JobManagers和2个TaskManagers组成。我从JobManager1启动Zookeeper仲裁，我确认Zookeeper在另外两个JobManagers上启动，然后我在这个JobManager1上启动一个闪烁作业。
在所有5个虚拟机上，flink-conf.yaml都是相同的，这意味着jobmanager.rpc.address:指向JobManager1 everywhere。
如果我关闭了运行JobManager1的虚拟机，我希望Zookeeper会说剩下的JobManagers中的一个是领导者，TaskManagers应该重新连接
浏览 207提问于2017-03-14得票数 1
回答已采纳
1回答
我一直在阅读Flink文档，我需要一些澄清。希望有人能在这里帮我。
状态后端-这基本上是指我的操作的数据将被存储的位置，例如，如果我在2小时的窗口上进行聚合，那么这些缓冲的数据将被存储在哪里。正如文档中指出的，对于较大的状态，我们应该使用RocksDB。
The RocksDBStateBackend holds in-flight data in a RocksDB database that is (per default) stored in the TaskManager data directories
这里的动态数据是指尚未设置检查点的来自kafka流的传入数据吗？
Upon ch
浏览 2提问于2019-04-11得票数 1
我以独立模式在k8s上部署了几个flink，并通过一个promethus-pushgateway导出它们的指标。
问题是：
度量数据间歇性地到达promethus，当在grafana中显示时，会导致点间的间隙。
目标：
monitoring/pushgateway/0 (1/1 up)
Endpoint: http://172.19.88.111:9091/metrics
State : UP
Labels: endpoint="tcp" instance="172.19.88.111:9091" job="pushgateway" na
浏览 8提问于2021-05-24得票数 0
我在一个由3台机器组成的集群上使用Apache 1.4，其中一台是JobManager，另外2台是主机TaskManagers。
我在集群模式下启动flink并提交flink作业。我已经在flink配置中配置了24个任务槽，对于该任务，我使用了6个任务插槽。在代码中，我启用了检查点，并将重新启动策略设置为fixedDelayRestart。
当我提交作业时，我看到3个任务被分配给工人机器1，3个任务分配给工作机器2。现在，当我在WorkerMachine 2上杀死WorkerMachine 2时，我看到整个作业失败了。
这是预期的行为，还是有自动故障转移，如星火。
我们是否需要使用纱线
浏览 4提问于2018-01-15得票数 2
1回答
我正在EMR上运行一个纱线3节点集群(1主2核心节点)。我用的是1.6.0。我启用了检查点(Rocksdb)，并将其写入S3。在其他测试中，检查点似乎是正确的。如果纱线在主节点上崩溃(在本例中，我杀死了纱线进程)，则无法从上一个检查点恢复我的应用程序。下面是我尝试重新启动时的输出：
[hadoop@emr flink-1.6.0]$ bin/flink run -s s3://bucket/kinesis-pipeline-checkpoint/a8a9ceb95845c3ea9833e025b5771470 -p 1 -d ~/pipeline-assembly-0.2.0.jar
SLF4
浏览 0提问于2018-11-08得票数 0
回答已采纳
我正在尝试为我的用例启用RocksDB检查点，但我一直收到下面的错误。
AsynchronousException{java.lang.Exception: Could not materialize checkpoint 1 for operator Map -> Sink: Unnamed (1/1).}
at org.apache.flink.streaming.runtime.tasks.StreamTask$AsyncCheckpointExceptionHandler.tryHandleCheckpointException(StreamTask.java:1153)
浏览 0提问于2019-04-13得票数 1
我使用Kubernetes (Openshift)部署许多微服务。我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的方式)。
我发现文档大多倾向于将k8s中的Flink作业部署为Job Cluster。但是，我们应该如何采取一种实际的做法来做到这一点呢？
虽然k8s可以重新启动失败的pod，但是Flink如何恢复其状态以恢复？
Flink pod可以复制多个吗？当存在两个或多个豆
浏览 0提问于2020-02-13得票数 3
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs或s3选项。
我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！
Flink文档：
Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
1回答
我有一个FlinkV1.2设置，在它自己的VM中有1个JobManager，2个TaskManagers。对于上述每个主机，我将状态后端配置为文件系统，并将其指向本地位置( file:///home/ubuntu/Prototype/flink/flink-checkpoints).：state.backend.fs.checkpointdir我已经将parallelism设置为1，并且每个任务管理器都有一个插槽。然后，我在JobManager上运行一个事件处理作业，将它分配给一个TaskManager。我杀死了运行作业的TaskManager，在失败的TaskManager上进行了几次不成功
浏览 25提问于2017-03-08得票数 0
1回答
让我把它说出来，我是一个非常初学者的Flink，并试图抓住尽可能多的概念。
比方说，我有一个flink集群，其中包含10个任务管理器。我每个人都有一个flink作业在运行。作业也使用广播状态。该广播状态是通过每10分钟读取5个S3文件，进行一些处理，并创建播放的int to list of strings地图来创建的。
问题:在哪里读取文件，是否在JobManager读取和处理文件，并将处理过的内容发送给任务管理人员。
或
是任务管理人员负责所有的读取和处理。如果是这种情况，那么flink如何确保如果任务管理器无法从S3读取，那么所有任务管理器的广播状态都是相同的。
编辑
因此，任务管理器读取
浏览 2提问于2019-10-21得票数 0
我按照的说明将flink指标导出到普罗米修斯，但是默认情况下它似乎只将与作业管理器相关的指标导出到普罗米修斯，如下所示：
打开，我只看到以下信息，没有找到任务或任务管理器相关的指标。
# HELP flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed MemoryUsed (scope: jobmanager_Status_JVM_Memory_Mapped)
# TYPE flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed gauge
flink_jobmanager_Status
浏览 22提问于2018-08-22得票数 2
回答已采纳
我正在尝试恢复作业，并在作业管理器关闭而我无法成功重新启动作业时进行状态。
根据我的理解，TaskManager恢复是由JobManager辅助的(这是预期的)，而JobManager恢复是通过Zookeeper完成的。
我想知道是否有一种方法可以在没有zookeeper的情况下恢复作业管理器？
我使用docker进行设置，所有检查点和保存点都保存到映射的卷中。
当所有作业管理器都宕机时，flink是否能够恢复？我可以等待单个JobManager重新启动。
当我重新启动作业管理器时，我得到了以下异常：org.apache.flink.runtime.rest.NotFoundException
浏览 16提问于2018-09-07得票数 1
回答已采纳
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用hdfs作为后端状态、检查点和动物园管理员storageDir。
state.backend:文件系统
state.backend.fs.checkpointdir: hdfs:/ip:端口/flink-检查点
state.checkpoints.dir: hdfs:/ip:端口/外部检查点
高可用性:动物园管理员
高可用性.zookeeper.storageDir:hdfs:/ip:端口/恢复
在我的JobManager日志中
2017-03-22 17:41:43,559 INFO
浏览 1提问于2017-03-22得票数 5
回答已采纳
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用S3桶而不是hdfs作为后端状态、检查点和动物园管理员storageDir。
Fs.s3.访问键: accessKey
Fs.s3.密钥: secretKey
state.backend:文件系统
state.backend.fs.checkpointdir: S3://桶/flink-检查点
state.checkpoints.dir: S3://桶/外部-检查点
高可用性:动物园管理员
高可用性.zookeeper.storageDir:S3://桶装/恢复
在我的JobManag
浏览 11提问于2017-03-22得票数 4
回答已采纳
我的团队正在评估Flink的一些用例，在这些用例中，我们希望保持资源隔离的处理组数量非常多。是否知道在一个集群中运行数万个乔布斯时人们可能会遇到的主要陷阱/瓶颈？
到目前为止，我们已经注意到，在几百个作业之后，JobManager似乎慢了很多，建议将单个大集群分成多个较小的集群。这是最好的推荐方法，还是有一种方法可以让Flink在非常大规模的乔布斯中可靠地运行？
浏览 1提问于2018-10-25得票数 1
我正在试验我的新Flink集群(3台不同的机器->1个作业管理器，2->任务管理器)，使用RocksDB作为状态后端，但是我得到的检查点行为有点混乱。 更具体地说，我设计了一个简单的WordCount示例，我的数据源是netcat。当我提交作业时，作业管理器将其分配给一个随机的任务管理器(也不复制)。我提供了一些单词，然后我杀死了当前正在运行的任务管理器。一段时间后，作业在另一个任务管理器中重新启动，我可以提供一些新单词。令人困惑的是，即使我杀死了第一个任务管理器，它的状态也会保留下来。 据我所知，RocksDB在运行的任务管理器的本地目录中维护它的状态，所以我所期望的是，当第一
浏览 32提问于2021-04-02得票数 0
回答已采纳
我想在我的工作中添加一个JVM选项。因此，我在flink- line . the中添加了以下一行：
env.java.opts: "-Dspring.config.location=/root/application.properties"
当我使用命令./start-local.sh启动flink时，jobmanager和taskmanager很好地加载了JVM选项：
JobManager日志：
org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
org.a
浏览 0提问于2018-03-01得票数 0
回答已采纳
我在flink- line .line中添加了以下一行：
env.java.opts：“-Ddy.pros.path=/PATH/TO/PROPS/FILE”
在启动作业管理器(jobmanager.sh启动集群)时，我在日志中看到确实识别了jvm选项。
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanage
浏览 6提问于2017-02-20得票数 8
回答已采纳
我正试图让Flink在HA模式下运行，使用动物园管理员，但是当我试图通过杀死领导者JobManager来测试它时，我所有的备用工作经理也都被杀死了。
因此，他们都被杀了，而不是一个待命的工作经理接任新的领导，这是不应该发生的。
我的设置:4台服务器，其中3台服务器运行Zookeeper，但只有1台服务器将承载所有的JobManagers。
ad011.local: Zookeeper + Jobmanagers
ad012.local: Zookeeper + Taskmanager
ad013.local: Zookeeper
ad014.local: nothing interesting
浏览 5提问于2017-09-29得票数 4
回答已采纳
1回答
我正在使用flink-1.4.0对接器，类似于：
version: '3'
services:
jobmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
volumes:
- /home/yeyunlong/work/flink/flink-jar:/var/log/mongodb
environm
浏览 0提问于2018-01-26得票数 0
回答已采纳
在从Kafka摄取消息的Flink流应用程序中，1)如何禁用自动提交? 2)在成功处理消息后如何从Flink手动提交？ 谢谢。
浏览 138提问于2019-02-08得票数 1
我正在尝试使用docker-compose进行Flink Per-Job部署。 配置： version: "2.2"
jobs:
jobmanager:
build: ./
image: flink_local:1.1
ports:
- "8081:8081"
command: standalone-job --job-classname com.organization.BatchJob
environment:
- |
FLINK_PROPERTIES=
浏览 37提问于2020-08-10得票数 0
我是Flink的新手。 在互联网上，我总是看到概念分支，但当我查看JobManager的源代码时(最新的代码来自master分支) Interface: JobManagerRunner
javadoc: Interface for a runner which executes a {@link JobMaster}. class: JobMaster
JobMaster implementation. The job master is responsible for the execution of a single 我想问代码中的JobMaster是否是互联网上JobManag
浏览 48提问于2020-08-31得票数 1
回答已采纳
我目前正在尝试将Flink嵌入到一个Play Framework项目中。但是，当我尝试执行Flink文档中的WordCount示例时，我得到了这个错误：
play.api.http.HttpErrorHandlerExceptions$$anon$1: Execution exception[[JobExecutionException: Cannot initialize task 'DataSink (collect())': Deserializing the OutputFormat (org.apache.flink.api.java.Utils$CollectHel
浏览 12提问于2016-09-02得票数 2
最近，我用Docker-compose.Here启动了一个flink集群。下面是我的文件：
version: "2.1"
services:
jobmanager:
image: flink:1.9.2-scala_2.11
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
浏览 6提问于2020-05-29得票数 2
回答已采纳
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时，尝试还原的所有作业都会出现相同的错误：
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the stack trace for the root cause.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apac
浏览 6提问于2018-01-04得票数 2
回答已采纳
我从官方的flink存储库使用以下docker-compose.yml启动了flink。我只添加了到外部hadoop网络的连接。 version: "2.1"
networks:
hadoop:
external:
name: flink_hadoop
services:
jobmanager:
image: flink:1.7.1-hadoop27-scala_2.11
container_name: flink-jobmanager
domainname: hadoop
networks:
- h
浏览 1293提问于2019-01-04得票数 2
回答已采纳
当我运行flink工作时，我面临着这个问题。
Registration name clash. KvState with name 'XXXX' has already been registered by another operator (fab4c54085fa3ee85a6e1bb1062c20af).
异常：
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the
浏览 0提问于2018-04-24得票数 1
当我在kubernetes(v1.15.2)集群中启动apache flink 1.10任务管理器服务时，它显示如下日志： 2020-05-01 08:34:55,847 INFO org.apache.flink.runtime.taskexecutor.TaskExecutor - Could not resolve ResourceManager address akka.tcp://flink@flink-jobmanager:6123/user/resourcemanager, retrying in 10000 ms: Could not connect
浏览 277提问于2020-05-01得票数 0
我需要帮助。你们中有没有人有以下指标的Prometheus查询示例。这些都是标准指标，我不确定使用哪个运算符来表示这些指标。
flink_taskmanager_job_task_numRecordsInPerSecond flink_jobmanager_job_fullRestarts/flink_jobmanager_job_fullRestarts flink_jobmanager_job_numberOfFailedCheckpoints flink_taskmanager_job_task_isBackPressured flink_jobmanager_job_lastCheck
浏览 0提问于2021-05-12得票数 0
简单工作：kafka->flatmap->reduce->map。
作业运行正常，默认值为taskmanager.heap.mb (512 Job )。根据：this value should be as large as possible的说法。由于所讨论的机器有96 of内存，所以我将其设置为75000 (任意值)。
开始作业会产生以下错误：
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runti
浏览 4提问于2015-11-09得票数 2
回答已采纳
我对Apache比较陌生，我正在尝试创建一个简单的项目，该项目生成一个AWS S3桶文件。根据文档，似乎需要安装Hadoop才能做到这一点。
如何设置本地环境以允许测试此功能？我已经在本地安装了Apache和Hadoop。我为Hadoop的核心-site.xml配置添加了必要的更改，并将我的HADOOP_CONF路径添加到了flink.yaml配置中。当我尝试通过Flink UI在本地提交我的工作时，我总是会得到一个错误
2016-12-29 16:03:49,861 INFO org.apache.flink.util.NetUtils
浏览 0提问于2016-12-29得票数 4
回答已采纳
我正在运行一个具有以下配置的flink docker镜像。 version: '2.1'
services:
jobmanager:
build: .
image: flink
volumes:
- .:/usr/local/lib/python3.7/site-packages/pyflink/lib
hostname: "jobmanager"
expose:
- "6123"
ports:
- "8081:8081"
comma
浏览 121提问于2020-10-11得票数 1
我有一个独立的集群，其中有一个具有1小时事件时间窗口的Flink流作业。运行2-3小时后，作业终止，并出现"org.apache.flink.util.FlinkException:分配的插槽...已删除“异常。
当我的窗口只有15分钟时，这项工作运行得很好。
丢失插槽后，作业如何恢复？是否可以在多个插槽上运行相同的计算以防止此错误？我应该增加任何超时时间吗？如果是这样，是哪一个？
浏览 4提问于2019-12-09得票数 0
我正在尝试构建以Flink和MinIO作为存储空间的数据管道，目前我可以将数据成功地保存到MinIO桶中，但是当我尝试创建一个表WITH ( minio文件)时，它总是会遇到Connection Refused错误：
Flink SQL> CREATE TABLE WordCountTable (
> word STRING,
> `count` INT
> ) WITH (
> 'connector' = 'filesystem',
> 'path' = 's3:/
浏览 106提问于2022-07-26得票数 1
我正在运行flink emr作业，并获得以下结果： at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:261)
at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:483)
at org.apache.flink.streaming.api.environment.StreamContextEnvironment.execute(StreamCon
浏览 45提问于2019-10-12得票数 0
我们运行Flink在Kubernetes 1.8在AWS。几个月来一直很好。我已经设置了一个新的k8s集群。除了我们启用了Calico (而不是只使用Flannel)之外，一切都一样。
就像Flannel一样，Calico为我们提供了集装箱之间的网络。
启用Calico之后，Flink客户端在试图向作业管理器发送jar文件时会收到此错误：
org.apache.flink.client.program.ProgramInvocationException:程序执行失败:无法将jar文件上载到作业管理器。导致: java.io.IOException:无法检索JobManager的blob端口
浏览 0提问于2018-03-27得票数 0
启动集群时，TaskManager中的日志如下所示：
INFO org.apache.flink.runtime.taskmanager.TaskManager -试图在JobManager akka.tcp://flink@master1 1:6123/user/作业管理器注册(尝试1，超时时间: 500毫秒)
INFO org.apache.flink.runtime.taskmanager.TaskManager -试图在JobManager akka.tcp://flink@master1 1:6123/user/作业管理器注册(尝试2，超时: 1000毫秒)
INFO org.ap
浏览 0提问于2018-03-21得票数 0
新手到弗林克。
我能够在远程hdfs集群中的文件上运行示例wordcount.jar，而无需在flink中声明fs.hdfs.hadoopconf变量。
所以想知道上面提到的变量的目的到底是什么。
声明它是否改变了运行示例jar的方式？
指挥：
flink-cluster.vm ~]$ /opt/flink/bin/flink run /opt/flink/examples/batch/WordCount.jar --input hdfs://hadoop-master:9000/tmp/test-events
输出：
.......
07/13/2016 00:50:13 Job exec
浏览 2提问于2016-07-13得票数 3
回答已采纳
我使用MQTT使用者作为flink作业的数据源。我想知道如何将数据偏移保存到检查点，以确保在flink集群发生故障后重新启动时不会丢失任何数据。我看到了很多介绍apache如何管理kafka消费者补偿的文章。有谁知道apache是否有自己的功能来管理MQTT使用者？谢谢。
浏览 24提问于2022-01-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
