如何在删除flink jobmanager之前删除rocksdb(flink state)文件？
在删除Flink JobManager之前删除RocksDB（Flink State）文件，可以按照以下步骤进行操作：
- 停止Flink JobManager：首先，需要停止正在运行的Flink JobManager，可以使用以下命令：
- 停止Flink JobManager：首先，需要停止正在运行的Flink JobManager，可以使用以下命令：
- 清理RocksDB文件：RocksDB是Flink用于持久化状态的默认存储引擎。要删除RocksDB文件，可以按照以下步骤进行操作：
- 找到Flink JobManager的工作目录，通常是
/tmp/flink/flink-<user>/jobmanager-<host>。 - 在该目录下，可以找到一个名为
<job-id>的子目录，其中<job-id>是Flink作业的唯一标识符。 - 进入
<job-id>目录，可以找到一个名为checkpoints的子目录，其中包含了RocksDB文件。 - 删除
checkpoints目录及其内容，可以使用以下命令： - 删除
checkpoints目录及其内容，可以使用以下命令：
- 找到Flink JobManager的工作目录，通常是
- 启动Flink JobManager：完成RocksDB文件的删除后，可以启动Flink JobManager，可以使用以下命令：
- 启动Flink JobManager：完成RocksDB文件的删除后，可以启动Flink JobManager，可以使用以下命令：
请注意，删除RocksDB文件可能会导致与该作业相关的状态数据丢失。因此，在执行此操作之前，请确保已经备份了重要的状态数据，并且了解潜在的风险。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体的云计算品牌商，建议您参考腾讯云官方文档或咨询腾讯云的技术支持团队，以获取与腾讯云相关的产品和解决方案信息。
相关·内容
我的Flink作业从一个kafka主题中读取数据，并将数据存储在RocksDB状态后端中，以便使用可查询状态。我能够在本地机器上运行作业并查询状态。但是，在集群上部署时，我会得到以下错误：
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobMan
浏览 6提问于2017-06-03得票数 0
回答已采纳
需要帮助，以下错误，因为我似乎找不到什么是实际的问题。我试图在win10专业版的桌面上运行flink集群。
文档：
FROM SOME-LOCAL-REGISTERY-URL/flink:1.11
ADD build/libs/demoapp-service-all.jar /opt/flink/usrlib/demoapp-service-all.jar
volume /tmp
ADD conf/flink-conf.yaml /opt/flink/conf/flink-conf.yaml
ADD conf/log4j.properties /opt/flink/conf/log4j.pro
浏览 2提问于2020-11-25得票数 3
1回答
我有一个Flink集群。我启用了压缩过滤器并使用状态TTL。但是Rocksdb压缩过滤器不能将状态从内存中释放出来。
我的Flink管道里有大约300张唱片
我的状态TTL配置：
@Override
public void open(Configuration parameters) throws Exception {
ListStateDescriptor<ObjectNode> descriptor = new ListStateDescriptor<ObjectNode>(
"my-state",
浏览 9提问于2020-03-11得票数 1
回答已采纳
我正在尝试为我的用例启用RocksDB检查点，但我一直收到下面的错误。
AsynchronousException{java.lang.Exception: Could not materialize checkpoint 1 for operator Map -> Sink: Unnamed (1/1).}
at org.apache.flink.streaming.runtime.tasks.StreamTask$AsyncCheckpointExceptionHandler.tryHandleCheckpointException(StreamTask.java:1153)
浏览 0提问于2019-04-13得票数 1
1回答
我当时在本地测试Flink保存点。
在使用保存点时，我提到了文件夹，并将保存点放入其中。
后来，我重新启动了Flink集群，并从保存点恢复了Flink作业，它按预期工作。
我关心的是保存点文件夹的内容。
我只看到文件夹中的_metadata文件。
保存点数据将保存在哪里？
从文档中可以清楚地看到( )
“如果您使用的是状态后端:作业管理器、元数据和保存点状态将存储在_metadata文件中，所以不要因为没有其他数据文件而感到困惑。”
但是我已经为各州使用了rocksDb后端。
state.backend: rocksdb
state.backend.incremental: true
sta
浏览 16提问于2022-11-23得票数 1
当flink作业集群(deployment/ pod )在kubernetes上运行时，我们删除了jobmanager和taskmanager(kubectl delete Pod XXX)。我们发现，在pod运行正常后，从PVC挂载rocksDB和检查点文件路径的pod中缺少该状态。在pod运行后，是否有恢复状态的建议？我仔细检查了代码。我发现检查点未启用。是不是作业无法恢复的根本原因？
环境设置如下
RocksDBStateBackend backend = new RocksDBStateBackend(checkPointDataUri + "/checkpoint",
浏览 24提问于2020-06-09得票数 0
回答已采纳
我有两个关于Flink外部化检查点的问题
(Q1)我可以在flink-conf.yaml中设置"state.checkpoints.dir“来让外部化的检查点正常工作，但是当我从集成开发环境运行flink时，我如何实现同样的事情呢？我尝试了()中提到的GlobalConfiguration方法，但没有成功。我是这样做的：
Configuration cfg =
GlobalConfiguration.loadConfiguration();
cfg.setString("state.checkpoints.dir", "file:
浏览 0提问于2018-04-08得票数 5
我在Mac上运行Apache Flink 1.4.2 (没有捆绑hadoop)，并且我已经设法运行了WordCount示例。但是，当我尝试按照中的说明运行Gelly示例时，我遇到了以下错误：
java.lang.ClassNotFoundException: org.apache.flink.graph.generator.random.BlockInfo
我可以知道怎样才能修好它吗？
我首先通过以下方式启动了集群
./bin/start-cluster.sh
Starting cluster.
[INFO] 1 instance(s) of jobmanager are already
浏览 0提问于2018-03-14得票数 0
2回答
我们的Flink Job包含一个过滤器，按会话id键，然后是间隔30分钟的会话窗口。会话窗口将需要累积会话的所有事件，并使用ProcessWindowFunction处理它们。 我们使用Flink 1.9，128个容器，总共20G内存来运行我们的作业，截止率是0.3。我们正在执行增量检查点。 当会话窗口开始触发process函数时，网络缓冲区使用率开始变得非常高，然后我们开始得到Kafka输入滞后。我们的设置： state.backend: rocksdb
state.checkpoints.dir: hdfs://nameservice0/service
state.backend.roc
浏览 170提问于2020-10-16得票数 1
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用hdfs作为后端状态、检查点和动物园管理员storageDir。
state.backend:文件系统
state.backend.fs.checkpointdir: hdfs:/ip:端口/flink-检查点
state.checkpoints.dir: hdfs:/ip:端口/外部检查点
高可用性:动物园管理员
高可用性.zookeeper.storageDir:hdfs:/ip:端口/恢复
在我的JobManager日志中
2017-03-22 17:41:43,559 INFO
浏览 1提问于2017-03-22得票数 5
回答已采纳
我正在尝试构建以Flink和MinIO作为存储空间的数据管道，目前我可以将数据成功地保存到MinIO桶中，但是当我尝试创建一个表WITH ( minio文件)时，它总是会遇到Connection Refused错误：
Flink SQL> CREATE TABLE WordCountTable (
> word STRING,
> `count` INT
> ) WITH (
> 'connector' = 'filesystem',
> 'path' = 's3:/
浏览 106提问于2022-07-26得票数 1
我的Flink作业运行了几天，没有任何问题，但是过了几天，就会关闭tm并重新启动整个作业。在日志中我发现，org.apache.flink.contrib.streaming.state.RocksDBKeyedStateBackend -删除现有的实例基目录/tmp/flink-io-4b455efa-bcde-4ef2-aed3-c66ca9d8933e/job_152b986e7e5a6f411780849f13ce4bc8_op_KeyedProcessOperator_a1c286a47e97622aa92a8f6cd4115854__1_4__uuid_4b53ff24-e240-
浏览 5提问于2020-10-06得票数 0
回答已采纳
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时，尝试还原的所有作业都会出现相同的错误：
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the stack trace for the root cause.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apac
浏览 6提问于2018-01-04得票数 2
回答已采纳
我们在一个由3台机器组成的集群上使用Flink-1.4。我们使用以下命令在一台机器上启动了JobManager
bin/jobmanager.sh start flip6
接下来，我们使用以下命令在两台机器上启动TaskManager：
bin/taskmanager.sh start flip6
但是，我们没有看到Flink Dashboard Web UI打开。我们在日志中也看不到任何错误。我们是否遗漏了什么，可能是在配置文件中？
这是JobManager的日志：
浏览 9提问于2018-01-15得票数 0
回答已采纳
我在Flink上运行了许多作业，后端使用rocksDB，我的一个作业出错了，整晚都在重启，
错误消息如下：
java.lang.IllegalStateException: Could not initialize keyed state backend.
at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initKeyedState(AbstractStreamOperator.java:330)
at org.apache.flink.streaming.api.operators.Abst
浏览 3提问于2018-08-06得票数 0
我使用Flink版本1.10.1和rocksdb后端。
我知道rocksdb使用来自“托管内存”的内存，并且我没有为托管内存设置任何特定的值。这是由弗林克做的。
当我监视我的应用程序时，任务管理器的空闲内存总是在减少(我指的是通过free -h测量的操作系统的空闲内存)。我怀疑原因可能是Rocksdb。
如果Question_1 =>的值过期，ValueState将从其内存中删除，并将从本地存储目录中删除？(我也有有限的存储容量)
Question_2 => stream.keyBy(ipAddress)，如果这个ipAddress将由rocksdb持有(我指的
浏览 5提问于2020-06-16得票数 0
回答已采纳
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用S3桶而不是hdfs作为后端状态、检查点和动物园管理员storageDir。
Fs.s3.访问键: accessKey
Fs.s3.密钥: secretKey
state.backend:文件系统
state.backend.fs.checkpointdir: S3://桶/flink-检查点
state.checkpoints.dir: S3://桶/外部-检查点
高可用性:动物园管理员
高可用性.zookeeper.storageDir:S3://桶装/恢复
在我的JobManag
浏览 11提问于2017-03-22得票数 4
回答已采纳
如果我有一个简单的双键状态的flink作业，比如State1和State2。
作业配置为rocksDB后端。每个州都保存10 of的数据。
如果我更新代码，使其中一种状态不被使用(状态描述符被删除，相关代码被删除。)例如，删除State1。
下次flink触发检查点或我手动触发保存点时。检查点/保存点是否仍然保存State1的数据？
浏览 15提问于2021-12-22得票数 0
回答已采纳
我正在将persistentvolumeclaim绑定到我的Job的pod中，它显示： persistentvolumeclaim "flink-pv-claim-11" is being deleted 但持久的销量声明是存在的，并绑定了成功。 ? 并且pod没有log输出。我应该怎么做才能解决这个问题？这就是yaml的工作： apiVersion: batch/v1
kind: Job
metadata:
name: flink-jobmanager-1.11
spec:
template:
metadata:
labels:
浏览 86提问于2020-08-19得票数 1
回答已采纳
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs或s3选项。
我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！
Flink文档：
Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
我有以下设置：
Installation type k8s: 1.18
Flink version: 1.12
1 Job Manager
2 Task Manager
任务经理的flink- task .task
flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.number
浏览 9提问于2021-06-02得票数 0
回答已采纳
我正在尝试做一个POC的Flink状态模式演变。我使用的是Flink 1.15.0和Java 11。我尝试创建3个数据类--每个序列化类型一个：
io.peleg.kryo.User -使用java.time.Instant类，我知道Flink中的POJO序列化不支持这个类。
io.peleg.pojo.User -只使用经典的包装原语- Integer、Long、String。getters、setter和constructors是使用Lombok生成的。
io.peleg.avro.User -使用Avro插件从Avro生成。
对于每个类，我编写了一个流作业，它使用一个
浏览 66提问于2022-07-02得票数 2
我以独立模式在k8s上部署了几个flink，并通过一个promethus-pushgateway导出它们的指标。
问题是：
度量数据间歇性地到达promethus，当在grafana中显示时，会导致点间的间隙。
目标：
monitoring/pushgateway/0 (1/1 up)
Endpoint: http://172.19.88.111:9091/metrics
State : UP
Labels: endpoint="tcp" instance="172.19.88.111:9091" job="pushgateway" na
浏览 8提问于2021-05-24得票数 0
我有一个3K信息/秒系统。流中有很多状态和窗口。
目前，我的管理内存使用量只有84 my，尽管我为它预留了15 it。在Flink web上，它说84.4MB/ 14.8 GB。Rocksdb不使用它作为缓存和缓冲区。你能帮个忙吗？下面你可以看到我的配置。
taskmanager.memory.process.size: 51912m
taskmanager.memory.managed.fraction : 0.2
taskmanager.numberOfTaskSlots: 360
state.backend: rocksdb
state.backend.rocksdb.localdir:
浏览 8提问于2022-11-08得票数 0
flink版本: 1.13.6我有一个作业，其配置如下所示。
-yjm 2048 -ytm 4096
-yD taskmanager.memory.jvm-metaspace.size=256mb
-yD state.backend=rocksdb
-yD state.backend.incremental=true
-yD parallelism.default=8
自从这项工作开始运行以来，大约每8个小时就会重新启动一次。例外是一样的
org.apache.flink.runtime.io.network.netty.exception.RemoteTransport
浏览 10提问于2022-11-28得票数 0
回答已采纳
简单工作：kafka->flatmap->reduce->map。
作业运行正常，默认值为taskmanager.heap.mb (512 Job )。根据：this value should be as large as possible的说法。由于所讨论的机器有96 of内存，所以我将其设置为75000 (任意值)。
开始作业会产生以下错误：
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runti
浏览 4提问于2015-11-09得票数 2
回答已采纳
我有一个无界流的flink(v1.13.3)应用程序(使用kafka)。我的一条小溪很忙。而且繁忙值(我可以在UI上看到)随着时间的推移而增加。当我刚启动flink应用程序时：
sum by(task_name) (flink_taskmanager_job_task_busyTimeMsPerSecond{job="Flink", task_name="MyProcessFunction"})返回300-450 ms five++ hours sum by(task_name) (flink_taskmanager_job_task_busyTimeMsPer
浏览 18提问于2022-01-12得票数 1
回答已采纳
我尝试在连接到Azure Storage的Azure Kubernetes上运行一个测试Flink应用程序。在我的Flink应用程序中，我配置了以下配置： Configuration cfg = new Configuration();
cfg.setString("fs.azure.account.key.<storage-account.blob.core.windows.net", "<access-key>");
FileSystem.initialize(cfg, null); 我还启用了检查点，如下所示： env.enableCh
浏览 102提问于2021-10-22得票数 0
回答已采纳
我想在删除flink作业群集之前/之后删除所有rocksdb文件。我们在K8s上部署了flink作业。我们将每个作业集群的状态存储在rocksdb上。并且当作业集群停止时，存储状态的rocksdb不会被删除。有什么想法吗？
浏览 39提问于2020-02-21得票数 0
回答已采纳
我对Apache比较陌生，我正在尝试创建一个简单的项目，该项目生成一个AWS S3桶文件。根据文档，似乎需要安装Hadoop才能做到这一点。
如何设置本地环境以允许测试此功能？我已经在本地安装了Apache和Hadoop。我为Hadoop的核心-site.xml配置添加了必要的更改，并将我的HADOOP_CONF路径添加到了flink.yaml配置中。当我尝试通过Flink UI在本地提交我的工作时，我总是会得到一个错误
2016-12-29 16:03:49,861 INFO org.apache.flink.util.NetUtils
浏览 0提问于2016-12-29得票数 4
回答已采纳
我按照的说明将flink指标导出到普罗米修斯，但是默认情况下它似乎只将与作业管理器相关的指标导出到普罗米修斯，如下所示：
打开，我只看到以下信息，没有找到任务或任务管理器相关的指标。
# HELP flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed MemoryUsed (scope: jobmanager_Status_JVM_Memory_Mapped)
# TYPE flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed gauge
flink_jobmanager_Status
浏览 22提问于2018-08-22得票数 2
回答已采纳
我知道Apache中有三种状态后端: MemoryStateBackend、FsStateBackend和RocksDBStateBackend。
MemoryStateBackend将检查点存储到本地内存中，FsStateBackend将检查点存储到本地FileSystem中，RocksDBStateBackend将检查点存储到RocksDB中。我有一些关于RocksDBStateBackend的问题。
据我理解，RocksDBStateBackend机制已经嵌入Apache中。rocksDB是一种键值DB.因此，如果我是对的，这意味着Flink将将所有检查点存储到使用本地磁盘的嵌入式roc
浏览 6提问于2020-05-07得票数 1
回答已采纳
我们在我们的K8s环境中部署了Flink作业集群(一个作业管理器和一个任务管理器)，并将其配置为HA模式(连接到动物园管理员)。作业是有状态的，检查点是使用RocksDB后端启用的。问题是任务管理器重新启动是正确地从上一个检查点恢复的，但是作业管理器重新启动则不是：
[flink-akka.actor.default-dispatcher-5]recover: 2018-11-27 11:23:26,531 INFO o.a.f.r.c.ZooKeeperCompletedCheckpointStore Recovering checkpoints from ZooKeeper.
[flin
浏览 0提问于2018-11-27得票数 1
回答已采纳
我正在运行一个具有以下配置的flink docker镜像。 version: '2.1'
services:
jobmanager:
build: .
image: flink
volumes:
- .:/usr/local/lib/python3.7/site-packages/pyflink/lib
hostname: "jobmanager"
expose:
- "6123"
ports:
- "8081:8081"
comma
浏览 121提问于2020-10-11得票数 1
我们运行Flink在Kubernetes 1.8在AWS。几个月来一直很好。我已经设置了一个新的k8s集群。除了我们启用了Calico (而不是只使用Flannel)之外，一切都一样。
就像Flannel一样，Calico为我们提供了集装箱之间的网络。
启用Calico之后，Flink客户端在试图向作业管理器发送jar文件时会收到此错误：
org.apache.flink.client.program.ProgramInvocationException:程序执行失败:无法将jar文件上载到作业管理器。导致: java.io.IOException:无法检索JobManager的blob端口
浏览 0提问于2018-03-27得票数 0
主程序是消费kafka事件，然后过滤-> map -> keyBy -> -> sink。我编写了另一个单独的简单程序来读取检查点目录，如下所示： object StateReader extends App {
val path = "file://...."
val env = ExecutionEnvironment.getExecutionEnvironment
val chk = Savepoint.load(env.getJavaEnv, path, new FsStateBackend(path))
val ds
浏览 19提问于2020-10-27得票数 0
回答已采纳
我刚接触过flink，对于状态后端配置有一些困惑。
据我所知，RocksDB将应用程序的所有状态保存在文件系统上。我使用s3来存储状态，所以我配置了state.checkpoints.dir和state.savepoints.dir，指向我的s3桶。现在，我看到了另一个与RocksDB存储相关的选项，称为state.backend.rocksdb.localdir。这样做的目的是什么？(我看到我不能使用s3 )如果RocksDB使用本地机器存储的东西，当我使用Kubernetes和我的吊舱突然失败的时候会是什么？我应该使用持久存储吗？
还有一件事，我不确定我是否正确地理解了所有的状态。检查点能
浏览 0提问于2020-01-12得票数 1
回答已采纳
我无法设法使TaskManager与码头群堆栈上的JobManager通信。
用于stack.yml的docker stack deploy文件的内容如下：
version: "3"
services:
jobmanager:
image: affo/flink:1.1.3
ports:
- "48081:8081"
command: jobmanager
networks:
- my-net
deploy:
mode: replicated
replicas:
浏览 0提问于2017-02-08得票数 4
第一次尝试玩flink码头形象。我听从的指示，上面写着
您可以运行JobManager (母版)。
$ docker run --name flink_jobmanager -d -t flink jobmanager
您还可以运行TaskManager (worker)。注意，工作人员需要直接或通过JobManager注册，这样主服务器就开始发送任务给他们执行。
$ docker run --name flink_taskmanager -d -t flink taskmanager
有人能解释一下这个任务管理器是如何从这些命令中向职务经理注册的吗？
谢谢
浏览 3提问于2020-03-20得票数 2
回答已采纳
2回答
我尝试在Flink 1.4上提交一个作业，并得到以下异常。
知道怎么解决这个问题吗？
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobManager.scala:897)
at org.apache.flink.runtime.jobmanag
浏览 4提问于2017-12-21得票数 6
回答已采纳
我想在我的工作中添加一个JVM选项。因此，我在flink- line . the中添加了以下一行：
env.java.opts: "-Dspring.config.location=/root/application.properties"
当我使用命令./start-local.sh启动flink时，jobmanager和taskmanager很好地加载了JVM选项：
JobManager日志：
org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
org.a
浏览 0提问于2018-03-01得票数 0
回答已采纳
我在flink- line .line中添加了以下一行：
env.java.opts：“-Ddy.pros.path=/PATH/TO/PROPS/FILE”
在启动作业管理器(jobmanager.sh启动集群)时，我在日志中看到确实识别了jvm选项。
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanage
浏览 6提问于2017-02-20得票数 8
回答已采纳
1回答
我正在使用flink-1.4.0对接器，类似于：
version: '3'
services:
jobmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
volumes:
- /home/yeyunlong/work/flink/flink-jar:/var/log/mongodb
environm
浏览 0提问于2018-01-26得票数 0
回答已采纳
我正在尝试恢复作业，并在作业管理器关闭而我无法成功重新启动作业时进行状态。
根据我的理解，TaskManager恢复是由JobManager辅助的(这是预期的)，而JobManager恢复是通过Zookeeper完成的。
我想知道是否有一种方法可以在没有zookeeper的情况下恢复作业管理器？
我使用docker进行设置，所有检查点和保存点都保存到映射的卷中。
当所有作业管理器都宕机时，flink是否能够恢复？我可以等待单个JobManager重新启动。
当我重新启动作业管理器时，我得到了以下异常：org.apache.flink.runtime.rest.NotFoundException
浏览 16提问于2018-09-07得票数 1
回答已采纳
我在纱线上运行flink作业，我们在命令行中使用"fink run“将作业提交给纱线，有一天我们在flink作业上出现了异常，因为我们没有启用flink重新启动策略，所以它只是失败了，但是最终我们从纱线应用程序列表中发现作业状态是”成功的“，我们期望它”失败“。
Flink CLI日志：
06/12/2018 03:13:37 FlatMap (getTagStorageMapper.flatMap)(23/32) switched to CANCELED
06/12/2018 03:13:37 GroupReduce (ResultReducer.reduceGroup)(31/3
浏览 1提问于2018-06-14得票数 1
回答已采纳
当使用Flink1.4，JDK 1.8.0_151，以及Kafka和表查询时，我得到了以下异常。从日志中看，BlobServer似乎是先启动后关闭。我有一种感觉，它与缺失的依赖项有关？
我的build.gradle：
dependencies {
compile group: 'log4j', name: 'log4j', version: '1.2.17'
compile 'org.apache.flink:flink-java:1.4.0'
compile 'org.apache.flink:flink-streami
浏览 0提问于2018-01-12得票数 2
我正在尝试使用docker-compose进行Flink Per-Job部署。 配置： version: "2.2"
jobs:
jobmanager:
build: ./
image: flink_local:1.1
ports:
- "8081:8081"
command: standalone-job --job-classname com.organization.BatchJob
environment:
- |
FLINK_PROPERTIES=
浏览 37提问于2020-08-10得票数 0
我有一个flink JobManager，只有一个TaskManager运行在Kubernetes之上。为此，我使用Service和Deployment来表示TaskManager和replicas: 1。
apiVersion: v1
kind: Service
metadata:
name: flink-taskmanager
spec:
type: ClusterIP
ports:
- name: prometheus
port: 9250
selector:
app: flink
component: taskmanager
the Depl
浏览 5提问于2020-09-24得票数 0
回答已采纳
我目前正在尝试将Flink嵌入到一个Play Framework项目中。但是，当我尝试执行Flink文档中的WordCount示例时，我得到了这个错误：
play.api.http.HttpErrorHandlerExceptions$$anon$1: Execution exception[[JobExecutionException: Cannot initialize task 'DataSink (collect())': Deserializing the OutputFormat (org.apache.flink.api.java.Utils$CollectHel
浏览 12提问于2016-09-02得票数 2
最近，我用Docker-compose.Here启动了一个flink集群。下面是我的文件：
version: "2.1"
services:
jobmanager:
image: flink:1.9.2-scala_2.11
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
浏览 6提问于2020-05-29得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
