Flink:如何配置Flink，使Taskmanagers在失败后自动重启？
Flink是一个流式处理框架，可以用于实时数据流处理和批处理任务。要配置Flink使Taskmanagers在失败后自动重启，可以按照以下步骤进行操作：
- 打开Flink的配置文件flink-conf.yaml。
- 找到并编辑以下配置项：
- 找到并编辑以下配置项：
- 其中，
<Zookeeper集群地址>是Zookeeper集群的地址，用于存储Flink的状态信息。 - 保存配置文件并重启Flink集群。
配置完成后，Flink的Taskmanagers将会在失败后自动重启。这是因为配置了Flink的恢复模式为standalonesession，并指定了Zookeeper集群的地址用于存储状态信息。当Taskmanager失败时，Flink会将任务状态保存到Zookeeper中，并在Taskmanager重新启动时从Zookeeper中恢复任务状态。
Flink的优势在于其高吞吐量、低延迟和良好的容错性，适用于大规模数据处理和实时分析场景。推荐的腾讯云相关产品是腾讯云流计算TencentDB for Tendis和腾讯云消息队列CMQ，可以与Flink结合使用，提供可靠的数据存储和消息传递服务。
腾讯云流计算TencentDB for Tendis是一种高性能、高可靠的分布式数据库，适用于实时数据处理和缓存场景。它提供了自动故障转移和数据持久化功能，可以与Flink的状态后端进行集成，实现任务状态的持久化和恢复。
腾讯云消息队列CMQ是一种高可靠、高可用的消息队列服务，适用于异步消息传递和事件驱动的场景。它提供了消息持久化、消息顺序保证和消息重试等功能，可以与Flink的事件时间处理和异步数据流处理结合使用，实现可靠的消息传递和处理。
更多关于腾讯云流计算TencentDB for Tendis和腾讯云消息队列CMQ的详细信息和产品介绍，请参考以下链接：
- 腾讯云流计算TencentDB for Tendis：https://cloud.tencent.com/product/tendis
- 腾讯云消息队列CMQ：https://cloud.tencent.com/product/cmq
相关·内容
我正在阅读关于任务失败恢复的Flink官方文档：
据我理解，这个文档告诉我们，如果某个任务由于某种原因而失败，Flink可以借助检查点机制来恢复它。
现在我还有两个问题：
，如果TaskManager失败了怎么办？据我理解，任务分配给一个或多个插槽，插槽位于一个或多个TaskManagers上。在阅读了上面的文档之后，我知道Flink可以恢复一个失败的任务，但是如果一个TaskManager失败了，会发生什么呢？弗林克也能恢复吗？如果一个失败的TaskManager可以恢复，那么分配给它的任务会在恢复后自动继续运行吗？
，如果JobManager失败了怎么办？如果JobManager失败了，所
浏览 2提问于2020-07-29得票数 1
回答已采纳
我使用“在纱线上运行单个Flink作业”模式在纱线上运行flink作业，命令如下所示：./bin/flink运行-m -yn --yn 5./-yn/batch/WordCount.jar
问题是：
无论我如何修改参数：' -yn‘(-yn 2/-yn 3/-yn 4.)，纱线集群只为我的工作创建1 TaskManager和1 JobManager。我的纱线集群只有3个节点(一个resourceManager，两个nodeManager)，我认为flink的纱线客户端可能会发现只有两个nodeManager，因此客户机只创建了两个管理器，一个是作业管理器，一个是任务管理器。
我
浏览 1提问于2018-09-14得票数 2
1回答
根据Flink的文档，我们可以在Kubernetes之上部署一个独立的Flink集群，使用Flink的独立部署，或者使用本地Kubernetes部署在Kubernetes上部署Flink。
文件上说
我们通常建议新的用户使用本地Kubernetes部署在Kubernetes上部署Flink。
是因为本地Kubernetes更容易开始，还是因为独立模式是一种遗产？
在本机Kubernetes模式中，Flink能够根据所需资源动态分配和取消分配TaskManagers。在独立模式下，任务管理器必须手动配置。
在我看来，本地的Kubernetes模式是一个更好的选择。
浏览 7提问于2022-01-05得票数 1
我是弗林克的新手。
我刚在本地电脑上安装了Flink，并提交了一份Flink作业。在Flink web UI TaskManagers菜单中，我可以看到path, id是"akka://flink/user/taskmanager“
我想知道这意味着什么。
浏览 1提问于2018-06-14得票数 0
回答已采纳
我正在设置一个使用ZooKeeper和3个TaskManagers的JobManager HA集群。我在kubernetes中这样做，并且需要JM通过全主机名(hostname -f而不是hostname)来寻址to，因为它们是在有状态集中。 目前，似乎TMs将他们的地址报告给JM只是作为nostname… 2019-04-12 08:58:32,426 WARN akka.remote.ReliableDeliverySupervisor - Association with remote system [akka.tcp://flink-m
浏览 141提问于2019-04-13得票数 0
2回答
我是Apache的新手，我正在研究Apache的例子。我发现，在失败的情况下，Flink能够从检查点恢复流处理。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(10000L);
现在，我的问题是，在默认情况下，Flink在哪里保留检查点？
任何帮助都是非常感谢的！
浏览 0提问于2018-05-13得票数 2
回答已采纳
我正在运行带有3个m5.x大节点(1个主节点，2个核心)和Flink 1.8的EMR集群(emr-5.24.1)。
在主节点上，我使用以下命令在纱线集群中启动Flink会话：
flink-yarn-session -s 4 -jm 12288m -tm 12288m
这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它。
在启动期间，有一个日志：
org.apache.flink.yarn.AbstractYarnClusterDescriptor - Cluster specification: ClusterSpecification{maste
浏览 0提问于2019-07-08得票数 0
回答已采纳
我想做的是
对于一个大学项目，我正在尝试使用不同的配置(1节点、2节点、4节点、CPU内核的变化量等)比较Apache和Apache流性能(吞吐量、延迟)。
为此，我创建了一个包含~ 15.000 Tweets的twitter数据集，每个tweet都由一个换行符分隔。
问题
据我所知，Kafka遵循“生产者-卡夫卡集群/经纪人-消费者”的模式，为了对延迟进行基准测试，我将测量每一张唱片的生产者和消费者之间的时间。
问题是，据我所知，Apache Flink缺乏生产者模式的能力--似乎我必须为数据流指定一个source，然后TaskManagers (“使用者”)将获取并处理该数据流。
这使我很
浏览 0提问于2021-04-15得票数 0
1回答
我有一个FlinkV1.2设置，在它自己的VM中有1个JobManager，2个TaskManagers。对于上述每个主机，我将状态后端配置为文件系统，并将其指向本地位置( file:///home/ubuntu/Prototype/flink/flink-checkpoints).：state.backend.fs.checkpointdir我已经将parallelism设置为1，并且每个任务管理器都有一个插槽。然后，我在JobManager上运行一个事件处理作业，将它分配给一个TaskManager。我杀死了运行作业的TaskManager，在失败的TaskManager上进行了几次不成功
浏览 25提问于2017-03-08得票数 0
假设一个集群被设置为> 1，那么配置任务管理器中任务槽数的最佳实践是什么？
每个任务槽运行多个TM
运行具有多个任务槽的单个/少数TM
我们正在运行1.6.3版本的Flink集群。Flink 1.7发布说明指出："Flink现在适当地支持具有多个插槽的TaskManagers“。是否建议在以前的版本中用一个插槽启动它们？
浏览 1提问于2019-03-21得票数 2
回答已采纳
我用Flink独立运行我的应用程序，但在控制台或FLINK_HOME/log中找不到它的sysout。
有人知道我在哪里可以看到我的应用程序调试日志吗？如何知道我的应用程序运行在哪个TMs上？
浏览 3提问于2015-08-20得票数 10
回答已采纳
在Flink中，据我理解，如果需要，JobManager可以将一个作业分配给多个带有多个插槽的TaskManagers。例如，可以使用五个插槽为一个作业分配三个TaskManagers。
现在，我说，我执行一个TaskManager(TM)有三个插槽，这是分配给3G内存和一个CPU。
这完全等同于执行三个TaskManagers，共享一个CPU，每个CPU分配给1GRAM吗？
case 1
---------------
| 3G RAM |
| one CPU |
| three slots |
| TM |
---------------
case 2
浏览 0提问于2020-06-11得票数 1
回答已采纳
我已经设置了Flink集群，我希望能够查看JobManager和TaskManagers的日志和标准输出。当我转到web时，我会在相应的选项卡上看到以下错误消息：
JobManager:
Logs
(log file unavailable)
Stdout
(stdout file unavailable)
TaskManager
Logs
Fetching TaskManager log failed.
Stdout
Fetching TaskManager log failed.
我可以看到可
浏览 7提问于2017-05-25得票数 1
回答已采纳
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。 我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。 我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。 env.setStateBackend(new FsStateBackend("file:///C://Users//folder"));
env.enableCheckpointing(10L);
浏览 44提问于2019-01-23得票数 5
我一直在尝试从以前的检查点重新启动Apache Flink，但没有太多运气。我已经将代码上传到GitHub，下面是主类：https://github.com/edu05/wordcount/blob/restart/src/main/java/edu/streaming/AppWithKafka.java 这是一个简单的字数统计程序，只是我希望程序在重新启动后继续它已经计算的计数。 我已经阅读了文档，并尝试了一些东西，但一定有什么愚蠢的东西遗漏了，谁能帮帮忙？ 另外:最终目标是将wordcount程序的输出生成一个压缩的kafka主题，我如何通过首先消费压缩的主题来加载应用程序的状态，在这种
浏览 10提问于2019-04-22得票数 0
我们在一个独立的五个节点集群上运行Flink。/tmp/目录一直填充以blobstore--*开头的目录。这些目录非常大(大约1GB)，并且非常快地填满空间，作业由于No space left of device错误而失败。这些目录中的文件似乎是集群上运行的作业的某种形式的二进制表示形式。
这些文件是什么?我如何清理它们，使它们不被填充/tmp/导致作业失败？
Flink版本: 1.4.2
浏览 13提问于2019-02-25得票数 1
回答已采纳
我正在使用Flink v1.4.0。
我正在利用Flink的本地图形API (Gelly)来处理1200万个数据点(边缘)。我目前正在使用IntelliJ运行我的作业，它在同一个JVM中执行所有的TaskManagers和JobManager。
在加载数据、有效地生成边缘时，在运行Flink作业之前，总是会出现以下异常：
...
Connected to JobManager at Actor[akka://flink/user/jobmanager_1#XXXXXXXXXX] with leader session id XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXX
浏览 0提问于2018-04-17得票数 2
回答已采纳
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用S3桶而不是hdfs作为后端状态、检查点和动物园管理员storageDir。
Fs.s3.访问键: accessKey
Fs.s3.密钥: secretKey
state.backend:文件系统
state.backend.fs.checkpointdir: S3://桶/flink-检查点
state.checkpoints.dir: S3://桶/外部-检查点
高可用性:动物园管理员
高可用性.zookeeper.storageDir:S3://桶装/恢复
在我的JobManag
浏览 11提问于2017-03-22得票数 4
回答已采纳
3回答
我正在flink群集内运行flink流作业。我需要模拟一个作业失败的场景。我在我的源代码中引入了一个损坏的事件。当该事件发生时，我看到抛出异常的作业和任务已经从检查点重新启动。我已经设置了以下配置： restart-strategy.fixed-delay.attempts: 1
restart-strategy.fixed-delay.delay: 5 s 但这些配置并没有得到尊重。即使在第一次尝试后，任务仍在恢复。根据文档，作业应在第一次尝试后失败。我需要模拟作业失败的场景。该怎么做呢？
浏览 38提问于2020-10-13得票数 0
回答已采纳
我有一个在大型数据集上操作的Flink批处理作业。我的集群由25个节点组成，作为一个独立的集群运行。其中一个关键步骤的并行度为70，我希望每个任务管理器在该步骤中获得2到3个插槽，而实际上只使用了一半的工人，其中一些人分配了多达8个插槽(这是他们可以获得的最大值)。 除了对数据局部性的影响之外，另一个副作用是对磁盘空间的压力。由于运行所有插槽的工作进程较少，因此与将插槽分布在群集的所有节点上相比，每个插槽都必须存储更多的数据。 我是不是遗漏了什么？有没有办法强制Flink为每个作业分配尽可能多的TM插槽？
浏览 94提问于2019-03-04得票数 3
我已经写了一个非常简单的Flink流作业，从卡夫卡使用FlinkKafkaConsumer082的数据。
protected DataStream<String> getKafkaStream(StreamExecutionEnvironment env, String topic) {
Properties result = new Properties();
result.put("bootstrap.servers", getBrokerUrl());
result.put("zookeeper.connect", ge
浏览 0提问于2015-11-03得票数 2
问题: Flink应用程序无法接收和处理Kinesis connector在关闭(由于重新启动)时生成的事件
我们有以下Flink env设置
env.enableCheckpointing(1000ms);
env.setStateBackend(new RocksDBStateBackend("file:///<filelocation>", true));
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(pause);
env.getCheckpointConfig().setCheckpoin
浏览 0提问于2018-05-02得票数 0
我们的Flink工作遇到了一个很难观察的问题.
这份工作相当简单，它：
使用Flink Kinesis连接器从Kinesis读取消息
键入消息，并将它们分发给~30个不同的WindowFunctions操作符，外加几个自定义的CEP操作符
从CEP/Windows发出的消息转发给将消息写入SQS的SinkFunction
我们运行的是Flink 1.10.1 Fargate，使用的是2个4vCPU/8GB的容器，我们使用的是具有以下配置的RocksDB状态后端：
state.backend: rocksdb
state.backend.async: true
state.b
浏览 14提问于2020-10-01得票数 0
我正在使用Flink处理一些JSON格式的流数据： {"uuid":"903493290432934", "bin": "68.3"}
{"uuid":"324938722984237", "bin": "56.8"}
... 我的工作很简单： get stream from the Data Source ->将数据反序列化为字符串-> transform String to JSON object myJsonObj -> double res
浏览 26提问于2020-06-09得票数 0
回答已采纳
我正在尝试在AWS EMR群集上启动Flink批处理作业，并获得：
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: c7362754c49bdae8e9a46748d47bc180)
at org.apache.flink.client.program.rest.RestClusterClient.submitJob
浏览 524提问于2018-12-14得票数 4
回答已采纳
当flink的内部作业失败时，如何使纱线上的flink应用程序终止或失败？无论有多少作业失败，应用程序仍在运行，因此无法立即发现问题。你有什么想法吗？
浏览 1提问于2018-03-22得票数 0
1回答
我可以使用JDBCHDFC Spring Batch jobs.But将数据从我的MS sql导入到HDFS。如果该容器失败，作业不会转移到其他容器。如何继续使作业具有容错性。我使用的是spring xd 1.0.1版本
浏览 4提问于2014-12-02得票数 0
例如，在Spark中，我们可以通过以下方法将环境变量设置为executor作业
spark.executorEnv.VAR=xxx
在弗林克有可能吗？如果无法按作业设置，则也接受按群集设置。
我甚至尝试通过export VAR=xxx在$FLINK_HOME/bin/config.sh中设置变量并重新启动集群，但仍然不能工作，似乎只在主节点任务管理器中工作(我将主节点也设置为任务管理器)，其他任务管理器没有使用set变量。
$PATH**，指出，这是关于系统环境变量的问题，比如、而不是JVM选项**
浏览 2提问于2020-08-20得票数 0
回答已采纳
在我们的应用程序中，flink检查点的大小正在增加，并且永远不会以rocks db作为状态后端。(AWS KDA)
Kafka-->do some magic -->ES(Sink)-->Writes to kafka
这里我们使用的键是UUID，并且不会重复。如何配置以确保检查点大小不会增加，或者对db进行微调以删除少于1天的任何较旧的密钥。
浏览 3提问于2021-03-01得票数 0
我已经部署了Flink集群，并行配置如下：
jobmanager.heap.mb: 2048
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 5
parallelism.default: 2
但是，如果我尝试运行任何示例或jar，即使使用-p标志，我也会收到以下错误：
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:
Not enough free slots available to run the job. You can
浏览 7提问于2016-03-25得票数 11
我有一个flink JobManager，只有一个TaskManager运行在Kubernetes之上。为此，我使用Service和Deployment来表示TaskManager和replicas: 1。
apiVersion: v1
kind: Service
metadata:
name: flink-taskmanager
spec:
type: ClusterIP
ports:
- name: prometheus
port: 9250
selector:
app: flink
component: taskmanager
the Depl
浏览 5提问于2020-09-24得票数 0
回答已采纳
我在kubernetes v1.15.2中使用apache v1.10.0，现在我可以成功地运行flink作业并保存历史任务。现在的问题是，我上传的jar存储在apache的荚中。因为豆荚主存储器只有很小的40 the，已经使用了30 the +。现在，我希望上传的jar可以存储在NFS中。我已经在当前任务管理器的/opt/data目录中挂载了PV，但是该文件没有存储在NFS中。
我应该写什么配置使上传的jar文件存储在NFS中，并释放我的主机空间？这是当前I am config：
web.upload.dir: /opt/flink/data/jars
我试过这样做，但失败了：
web.up
浏览 2提问于2020-05-03得票数 0
回答已采纳
我有一个flink流作业连续运行在纱线上。我看不到运行作业的任何应用程序日志。我只有在作为独立的java程序运行时才会得到日志。
浏览 0提问于2017-04-04得票数 1
我可以将流部署到Apache的独立安装(使用一个JobManager和多个TaskManagers)，没有问题：
bin/flink run -m example-app-1.stag.local:6123 -d -p 4 my-flow-fat-jar.jar <flow parameters>
但是，当我运行相同的命令并部署到独立的HA集群时，这个命令会引发错误：
------------------------------------------------------------
The program finished with the following except
浏览 7提问于2016-04-14得票数 1
回答已采纳
我有一个简单的Flink作业，它从ActiveMQ源代码和接收器读取到数据库和打印。我使用2 TaskManagers在Kubernetes中部署作业，每个任务的Task Slots为10 (taskmanager.numberOfTaskSlots: 10)。我配置的并行性超过了可用的总TaskSlots (本例中为10 )。
当我看到Flink Dashboard时，我看到这个作业只在一个TaskManager中运行，而另一个TaskManager没有乔布斯。我验证了这一点，我检查了每个操作符的预定位置，在Task Manager UI页面中，其中一个管理器有所有的空闲插槽。我附上以下图片
浏览 2提问于2020-03-06得票数 2
我正尝试在我的POM.xml文件中添加Flink Table依赖项，下面是依赖项。 <dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table</artifactId>
<version>1.10.1</version>
</dependency> 这将抛出缺少工件org.apache.flink:flink-table:jar:1.10.1的错误 我的flink版本是1.10.1，我从here
浏览 38提问于2020-06-28得票数 0
回答已采纳
有时(假设发生了一些错误) NSURLSessionUploadTask对象开始上传(从零字节开始)。如何避免这种行为？我宁愿让它进入失败的状态。我可以在应用程序处于活动状态时取消它，如果我从委托获得的totalBytesSent小于之前的话。但如果处于后台模式，则不会收到任何消息。
浏览 2提问于2014-08-15得票数 2
我们在应用程序模式下的Kubernetes上运行Flink作业，问题是当作业完成/停止时，作业管理器容器将退出，但1.任务管理器的部署2.作业管理器服务3.删除将仍然存在，除非我们运行kubectl configMap来清除它。
如果我们手动停止作业，这并不是什么大问题，但如果我们的Flink作业是一个批处理作业，稍后将完成，这意味着我们需要一个外部服务来监视作业管理器容器，并在完成后清理剩余资源，这是不太实际的。
我想知道这里的最佳实践是什么？我们是否支持在Kubernetes上运行Flink批处理作业？如果是，那么Flink作业本身应该有一种方法在它完成时清理所有东西，对吗？
浏览 5提问于2021-02-20得票数 0
使用JobManager实现的恢复是使用实现的，但是如果TaskManager失败了怎么办？如何从中恢复，JobManager会自动恢复TaskManagers吗？
浏览 2提问于2016-03-11得票数 1
回答已采纳
我无法设法使TaskManager与码头群堆栈上的JobManager通信。
用于stack.yml的docker stack deploy文件的内容如下：
version: "3"
services:
jobmanager:
image: affo/flink:1.1.3
ports:
- "48081:8081"
command: jobmanager
networks:
- my-net
deploy:
mode: replicated
replicas:
浏览 0提问于2017-02-08得票数 4
2回答
我正在尝试理解.yaml文档中flink插槽和并行性配置背后的逻辑。
官方的Flink文档指出，对于cpu中的每个核心，您必须分配一个插槽，并同时将并行度提高一个级别。
但我想这只是一个建议。举个例子，如果我有一个强大的核心(例如，最新的i7具有最大的GHz)，这与拥有有限GHz的旧i7是不同的。因此，运行比我系统的cpu最大核多得多的插槽和并行度并不是不合理的。
但是，除了测试不同的配置之外，有没有其他方法可以用flink检查我的系统的最大容量？
根据记录，我使用的是Flink的批处理Python API。
浏览 4提问于2017-05-15得票数 2
1回答
我有三个物理节点，每个节点上都安装了码头。我在每个码头上配置了Mesos，马拉松，动物园管理员，Hadoop和Flink。我可以运行Mesos，马拉松，动物园管理员和hadoop，没有任何问题；我还在hdfs中创建了一个文件夹flink。顺便说一下，我配置了高可用的hadoop集群并运行，没有任何问题。但是，当我使用这个JSON文件在马拉松上运行flink时，我会在Mesos中收到失败的任务。错误如下：
应用程序状态关闭MesosSessionClusterEntrypoint失败。诊断java.io.IOException:无法为高度可用的存储(高可用性. storage )创建FileS
浏览 5提问于2019-04-30得票数 0
回答已采纳
2回答
我已经安装了Flink，Scala和sbt Flink版本: 1.9.1 Scala版本: 2.10.6 Sbt版本: 1.3.7
我在build.sbt中做了相关的更改。编译命令失败，这里是相关信息。我们非常感谢您提供的任何信息
**版本信息
osboxes@osboxes本地$ scala -version
Scala代码运行器版本2.10.6 --版权所有2002-2013，LAMP/EPFL
osboxes@osboxes $ flink --版本
版本: 1.9.1，提交ID: 4d56de8
osboxes@osboxes $ sbt -version
本项目sbt版本: 1.3.
浏览 1提问于2020-01-30得票数 1
我有一个容器化的flink集群，具有独立的JobManager和2个任务管理器。当我提交一个包含我需要的连接器和代码的胖jar时，一切都会正常运行，但是一个只有我的代码的jar将失败--尽管我已经将连接器jar添加到/opt/flink/lib，容器进程显示它们将被添加到类路径中。当我试图从IDE进行远程连接时，也会发生同样的失败；不用说，每次都要打包一个胖jar，这会带来糟糕的开发体验。
我需要做什么才能让flink理解我放置在/opt/flink/lib中的额外jars应该与所有新作业一起使用？
类加载程序异常：
org.apache.flink.streaming.runtime.ta
浏览 0提问于2019-04-12得票数 1
回答已采纳
1回答
我正在考虑使用K8s部署Flink。我是Flink的新手，有一个简单的问题：
说我使用K8s来管理码头工人并将TaskManager部署到码头工人中。
据我的理解，K8s可以在它失败时重新启动一个对接器，当它失败时可以由Flink重新启动一个任务。
如果任务在停靠器容器中运行，而容器由于某种原因突然失败，在Flink视图中，任务失败，因此应该重新启动任务，而在K8s视图中，容器失败，因此应该重新启动对接器。在这种情况下，我们是否应该担心因为这两种“重新启动”而产生的冲突？
浏览 3提问于2020-05-12得票数 0
回答已采纳
1回答
我在flink中使用广播状态模式，在这里我试图连接两个流，一个流是规则的控制流，另一个流是整数流(用于虚拟播放目的)。
我有一个Rule类
public class Rule {
String id;
int val;
RuleType ruleType;
//Newly added field
//int val2 = 0;
public Rule() {}
public Rule(String id, int val, RuleType ruleType) {
this.id = id;
this.val = val;
this.ruleType = ruleT
浏览 3提问于2022-05-06得票数 0
2回答
我有一个亚马逊网络服务负载均衡器与2个ec2实例服务的应用程序接口在Python.
如果同时有10K请求进入，且AWS运行状况检查进入，则运行状况检查将失败，并且会出现502/504网关错误，原因是由于健康检查失败而导致实例重启。
我检查实例的CPU使用率，最大值为30%，内存最大值为25%。解决这个问题的最佳选择是什么？
浏览 0提问于2018-02-24得票数 0
下面是我观看的演示文稿中关于Flink优化器的幻灯片。对于Flink的优化器根据提供的数据集的基数来决定并行性的评论，我特别感到困惑。
我目前正在阅读Flink 1.4 (我正在使用的版本)文档，我似乎找不到任何关于Flink关于并行性的决定的文档。，我是否需要为Flink的优化器提供有关数据集的统计信息，以便利用这个特性？
在相关的说明中，我认为通过指定一个maxParallelism值，这可能使Flink能够动态地确定哪个级别的并行性适合于提供的数据集(如上面所详述的)。但是，我无法指定Flink 1.4文档所指定的最大并行性，这就是为什么我无法验证我的假设。对于某些上下文，我使
浏览 0提问于2019-05-20得票数 1
回答已采纳
我正试图在官方的帮助下将Flink流处理器部署到Kubernetes集群。Flink应用程序还使用Minio作为其状态后端。在我试图以下列方式提供Hashicorp Vault的凭据之前，一切都很好：
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: flink-app
namespace: default
spec:
serviceAccount: sa-example
podTemplate:
apiVersion: v1
kind: Pod
meta
浏览 20提问于2022-09-02得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
