我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时，尝试还原的所有作业都会出现相同的错误：错误信息：
遗产<e
浏览 6提问于2018-01-04得票数 2
回答已采纳
我正在尝试新的有状态函数方法，并且我已经尝试手动创建一个保存点(https://ci.apache.org/projects/flink/flink-statefun-docs-release-2.1它就像一个护身符，但我找不到一种方法来自动完成它。例如，我有几百万个密钥，我需要将它们全部写入保存点。
浏览 11提问于2020-07-26得票数 0
回答已采纳
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。
浏览 44提问于2019-01-23得票数 5
1回答
我试图在我的产品flink作业中更新keyby函数，方法是向getKey函数添加一个新的keyby值，例如keyby函数是 value.getTimestamp由: org.apache.flink.util.FlinkException:无法从1种提供的还原选项中的任何一种还原org.apache.flink.util.FlinkException的密钥状态后端引发但是，如果我继续
浏览 0提问于2021-06-16得票数 0
1回答
我试图使用Flink REST通过管道自动化Flink作业提交过程。要调用任何Flink Rest端点，我们应该了解接口IP。对于我的POC，在CLI上运行flink-session命令之后，我得到了IP，但是从代码中获得它的方法是什么呢？
requests.post(') //取消保存点</e
浏览 9提问于2022-10-12得票数 0
我的Flink流媒体工作在当地的Kubernetes中启动和运行。作业从Kafka主题中读取，对其进行一些(无状态)计算，并将其写回另一个Kafka主题。作业的检查点保存在S3中。Flink的命令行工具在单荚(副本)中部署作业，那么如何增加副本以并行地增加对数据的操作&作业的吞吐量？
浏览 21提问于2022-08-01得票数 0
2回答
我们正在部署一个新的Flink流处理作业，它的状态(存储)需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，这些数据应该在状态存储中可用。我们不希望大幅修改Flink作业来加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新它的状态存储并创建一个保存点，并使用这个保存点来初始化主Flink作业中的状态
浏览 47提问于2021-04-23得票数 0
我有一个usecase，其中我需要使用有界的RocksDB源为Flink应用程序(包括RocksDB状态和广播状态)种子，然后在种子播种完成后读取其他无界/有界的S3源。我试着用两个步骤来实现这一点：
对于步骤1:
浏览 2提问于2022-11-11得票数 1
我有一些困难，了解窗口是如何在内部实现Flink，并没有找到任何文章，以解释这一点的深入。在我看来，有两种方法可以做到。当窗口中的每个事件出现时，我们不会存储单个事件，而是继续将1添加到以前存储的计数器中，并在窗口的末尾输出结果。
是否有人能帮助您理解Flink在现实中使用的方法(或者可能是不同的方法)。
浏览 6提问于2022-01-17得票数 0
回答已采纳
我们正在使用Flink Kinesis Consumer将Kinesis流中的数据消费到我们的Flink应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。因此，下次应用程序启动时，它将从中断的位置恢复。 但是，Flink Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此，我们需要依靠ShardIteratortype (trim_horizen、latest等)来决定在
浏览 16提问于2019-02-22得票数 3
我们有一个场景，在这个场景中，我们必须将一些值保存到检查点中，并在故障恢复/应用程序重新启动期间将其检索回来。任何导致这一点的结果都将有助于使用检查点。如何放置并从检查站返回？
浏览 10提问于2022-01-19得票数 0
1回答
如果作业多次运行，flink是否缓存某些结果并重用它们？如果是这样的话，我该如何控制呢？
我想弄清楚我的任务运行了多长时间，但是每次我重新运行它们的速度都比以前快。
浏览 1提问于2021-12-06得票数 0
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
我正在使用python编写一个Apache应用程序。我正在寻找通过REST POST/GET调用调用现有有状态函数的帮助/指针。
我在这里提到了，似乎已经定义了一个新的类型来完成这个任务。
浏览 9提问于2022-03-28得票数 0
回答已采纳
我们试图迁移到Flink 1.11，从1.10中的保存点恢复作业。作业代码没有更改，只将依赖项的Flink版本更新为1.11 (在SBT中，我们使用Scala)并重新构建jar。所有运算符都有uids，如果在1.10集群上运行，作业将正确地从该保存点恢复，我们将得到以下异常，并且不知道： at org.apache.flink
浏览 8提问于2020-09-08得票数 0
env
我在流处理中使用Flink应用程序。阅读卡夫卡的主题，并将其转化为卡夫卡的新主题。当我用新版本的代码和部署更改应用程序时，涉及到应用程序执行失败。
如果在更改应用程序代码后部署相同的group.id，是否会与以前的状态检查点信息发生冲突？
浏览 3提问于2021-06-17得票数 1
回答已采纳
我使用状态处理器-api，因为它被发布来引导我的flink状态。我使用RocksDBStateBackend，它可以工作。我们最近去了flink 1.13，RocksDBStateBackend遭到了反对，转而支持EmbeddedRocksDBStateBackend。Size=85356498，maxSize=5242880 .考虑使用不同的状态后端，如文件系统状态后端。在此，我宣布我的州后端：
val backend = new EmbeddedRocksDBSta
浏览 3提问于2021-07-09得票数 5
回答已采纳
我想分析一下Flink对RocksDB进行的每个应用程序接口调用所用的时间。但是，我找不到这些函数。我尝试在IDE中设置Flink的完整源代码，将我的流式示例集成到源代码中，启动调试器并执行许多调用，但都是徒劳的。示例如下： package org.apache.flink.streaming.examples.spendreport;
import org.apache.flink.streaming.api.datastream.DataStre
浏览 21提问于2020-07-27得票数 0
回答已采纳
然后，我在流中实现了一些更改，并希望对它们进行部署。
有人能一步一步地解释我如何正确地将新版本的流部署到Apache集群(没有停机、松散状态等)吗？我没有在正式文档中找到部署过程的描述。
浏览 4提问于2016-03-21得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
