我在我的Flink应用程序(版本1.11.1)中使用了事件时间语义，该应用程序在AWS - kinesis分析中运行。此应用程序的源为kinesis stream，宿为Postgres。检查点间隔为10秒，因为在notifyCheckpointComplete()上触发了DB接收器。我使用多个CoProcessFunction和ValueState来连接不同的流，然后再将其发送到Postgres。
观察到，检查点数据大小在一段时间内不断增长，而线程计数和堆内存利用率保持
浏览 20提问于2021-03-02得票数 0
1回答
我们有一个永远运行的flink作业，从kafka读取，创建滑动时间窗口(流间隔:1小时，2小时到24小时)和(幻灯片间隔:1分钟，10分钟到1小时)。基本上是its : KafkaSource.keyBy(keyId).SlidingWindow(stream，幻灯片).reduce.sink
我最近启用了rocksDB后端和incremental=true以及hdfs持久存储的检查点。从最后的4/5天开始，我正在监控工作及其运行情况，但我担心的是检查点的<e
浏览 6提问于2022-11-07得票数 0
1回答
我们正在运行一些flink作业，所有这些作业都有一个kafka源和多个cassandra接收器。我们在很大程度上依赖于具有reduce功能的时间窗口和键控数据。我们的tps目前在100-200左右。我有几个关于检查点和保存的状态大小的问题: 1.由于我们使用的是reduce函数，状态大小是否只受打开的窗口数量的影响？如果每小时窗口和分钟窗口都有相同的累加器，我们是否应该期望类似的状态大小</
浏览 46提问于2019-05-03得票数 1
1回答
我想知道是否有一种方法可以检索存储在状态后端的总状态大小。
我目前使用的是flink 1.3，高于emr和rocksdb后端，带有异步检查点和增量检查点。" checkpoints“下的flink仪表板显示状态大小，但我假设由于我使用的是增量检查点，所以我在checkpoint history页面中看到状态大小的波动。我目前使用的唯一方
浏览 2提问于2017-08-18得票数 4
在处理过程中添加了一些托管状态之后，我们发现尽管在RocksDb中使用了增量检查点，但检查点的大小和持续时间却出现了令人担忧的增长。
为了隔离这个问题，我们用源、映射操作符和接收器创建了简单的拓扑。使用上面描述的设置，我们发送了1200个事件，检查点间隔和最小暂停设置为5秒。当事件以恒定的速度和相同的状态出现时，我们预计检查点的大小或多或少是恒定的。然而，我们观察
浏览 0提问于2018-10-31得票数 1
回答已采纳
我正在使用AWS (KDA)服务运行Flink应用程序。我的KDA Flink应用程序上一个检查点的大小似乎随着时间的推移而稳步增长。当我将更改推送到应用程序时，您可以在附加的图形中看到检查点大小的突然下降，导致它获取快照、更新，然后从快照恢复。我担心的是，一旦应用程序不再被积极开发，更改就不会像以前那样定期部署，检查点的大小最终可能会增长到太大。
有人知道是什么导致检查点的大小不断增长吗？我正在对所有重要状
浏览 1提问于2020-09-21得票数 4
目前，我使用FsStateBackend作为检查点状态。我使用的是区间10，如下面的代码。但是我看到使用检查点的传输桶的成本大约是20美元/天，而aws传输s3的价格是：$0.005/1000请求=> (我使用的是~4000000请求/天@@)。我有7份工作，其中：
并在AWS EMR上运行flink。每个<em
浏览 4提问于2020-10-27得票数 0
回答已采纳
1回答
如何控制Flink检查点的大小
、、、、
我正在运行一个简单的Flink聚合作业，它从Kafka消耗，并应用多个窗口(1小时、2小时hr...upto )和特定的滑动间隔，并在窗口上进行聚合。为了克服这一问题，我们启用了检查点，并且我看到检查点的大小正在增加( HashMapStateBackend具有Hdfs存储)。对于一个永久运行的Flink作业来说，什么是最好的检查方法?我们能控制检查点的大小吗?几天后它会很大吗？
尝试启用带有Hdfs存储的HashMapStateBa
浏览 10提问于2022-11-03得票数 0
rows.writeUsingOutputFormat(jdbcOutput);119 env.execute();121 }我现在的问题是，只有当我的作业停止时(准确地说，是当我从apache flink
浏览 52提问于2017-07-19得票数 2
回答已采纳
2回答
我希望将flink store存储在HDFS中，以便在崩溃后可以从HDFS恢复flink状态。我计划每隔60秒将状态写入HDFS。我如何才能做到这一点？这是我需要遵循的配置吗？https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/state_backends.html#setting-default-state-backen
浏览 129提问于2021-11-01得票数 0
回答已采纳
1回答
Flink文档表明Ceph可以用作状态的持久存储。
考虑到Ceph是一个事务性数据库，它不会对Flink的性能产生不利影响吗？
浏览 6提问于2017-12-05得票数 3
回答已采纳
我使用的是Flink 1.14.4，对于广播状态有一个很大的检查点。说：
是我错过了什么，还是这是有意的限制，还是代码中的遗漏？
浏览 6提问于2022-11-16得票数 0
我在读书启用检查点:如果启用了检查点，则Flink消费者将在检查点完成时提交存储在检查点状态中的偏移量。这确保了Kafka代理中提交的偏移量与检查点状态中的偏移量一致。如果我在10秒间隔内启用检查点，也可以将have setCommitOffsetsOnCheckpoints设置为true，并在Kafka使用者属性中设置enable.auto.commit=true和一次从fl
浏览 0提问于2021-06-25得票数 0
回答已采纳
我认为checkpoint仅在Flink中用于运行应用程序时的容错，即应用程序本身正在运行，但是任务或其他事情可能会失败，也就是说，Flink将使用checkpoint进行状态恢复？
浏览 3提问于2019-02-04得票数 2
--通过将状态后端从文件系统更改为rocksdb解决了问题-- 在AWS EMR上运行Flink 1.9。Flink app使用kinesis流作为输入数据，使用另一个kinesis流作为输出。最近，检查点大小已增长到1 to (由于数据更多)。有时，在尝试获取检查点期间，应用程序开始利用整个处理器资源(一天发生几次) 指标： LA (emr ec2 core node with job/task managers) Run Loop Time{"level"
浏览 238提问于2020-08-28得票数 2
回答已采纳
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。
浏览 44提问于2019-01-23得票数 5
我的流式flink作业的检查点时间平均为2-3s(15-20%的时间)和3-4分钟(8-12%的时间)和2分钟。我们有两个操作符，它们是有状态的。这两种方法使保存点的状态约为1-1.5 3gb，检查点的状态约为800MB-6 3gb(平均为3 3gb)。我们有30秒的翻滚处理窗口。检查点持续时间和两个检查点之间的最小停顿时间为3分钟。对于flink来说，有足够的cpu和</
浏览 1提问于2020-03-12得票数 0
1回答
我的flink作业使用FlinkKafkaConsumer010从kafka consumer读取数据，并使用CustomBucketingSink接收到hdfs。检查点持续时间和两个检查点之间的最小停顿是3分钟，我使用的是FsStateBackend。以下是我的假设：
Flink从kafka消耗一些固定数量的事件(一次从多个分区获得多个偏移量)，并等待，直到它到达接收器，然后是检查点。在失败的情况下，flink转到以前的检查点状态，
浏览 0提问于2020-03-12得票数 0
我的有状态函数是将数据写入数据库，但它是不确定的，因此从检查点恢复可能会导致数据库包含不一致的数据。我的想法是在Flink的持久化状态下“缓冲”数据，只有在检查点完成后才将数据写入数据库。我想我可以通过使用context.sendAfter(Duration duration, Address address, Object input);来实现这一点，通过设置高于检查点间隔的持续时间。有没有更好的解决方案可以让函数显式地对检查点做出反应？
浏览 61提问于2020-08-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
