1回答
在阅读了flink的文档和搜索之后，我不能完全理解flink是如何处理窗口中的状态的。假设我有一个每小时滚动一次的窗口，其中包含一个聚合函数，该函数将msg累积到某个java pojo或scala case类中。该窗口的大小是与在一个小时内进入该窗口的事件的数量相关，还是仅仅与pojo/case类相关，因为im将事件累加到该对象中。(例如，如果将10000个msg数成一个整数，大小是否接近10000 *ms
浏览 49提问于2019-03-20得票数 5
回答已采纳
--通过将状态后端从文件系统更改为rocksdb解决了问题-- 在AWS EMR上运行Flink 1.9。Flink app使用kinesis流作为输入数据，使用另一个kinesis流作为输出。最近，检查点大小已增长到1 to (由于数据更多)。{"level":"INFO","timestamp":"2020-08-25 04:58:24,509","thread":"flink-akka.ac
浏览 238提问于2020-08-28得票数 2
回答已采纳
1回答
我们正在运行一些flink作业，所有这些作业都有一个kafka源和多个cassandra接收器。我们在很大程度上依赖于具有reduce功能的时间窗口和键控数据。我们的tps目前在100-200左右。我有几个关于检查点和保存的状态大小的问题: 1.由于我们使用的是reduce函数，状态大小是否只受打开的窗口数量的影响？如果每小时窗口和分钟窗口都有相同的累加器，我们是
浏览 46提问于2019-05-03得票数 1
1回答
我是Flink流媒体的初学者。我正在处理大约每秒5000个传入的事件，需要查找过去3天的事件窗口。我的问题是: Flink在哪里存储它的窗口数据？我会受到RAM大小的限制吗？在每秒5000字节和每个事件2000字节的情况下，我正在考虑三天窗口的非常大的存储需求。
浏览 1提问于2018-03-13得票数 0
2回答
我的flink应用程序执行以下操作
由: java.util.concurrent.ExecutionException: java.io.IOException引起的:状态的大小大于允许的最大内存支持状态。我的问题
浏览 3提问于2019-01-30得票数 2
1回答
我想知道如何检查窗口。例如，加窗口的字数： // split up the lines in pairstimeWindow(Time.seconds(2))Q1：我应该在CountFunction()中保存什么状态是否需要保存窗口的缓冲区元素？我是否应该
浏览 0提问于2018-10-30得票数 2
回答已采纳
1回答
如何控制Flink检查点的大小
、、、、
我正在运行一个简单的Flink聚合作业，它从Kafka消耗，并应用多个窗口(1小时、2小时hr...upto )和特定的滑动间隔，并在窗口上进行聚合。有时工作会重新启动，当它从最新的Kafka数据中启动窗口时，我们就会丢失数据。为了克服这一问题，我们启用了检查点，并且我看到检查点的大小正在增加( HashMapStateBackend具有Hdfs存储)。对于一个永久运行的Flink作业来说，什么是最好的检查方法?我们能控制检查点的大小吗?几天后它会很大
浏览 10提问于2022-11-03得票数 0
在我的项目中使用Flink表SQL时，我发现如果我的SQL中有GROUP BY子句，检查点的大小将大大增加。COMPANY_POST_DAY sta_date, company_name FCBOX_POST_COUNT_VIEW sta_date, company_id, company_name, TUMBLE(procTime, INTERVAL '1' SECOND)
即使没有任何消息处理，检
浏览 0提问于2019-03-19得票数 0
回答已采纳
1回答
检查点持续时间和两个检查点之间的最小停顿是3分钟，我使用的是FsStateBackend。以下是我的假设：以下是基于上述假设的我的疑虑：
1)上述假设是正确的。2)翻滚窗口是否有意义，因为在失败的情况下，无论如何我们都是从最后一个kafka分区提交的偏移
浏览 0提问于2020-03-12得票数 0
我想知道一般对查询和表使用了多少状态。首先，我使用Flink SQL处理来自Kafka主题的消息： country STRING,) WITH (, product, count(*) as `purchases` from purchases group by country, product))来自Flink状态管理的是这样说的：
从概念上讲，源
浏览 8提问于2021-12-11得票数 0
回答已采纳
例如，如果我窗口一些数据和.aggregate，如果系统宕机，我创建的聚合器是否会重置？
浏览 10提问于2019-04-11得票数 0
回答已采纳
我想知道flink如何执行窗口操作符的检查点。如何确保恢复时准确一次？例如，保存当前窗口中的元组并保存当前窗口处理的进度。我想知道窗口操作员的检查点和恢复的详细过程。
浏览 0提问于2018-12-27得票数 0
回答已采纳
1回答
让我把它说出来，我是一个非常初学者的Flink，并试图抓住尽可能多的概念。或
是任务管理人员负责所有的读取和处理。如果是这种情况，那么flink如何确保如果任务管理器无法从S3读取，
浏览 2提问于2019-10-21得票数 0
1回答
流数据处理连接不同的两个延迟
、、、、
(我是流媒体数据新手)我们有Flink和KStreams环境。这两个事务有两个不同的延迟。
如果没有延迟限制，如何确保输出流中数据的完整性?
浏览 8提问于2022-07-28得票数 0
回答已采纳
我正在使用window API将数据划分为1小时的窗口。在每个窗口中，我使用一个值状态来存储每个窗口的布尔值。BooleanUtils.isTrue(windowAlertedState.value())) { }
浏览 0提问于2020-10-29得票数 0
更清楚的是，如果我在AWS中运行一个作业管理器和5个任务管理器(每个实例一个任务管理器)，并使用RockDB和检查点机制支持AWS，并且其中一个任务管理器实例由于某种原因被重新启动(将此实例称为X)，现在将从S3检索到一个新的节点联接(调用此实例为Y)和本地存储。现在再说一遍，假设新节点(Node )离开EKS，节点X加入Flink集群，在这种情况下会发生什么？由于Node已经具有持久状态(但是是旧状态)，f
浏览 2提问于2020-08-09得票数 0
回答已采纳
1回答
我试图理解原始状态和管理状态之间的区别。从医生那里：
托管状态以Flink运行时控制的数据结构(如内部哈希表或RocksDB )表示。Flink的运行时对状态进行编码，并将它们写入检查点。
Raw状态是运算符保存在自己的数据结构中的状态。当检查点时，它
浏览 2提问于2019-11-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
