例如，如果我窗口一些数据和.aggregate，如果系统宕机，我创建的聚合器是否会重置？
浏览 10提问于2019-04-11得票数 0
回答已采纳
1回答
我们正在将火花作业迁移到flink。我们已经在火花中使用了预洗牌聚合。是否有办法在火花中执行类似的操作。我们正在消耗来自apache kafka的数据。我们正在使用键控滚动窗口来聚合数据。我们希望在执行洗牌之前将数据聚合到flink中。
浏览 11提问于2021-08-17得票数 3
回答已采纳
Flink 1.14，Java，Table + DataStream API (toDataStream/toAppendStream)。并且在新事件出现时立即将结果重新插入Cassandra，换句话说，在每个新事件上创建新记录或重新计算已经存在的记录，并立即将结果汇到Cassandra。但是任务在窗口间隔结束后(每1小时)将结果发送给Cassandra。我知道，它的工作如docs中所述：
与连续表上的其他</em
浏览 11提问于2022-09-26得票数 0
回答已采纳
下面是我想在Apache Flink中做的事情： 获取一个输入DataStream<T>，然后按字段x设置关键字，然后执行每分钟滑动一次的15分钟滑动窗口，聚合每个键(x)的结果，然后将所有这些聚合聚合到一个列表中基本上，如果我有一个输入流，[(a, 1, Time 1), (b, 6, Time 14), (b, 1, Time 12)]，我希望结果是[(a, 1),
浏览 98提问于2019-02-08得票数 1
回答已采纳
1回答
Apache通过从检查点恢复作业来保证在故障和恢复时处理一次，检查点是分布式数据流和操作符状态的一致快照(Chandy-Lamport算法用于分布式快照)。此保证在故障转移时恰好是一次。在正常的集群操作中，Flink如何保证只处理一次，例如给定从外部源读取的Flink源(例如Kafka)，Flink如何保证事件从源读取一次？事件源和Fli
浏览 3提问于2020-09-30得票数 3
回答已采纳
1回答
我试图测量具有窗口操作的Flink应用程序的延迟时间，如下所示： .1639651979870
返回的时间戳不像我预期的那样间隔相等，第四和第五个时间戳是相等的，但是返回时间间隔为15秒，这是不可能的，因为应用程序记录的输入每秒钟连续生成一次(每秒10次)
浏览 2提问于2021-12-16得票数 0
1回答
流数据处理连接不同的两个延迟
、、、、
我们有两个事务，但是我们需要为将来的情况配置它们。我很好奇你对这个过程的想法。(我是流媒体数据新手)我们有Flink和KStreams环境。这两个事务有两个不同的延迟。如果没有延迟限制，如何确保输出流中数据的完整性?如果我们知道存在60秒的最大延迟，并且有一个限制，不能将对象保存在内存中，那么如何确保输出流中数据的完整性？
浏览 8提问于2022-07-28得票数 0
回答已采纳
我是弗林克的新手。我有一个Flink流媒体程序，在10秒的会话窗口中计算出卡夫卡的一些内容。会话窗口默认触发器为FIRE。Flink流会在内存中保留每个窗口的全部kafka消息吗?还是只保留聚合的结果。
如果我使用FIRE_AND_PURGE，什么会被清除？
浏览 4提问于2019-02-19得票数 2
回答已采纳
我有一个DataStream，需要在它上面计算一个窗口聚合。当我执行常规窗口聚合时，网络IO非常高。因此，我希望执行本地预聚合，以减少网络IO。我想知道是否有可能在本地对任务管理器进行预聚合(即，在混洗记录之前)，然后执行完整的聚合。使用Flink的DataStream应用程序接口可以做到这一点吗？我的代码是：
DataStream<String> dataIn = .
浏览 25提问于2017-12-15得票数 2
在Apache Flink中定义和执行我的流处理器的作业图之前，我想运行一些初始化代码，例如，用于创建Kafka主题，我将其用作作业图中的接收器。然而，当流处理器从保存点恢复时，例如在对流处理器的更新期间，该初始化代码不应在其上运行。有没有办法以编程方式检查作业是否从保存点启动？
浏览 5提问于2020-05-19得票数 1
我有一些困难，了解窗口是如何在内部实现Flink，并没有找到任何文章，以解释这一点的深入。在我看来，有两种方法可以做到。考虑下面一个简单的窗口字计数代码 .flatMap(new Splitter())方法1:将所有事件存储500秒，在窗口的</em
浏览 6提问于2022-01-17得票数 0
回答已采纳
我们已经开发了一个Flink应用程序，它接收具有字段的消息，例如Flink应用程序中的id, value1, value2, ...，它们由id键控，并分配不同大小的滑动窗口和10秒的slide。Redis来使用和显示统计数据，并且每10秒更新一次结果。但每次此id的新值到达时，将创建30个(300s/10s)窗口，并且这些窗口具有相同
浏览 12提问于2021-01-12得票数 1
回答已采纳
3回答
我在Flink中做实时流，其中Kafka是消息队列。我正在申请120秒的EventTimeSlidingWindow。滑动1秒。我还在事件时间的每一秒插入水印。我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的窗口？
浏览 19提问于2017-01-19得票数 3
回答已采纳
2回答
我们的Flink Job包含一个过滤器，按会话id键，然后是间隔30分钟的会话窗口。会话窗口将需要累积会话的所有事件，并使用ProcessWindowFunction处理它们。我们使用Flink 1.9，128个容器，总共20G内存来运行我们的作业，截止率是0.3。我们正在执行增量检查点。当会话窗口开始触发process函数时，网络缓冲区使用率开始变得非常高，然后我们开始得到Kafka输入滞后。我们的设置： stat
浏览 170提问于2020-10-16得票数 1
我在我的Flink应用程序中的一个ValueState中添加了TTL到ProcessFunction中。Flink应用程序在这个ProcessFunction和其他运营商中都有多种其他类型的状态。但是，我想知道我是否可以使用AllowNonRestoredState选项从快照恢复应用程序的其余状态，让Flink跳过为我添加TTL
浏览 7提问于2020-08-21得票数 0
回答已采纳
1回答
在阅读了flink的文档和搜索之后，我不能完全理解flink是如何处理窗口中的状态的。假设我有一个每小时滚动一次的窗口，其中包含一个聚合函数，该函数将msg累积到某个java pojo或scala case类中。该窗口的大小是与在一个小时内进入该窗口的事件的数量相关，还是仅仅与pojo/case类相关
浏览 49提问于2019-03-20得票数 5
回答已采纳
我正在学习Flink框架，并处理一个流作业，它将从csv文件中读取数据，并使用DataStream API执行一些聚合。数据字段包括城市、州代码、人口值。数据将由州代码和计算出的每个密钥的总数之和来确定。输出将采用这样的格式：(州代码，人口之和)。
我当前的实现在KeyedStream上使用了一个减少函数来聚合总体。这给了我对每个键的滚动减少。我只想打印每把钥匙的最后一笔钱。我的不
浏览 2提问于2021-12-08得票数 0
1回答
我的Flink工作必须在每一次工作轮班后计算一定的聚合。，这似乎在流用例中工作得很好:转移结束后出现的第一个事件触发了最后一次转移的触发和聚合。由于没有新的元素到达通过行触发窗口触发的自定义触发器，因此没有计算上一次轮班的聚合，然而，即使在下一次轮班中没有发生任何事情，或者作业在正在进行的轮班中</em
浏览 2提问于2020-11-06得票数 0
1回答
这是一个关于flink流的两个问题，基于我自己做的实验，我需要一些澄清。问题如下：
假设我们在加窗的流上使用apply函数(做一些计算)，然后该流将创建一个DataSt
浏览 1提问于2017-03-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
