我们在1分钟内聚合一些数据，然后将这些数据刷新到一个文件中。数据本身就像一个地图，其中key是一个对象，value也是一个对象。由于我们需要一起刷新数据，因此我们没有执行任何keyBy，因此使用了windowAll。我们面临的问题是，如果我们在ProcessAllWindowFunction中使用窗口函数，然后在进程调用中聚合，那么当我们使用聚合和窗口函数时，我们会获得更好的吞吐量。我试着浏览了代码库，我能想到的唯一假设是，对进程将使用的ListSta
浏览 20提问于2021-04-19得票数 0
回答已采纳
除了WindowAll操作之外，还有其他方法可以有效地对DataStream进行排序吗？一种选择是在聚合函数之后使用windowAll函数，并在内存中进行排序。问题是- windowAll会将并行度降低到1，并且它要求将所有数据放在同一个任务槽中以执行排序操作。理想情况下，当我们
浏览 0提问于2021-02-15得票数 0
我是Flink的新手。有时，我想在不需要先做keyBy的情况下在DataStream上进行聚合。为什么Flink不支持聚合(sum、min、max等)在DataStream上？
谢谢你艾哈迈德
浏览 1提问于2021-03-16得票数 1
1回答
如何使用flink来流json？
、、、、
我实际上是在处理一个流，接收一串字符串，需要对所有字符串进行计数。和是累加的，这意味着对于第二个记录来说，和被添加到输出的前一天必须是一个类似于json文件的文件。"aggregationType" : "day","aggregates" : [ "sum" : 120}, "su
浏览 0提问于2018-03-20得票数 3
回答已采纳
1回答
另外，在AWS动态数据分析应用程序上运行我的Flink工作我在这里所做的是从运动流中得到大量的这些事件，我希望每10秒将videoDuration加到窗口中
浏览 7提问于2021-12-13得票数 0
回答已采纳
.aggregate(<aggFunc>, <function adding window key and start wd time>) .addSink(sink)1.(<aggregated val>, key3, <window1-start-time)
窗口<
浏览 0提问于2018-12-04得票数 2
回答已采纳
1回答
我的Flink工作必须在每一次工作轮班后计算一定的聚合。我想出了一些基于GlobalWindow和自定义触发器的东西：
浏览 2提问于2020-11-06得票数 0
我正在模拟一个窗口().reduce()操作的行为，但是在任务管理器级别上没有键。有点像对流的.windowAll().reduce()，但我希望从每个任务管理器中获得单独的结果。我试着搜索"flink processFunction示例“，但是找不到任何有用的东西。
浏览 4提问于2017-10-05得票数 2
回答已采纳
我有一个高度并行化的聚合，我在多个节点上运行了很多密钥。summaryStream = myStream // parallelism is 1 by definition
.windowAll这显然是因为所有的数据都是聚合在一起的，并行性是'1‘。Flink中是否有任何当前或计划中的规定来进行更多的两层汇总，将所有数据保存在每个节点上，在将结果发送到第二层以进行最终聚合之前
浏览 3提问于2017-08-05得票数 3
我需要在一个翻滚的窗口里数数事件。但是，如果窗口中没有事件，我也希望发送0值的事件。import com.google.protobuf.Message; }并在此使用
DataStream<AggregateOuterCl
浏览 5提问于2020-06-17得票数 1
回答已采纳
1回答
我正在研究Flink中的数据倾斜处理，以及如何改变低，以便对元组进行均匀处理。我创建了合成的、倾斜的数据源，我的目标是通过窗口处理(聚合)它们。这是。addSink(new MqttStationPlatformPublisher(ipAddressSink, topic)).name(metricSinkFunction)根据Flink然而，令我惊讶的是，我无法在窗口操作中使用setParallelism(4)。文件上说
注意:这个操作本质上是非并行的，因为所有元素都必须通过同一
浏览 0提问于2019-04-10得票数 0
回答已采纳
1回答
我有一个物体坐标流(time，x，y)，我想把它转换成一个距离流，然后再转换成一个速度流。为此，我每次需要处理两个连续的消息。
浏览 10提问于2018-02-19得票数 0
回答已采纳
我正在使用Flink定义一个流作业，它从一个无限制的源(google PubSub)读取，并使用HBase接收器写入Google BigTable。该查询正在对流进行窗口化，并在将这些窗口写入BigTable之前在这些窗口上应用一些聚合函数。我们希望能够为每个子任务定义不同的并行性，前提是第二个子任务可以受益于比源子任务所
浏览 9提问于2022-04-21得票数 1
当事件时间水印时，Flink如何处理延迟的元素，我有些困惑。import org.apache.flink.api.scala._ ))
.
浏览 3提问于2018-05-01得票数 3
回答已采纳
1回答
我们正在将火花作业迁移到flink。我们已经在火花中使用了预洗牌聚合。是否有办法在火花中执行类似的操作。我们正在消耗来自apache kafka的数据。我们正在使用键控滚动窗口来聚合数据。我们希望在执行洗牌之前将数据聚合到flink中。
浏览 11提问于2021-08-17得票数 3
回答已采纳
我们希望使用Flink来维护窗口聚合，作为事务监视应用程序的一部分。它们将使用滑动窗口定义。例如：“过去5天的现金交易总额”。下面是我需要Flink应用程序做的工作: 1.通过读取历史聚合和构建windows 2来准备事务处理。对于每个新事务: a.用新的事务数据b更新窗口聚合。找到与传入时间戳匹配的窗口，并将聚合值添加到事务c。通过RabbitMQ或Kafka接收器将增强的事务(原始字段+聚合)发
浏览 5提问于2017-06-23得票数 0
2回答
闪烁和非键控窗口状态
、、、、
我正在创建一个Flink应用程序，它简单地将窗口传入的Kafka事件转发到另一个Kafka主题，并为每个窗口添加开始和结束标记-例如，对于一个包含1, 2, 3, 4, 5的1小时窗口，我会将start_timestamp据我所知，使用带有注入开始和结束标记的ProcessAllWindowFunction的windowAll()应该可以做到这一点。我的问题是关于国家管理的。我将使用RocksDb状态后端-即使对于这个无键的流，它也会保持内部窗口状态吗？我主要关心的是能够将状态保留在<e
浏览 39提问于2021-02-03得票数 0
回答已采纳
1回答
在阅读了flink的文档和搜索之后，我不能完全理解flink是如何处理窗口中的状态的。假设我有一个每小时滚动一次的窗口，其中包含一个聚合函数，该函数将msg累积到某个java pojo或scala case类中。该窗口的大小是与在一个小时内进入该窗口的事件的数量相关，还是仅仅与pojo/case类相关，因为im将事件累加到该对象中。另外，如果我使用pojos或case类，flink是否会为我处理状态(如果内存耗尽，会溢出到磁盘/在检
浏览 49提问于2019-03-20得票数 5
回答已采纳
1回答
每当应用程序收到对StatsD守护进程的请求时，都会使用StatsD。守护进程有一个刷新间隔集，当它在此期间将此计数器的聚合推送到外部后端时。此外，它还将计数器重置为0。试图把这个映射到Flink计数器。因此，应将flink计数器报告
浏览 2提问于2020-01-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
