在Apache Flink的表Api中从窗口聚合中获取部分结果

文章/答案/技术大牛

发布

1回答

apache-flink、flink-streaming、flink-sql

我正在使用Flink TableApi和sql来计算每个翻滚窗口中的不同用户，但结果仅在早于水印的时段内可见。有没有可能，在仍然可以改变的时间段内获得“部分”结果？我的代码(在Flink SQL中运行) CREATE TABLE KafkaTable `user_id` BIGINT, `event_ts` TIMESTAMP(3),

浏览 20提问于2021-11-09得票数 0

1回答

Flink Table/SQL :在会话窗口聚合之后修改行时属性

scala、apache-flink、flink-streaming、flink-sql

我希望使用Session窗口聚合，然后在Table API/Flink SQL生成的结果之上运行Tumble窗口聚合。是否可以在第一次rowtime聚合之后修改session属性，使其等于会话中最后观察到的事件的.rowtime？w.end, &

浏览 0提问于2018-10-12得票数 2

回答已采纳

1回答

Flink keyby然后窗口然后聚合所有结果？

java、apache-flink

下面是我想在Apache Flink中做的事情：获取一个输入DataStream<T>，然后按字段x设置关键字，然后执行每分钟滑动一次的15分钟滑动窗口，聚合每个键(x)的结果，然后将所有这些聚合聚合到一个列表中基本上，如果我有一个输入流，[(a, 1, Time 1), (b, 6, Time 14), (b, 1, Time 12)]，我希望<e

浏览 98提问于2019-02-08得票数 1

回答已采纳

1回答

在1.4版本的Apache* Flink DataStream上是否有与之等效的foldLeft运算符*

apache-flink、flink-streaming、flink-cep

我有一个这样的流设置，使用Apache Flink1.4，首先是DataStream，然后是keyBy，然后是window，最后是aggregate接下来我想做的是一个scala foldLeft的等价物。有没有提供这种功能的操作员。谢谢

浏览 2提问于2017-12-23得票数 2

1回答

如何将Flink中的时间窗口保存为文本文件？

java、apache-kafka、apache-flink

我开始在Java的ApacheFlink中工作。我的目标是在一分钟的时间窗口中使用一个ApacheKafka主题，这将应用非常基本的信息，并将每个窗口的结果记录在一个文件中。到目前为止，我成功地将文本转换简化应用于我接收的内容，我应该使用apply或process来写入文件，但窗口的结果我有点迷失。到目前为止

浏览 17提问于2019-11-08得票数 0

1回答

在Flink* Streaming中按键对记录进行分组并收集到ListBuffer中*

apache-flink、flink-streaming

我有一个DataStream[(String, somecaseclass)]类型的Flink DataStream。我想对Tuple的第一个字段String进行分组，并创建一个ListBuffer[somecaseclass]。以下是我尝试过的方法：inputstream .fold(emptylistbuffer){case(outputbuffer,b) => {outputbu

浏览 12提问于2017-12-28得票数 3

回答已采纳

2回答

Flink表异常:只能在时间属性列上定义窗口聚合，但遇到时间戳(6)

apache-flink、flink-streaming、flink-sql、flink-table-api

我正在使用flink 1.12.0。试图将数据流转换为表A，并在tableA上运行sql查询，以便按下面的方式通过窗口进行聚合，我使用f2列作为时间戳数据类型字段。kafka test");当我执行上述代码时，我得到线程“主”org.apache.flink.table.api.TableException中的异常:窗口聚合只能在时间属性列上定义，但是遇到时间戳在

浏览 5提问于2021-02-15得票数 0

回答已采纳

1回答

从外部应用程序查询Flink动态表

apache-flink

我有动态表API的Flink作业。我想从外部源/应用程序查询结果表，如jdbc/rest api等。

浏览 4提问于2020-05-12得票数 1

2回答

Flink窗口聚合方法在时间戳上的失败

sql、apache-flink、apache-calcite、flink-batch

我们数据库里有一张表A。我们使用flink SQL JdbcCatalog将该表加载到Flink中。DESCRIPTOR(timestamp), INTERVAL '10' minutes)) group by window_end 它抛出以下错误Exception in thread "main" org.apache.flink.table.api.ValidationException简而言之，我们希望<e

浏览 79提问于2022-11-22得票数 0

1回答

Flink中的预洗牌聚合

apache-flink、flink-streaming

我们正在将火花作业迁移到flink。我们已经在火花中使用了预洗牌聚合。是否有办法在火花中执行类似的操作。我们正在消耗来自apache kafka的数据。我们正在使用键控滚动窗口来聚合数据。我们希望在执行洗牌之前将数据聚合到flink中。

浏览 11提问于2021-08-17得票数 3

回答已采纳

1回答

Flink状态与Flink表API的连接

apache-flink、flink-statefun

我们感兴趣的是从连接到常规的Flink流应用程序，最好使用Table。这样做的想法是查阅Statefun在Flink中注册的表，是否有此可能，如何做才是正确的方法？到目前为止，我的想法是在一些主函数中初始化我的表流，并注册一个有状态函数提供程序来连接到该表： @AutoService(StatefulFunct

浏览 2提问于2020-04-11得票数 2

2回答

从flink群集外部访问flink状态的方法有哪些？

amazon-dynamodb、apache-flink、flink-streaming、flink-cep

我是Apache flink的新手，正在构建一个简单的应用程序，其中我从kinesis流中读取事件，例如 String id, Longamount对由id键控的上述流的字段amount执行聚合(sum)。该转换相当于SQL select sum(amount) from testevents group by id，其中testevents是到目前为止接收

浏览 2提问于2019-11-25得票数 0

1回答

Flink Windows -如何在新事件出现时立即发出中间结果？

apache-flink、flink-streaming、flink-sql

Flink 1.14，Java，Table + DataStream API (toDataStream/toAppendStream)。我试图:从Kafka读取事件、小时聚合(sum、count等)。并且在新事件出现时立即将结果重新插入Cassandra，换句话说，在每个新事件上创建新记录或重新计算已经存在的记录，并立即将结果汇到Cassandra。我知道，它的工作如docs中所述：与连续表上

浏览 11提问于2022-09-26得票数 0

回答已采纳

1回答

窗口触发器不返回更新最多的结果

java、apache-flink、flink-streaming

我试图测量具有窗口操作的Flink应用程序的延迟时间，如下所示： ..withTimestampAssigner((event, timestamp) -> event.getTimestamp().toEpochMilli())) 聚合函数将特定对象保存为包含提取的时间戳的累加器；这些时间戳是在kaf

浏览 2提问于2021-12-16得票数 0

1回答

Flink SQL :使用纯SQL语法连接带有时间戳的表

java、apache-flink、flink-sql

当多个表中至少有一个表具有时间属性列时，我在使用Flink中的SQL语法连接多个表时遇到了一些问题。我有一个表Table1，它使用模式(id，value1，rowtime)，当rowtime用作flink rowtime时。最后，我想使用翻滚

浏览 9提问于2019-11-12得票数 0

1回答

如何在Flink* Java中在DataStream ()之后获取keyBy密钥*

apache-flink、flink-streaming

我是从一个Flink流媒体应用程序中的Kafka集群中阅读的。在获取源流之后，我希望通过复合键和timeEvent滚动窗口聚合事件，然后将结果写入表中。问题是，在应用我的aggregateFunction (只计算clientId的点击次数)之后，我找不到获得每个输出记录的键的方法，因为<em

浏览 0提问于2019-07-08得票数 1

回答已采纳

1回答

Flink:键组91不属于本地范围

apache-flink、flink-streaming

at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:139)at org.apache.flink.streaming.ap

浏览 2提问于2018-07-17得票数 1

2回答

如何从kafka流到cassandra和递增计数器

apache-spark、cassandra、apache-kafka、apache-kafka-connect

我有apache访问日志文件，我想在cassandra表中存储每个页面的访问计数(总数/每天/每小时)。我正在尝试使用kafka连接从日志文件流到kafka主题。为了在Cassandra中增加指标计数器，我可以再次使用Kafka Connect吗？否则，这里应该使用哪些其他工具，例如kafka streams，spark，flink，kafka connect等？

浏览 0提问于2017-10-11得票数 0

3回答

Flink:带有延迟元素的水印

apache-flink、flink-streaming

我在Flink中做实时流，其中Kafka是消息队列。我正在申请120秒的EventTimeSlidingWindow。滑动1秒。我还在事件时间的每一秒插入水印。我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的窗口？

浏览 19提问于2017-01-19得票数 3

回答已采纳

1回答

org.apache.flink.api.java.io.jdbc.JDBCInputFormat不在FLINK罐子里

jdbc、apache-flink

我已经在eclipse-jee-kepler-SR2-win32-x86_64中创建了一个新的Java项目。所有的进口产品都运行得很好。我在flink-

浏览 2提问于2015-07-02得票数 1

回答已采纳

点击加载更多