flink实现批流一体化

批流一体化是指将批处理和流处理结合在一起，以便更有效地处理大量数据。Apache Flink 是一个流处理框架，它可以通过批处理 API 来实现批流一体化。

Flink 的批处理 API 允许用户将批处理作业转换为流处理作业，从而实现批流一体化。这意味着用户可以使用相同的代码处理批处理和流处理数据，从而避免了重复编写代码的麻烦。

Flink 的批处理 API 提供了一些有用的功能，例如 checkpointing 和 savepoints，这些功能可以帮助用户更好地管理和监控作业的状态。此外，Flink 还提供了一些内置的算子，例如 map、filter、flatMap 等，这些算子可以帮助用户更加简单地处理数据。

总之，Flink 是一个非常强大的流处理框架，它可以通过批处理 API 实现批流一体化，从而更好地处理大量数据。

页面内容是否对你有帮助？

有帮助

没帮助

PyFlink性能与Scala的比较

pyspark、apache-flink、spark-streaming、pyflink

如何将PyFlink性能与Flink + Scala进行比较？因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark流的延迟会更少吗？它比Scala编写的Flink代码慢吗？在什么情况

浏览 3提问于2021-11-05得票数 1

回答已采纳

1回答

Flink卡夫卡流相对于星火卡夫卡流的好处？卡夫卡流过弗林克？

apache-kafka、spark-streaming、apache-storm、apache-flink、apache-kafka-streams

在火花流中，我们设置了几乎实时的微批处理的批处理间隔。在Flink (DataStream)或Storm中，流是实时的，所以我想没有这样的批处理间隔的概念。在卡夫卡，消费者在拉，我想象星火使用批参数从卡夫卡经纪人提取消息，那么Flink和Storm是如何做到的呢？我设想Flink和Storm在一个快速循环中拉出Kafka消息形成实时流源，如果是这样的话，如果我将火花批处理间隔设置为100 as、50 as甚至更小，那么我们是否与Flink或Storm之

浏览 5提问于2016-10-24得票数 7

回答已采纳

1回答

Apache Flink存储

apache-flink

在处理了这数百万的事件/数据之后，哪里是保存信息的最佳地方？我看到一个关闭的提到了Parquet格式，但是，默认的是HDFS吗？我关心的是储蓄后(哪里？)如果它是容易的(快！)才能检索到数据？

浏览 3提问于2015-08-11得票数 5

1回答

当流不重要时

apache-spark、apache-flink

最近，我一直在比较火花和Flink的一个全新的项目。在这个项目中，流功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后，我将在数据分析中应用ML和数据挖掘。在搜索时，我发现很多文章，演示和视频声称Flink是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面，星火是(或曾经？)非常流行，并广泛部署在非常大的生产系统。我的问题是：对于我的用例来说，流并不重要，我是拥抱Flink还是从Spark2开始？更新，2018年4月，：我们最终选择

浏览 5提问于2017-05-19得票数 3

回答已采纳

1回答

风暴式间歇加工

apache-kafka、apache-storm、trident

我对风暴的用例是流处理和批处理。用例2:风暴拓扑应该将元组作为一批元组进行处理。我使用Kafka作为队列机制来提供Storm拓扑。是否Storm不是这样做的正确框架，因为它是用于流处理的(用例1)。风暴三叉戟对用例#2有帮助吗？

浏览 3提问于2015-09-22得票数 0

1回答

如何保留apache flink任务并在重启jobmanager时提交记录

apache-flink

我正在使用apache flink 1.10批量计算我的流数据，今天我将我的apache flink kubernetes(v1.15.2) pod从机器1移动到机器2，发现所有提交任务记录和任务列表都消失了重启apache flink的kubernetes pod时，如何保存提交记录和任务列表？我只发现checkpoint persistant，但没有关于任务的。

浏览 4提问于2020-04-30得票数 0

1回答

流处理和批处理

apache-spark、stream、apache-flink、processing、pipeline

由于批处理的延迟是在累积特定数目的数据时产生的，我是否可以将“一的大小”的批处理视为流处理？或者当运算符进行计算时还有其他的区别吗？例如，如果我将基于火花的程序的批处理大小设置为1，是否可以使其延迟降低到flink？我的一种想法是:对于流处理，如果处理了前一个操作符，一个数据流就会从前一个操作符流到后一个操作符，但是对于批处理过程，只有在操作符处理完一个数据之后，它才能接受另一个数据。流处理中的流水线似乎是加速的关键。我的解释正确吗？如果错了，对我的问题有什么适当的解释。

浏览 9提问于2022-11-14得票数 0

3回答

为什么我们在flink源代码中有flink-streaming-java和flink-streaming-scala模块

apache-flink、flink-streaming、flink-sql

在Fink源码中，有flink-stream-java和flink-stream-scala模块。为什么我们需要两个模块来实现flink流？

浏览 0提问于2019-02-25得票数 3

1回答

在Flink 1.x中EventTimeSourceFunction (Flink 0.10.x)的替代是什么？

apache-flink、flink-streaming

我正在尝试将基于Flink 0.10.1的示例迁移到Flink 1.1.1。示例中使用的TaxiRideSource数据流源实现了Flink 1.x不再提供的org.apache.flink.streaming.api.functions.source.EventTimeSourceFunction如何将TaxiRideSource移植到Flink 1.x？

浏览 2提问于2016-09-07得票数 1

回答已采纳

1回答

为什么Flink流不支持左联接表达式？

flink-streaming

Flink流支持内部连接表达式，如window- join，interval-join.但不支持左联接/完全联接表达式。当然，窗口-cogroup表达式可以实现相同的语义，即使事件立即加入，也必须等待完全窗口大小的时间。我的问题是：如何从设计角度解释Flink流不支持左连接/完全连接表示？如何通过Flink DataStream API (如果能够立即转发连接事件)来实现它？是否有一种方法可以扩展Flink DataStream

浏览 3提问于2021-08-15得票数 0

回答已采纳

2回答

我怎么知道我已经吃掉了所有的卡夫卡话题？

apache-kafka、apache-flink

我使用的是Flink v1.4.0。我使用如下代码所示的Kafka FLink Consumer来使用Kafka主题中的数据：properties.setProperty

浏览 6提问于2018-01-25得票数 3

回答已采纳

1回答

流在Hadoop中的应用

hadoop、spark-streaming、apache-flink、flink-streaming、flink-cep

在这个例子中，我确实看到他们创建了一个单独的应用程序(类似于流应用程序)，该应用程序生成和消费数据，并在数据上应用模式匹配。他们现在还没有在.Till(如卡夫卡)之间放置一个流层，单应用程序就足以满足这一目的，这使得它非常优化。我有几个问题我没有得到回答：如果像卡夫卡/动态

浏览 2提问于2016-06-13得票数 0

1回答

ALS实时推荐Apache Flink

apache-flink、flinkml、als

我想用ALS算法在Apache Flink上实现一个实时推荐。为此，我需要一个起点，帮助我实现这个项目。

浏览 37提问于2021-02-20得票数 0

回答已采纳

1回答

Flink中的低延迟流与多个元数据流的结合(丰富)

apache-flink、flink-streaming

我正在为流分析方案评估Flink，并且还没有找到关于如何实现我们今天在遗留系统中所做的一种ETL设置的足够信息。一个非常常见的场景是，我们使用了关键的、慢吞吐量的元数据流，我们希望使用这些数据流在高吞吐量数据流上进行丰富，如下所示：这就引出了两个关于Flink的问题:如何通过缓慢更新时间窗口重叠但不相等的流来丰富快速移动的流如何有效地将多个(最多10个)数据流与Flink连接起来，比如一个数据流和9个不同的富集流？我知道我

浏览 3提问于2017-11-21得票数 1

回答已采纳

2回答

卡夫卡-> DataStream -> MongoDB

mongodb、hadoop、apache-kafka、apache-flink

我想设置Flink，这样它就可以将数据流从Apache转换并重定向到MongoDB。出于测试目的，我构建在flink流-Connectors.kafka示例()之上。卡夫卡流是正确红色的链接，我可以映射他们等，但问题发生时，我想保存每一个接收和转换的信息到MongoDB。我发现的关于MongoDB集成的唯一例子是来自github的flink-mongodb测试。不幸的是，它使用的是静态数据源(数据库)，而不是数据流。我认为应该有一些DataStream.addSink

浏览 3提问于2016-02-02得票数 11

回答已采纳

3回答

如何为一组操作/工作流创建DAG表示？

workflow、apache-flink、directed-acyclic-graphs、stream-processing

我们使用apache flink进行流处理。文档说，flink基于定义的操作(对流数据的转换链)生成执行图/DAG。我还可以在UI门户上看到DAG表示。我有点好奇如何在幕后做到这一点。有没有为flink做这件事或者由Flink自己实现的可用的库？

浏览 33提问于2020-02-10得票数 0

1回答

流媒体连接在Flink中的实现

inner-join、apache-flink、flink-streaming

我正在研究Flink中join的各种实现。在批处理模式下，我遇到了hybrid-hash join和sort-merge join。在这两种情况下，都有一个阻塞洗牌，它是在连接之前完成的，因此连接之前的操作符的输出被实现到一些非临时存储中，如所说的。 customers表首先

浏览 1提问于2021-05-14得票数 0

回答已采纳

1回答

使用onTimer和processElement的Apache Flink超时

apache-flink、actor、flink-streaming

我使用Apache Flink processElement1、processElement2和onTimer流设计模式来实现超时用例。我观察到，当我包含超时功能时，系统的吞吐量下降了几个数量级。关于Flink中onTimer的内部实现的任何提示:它是每个键流一个线程(不太可能)，还是一个池/单个执行线程，不断轮询缓冲的回调并挑选超时回调以供执行。据我所知，Flink基于角色模型和反应模式( actor model and reactive pattern，A

浏览 31提问于2020-08-26得票数 0

回答已采纳

0回答