流水线的简单代码如下：.map(func).setParallelism(2).sink()
如何确定出库的顺序？
浏览 2提问于2018-08-27得票数 0
回答已采纳
我们有一个flink应用程序，它在开始时有一个地图操作符。使用过滤器将此操作的输出流路由到多个窗口函数。窗口函数的并行度均为1。我们形成窗口函数输出的并集，并将其传递给另一个map函数，然后将其发送到接收器。 我们需要两个map函数的并行度来获得环境的并行度。正如预期的那样，
浏览 48提问于2020-08-08得票数 0
回答已采纳
假设我的Flink应用程序有3个组件: Source、Map和Sink。由于某些原因(例如调用API有很高的延迟)，接收器需要非常高的并行性(例如20)。还假设Source和Map占用的CPU/IO非常少。我们知道，最小可用插槽至少应该与应用程序的最大并行性一样大，在本例中为20。但是，由于Map是CPU受限的，高并行性会导致性能下降(
浏览 2提问于2020-12-15得票数 2
当我登录到Flink仪表板时，在每个作业的右边，在标题Tasks下，有几个不同数字的彩色框。他们代表什么？我似乎在互联网上找不到这些信息！
浏览 0提问于2018-07-06得票数 1
回答已采纳
我集成了两个工具Apache NiFi和Apache Flink。NiFi获取事件并将它们发送到Flink，之后Flink将这些事件经过一些处理返回给相同的NiFi。我在Flink中构建了Nifi的源代码和接收器。整个过程可以工作，但是接收器的性能非常差(大约每秒10个事件)。
如果我移除接收器(仅打印输出)，处理速度会快得多。我想我可以使用setParallelism()来改变接收器进程的
浏览 3提问于2018-07-24得票数 1
我试着理解如何在Flink工程中CEP。例如，来自pages：和。我认为基本部分可以是: 1.模式定义2.模式流定义(或者可以使用许多并行流吗?) 3.选择定义是正确的吗？如何使用"select part“以及如何
浏览 0提问于2018-03-06得票数 0
1回答
我很难理解如何在使用Flink从Kinesis流中使用记录时保留事件的顺序。我们的设置如下所示：
具有8 shardsSharding键的 userId是生成事件的用户的userId。在Flink中，我们使用Table来使用Kinesis流，进行一些处理，并将事件写入(自定义的)同步HTTP接收器。所需的结果是，每个处理子任务的碎片将事件一个接一个地写入接
浏览 5提问于2022-02-15得票数 1
回答已采纳
1回答
我是Flink的新手。据我理解，在Flink中，TaskManager可以被划分为多个槽，一个时隙可以分配多个任务，一个任务是一个线程。让我们看看WordCount示例：据我理解，一个任务完全是一个线程，有三个任务：Source + map()、keyBy()/window()/apply()和Sink。因此，每个线程都有自己的线程，这意味着在这个示例中我们需要三个线程。我们可以把这三个任务(三个线程)放在一个槽里。然而，现在我正在阅读它的官方文档：
<
浏览 2提问于2020-05-15得票数 4
回答已采纳
我有一个Flink作业，它的接收器是将数据写入MongoDB。接收器是RichSinkFunction的实现。
接收器在什么时候确认检查点屏障，在调用函数开始时还是在调用完成时？意味着它在确认障碍
浏览 3提问于2018-05-31得票数 1
假设我有一个这样的flink管道：kafka_source -> maps/filters/keyBy/timewindow(1 minute) -> sinkCassandra我想要做的是有效地根据数据存储中的flink data key进行查找，然后执行更新并刷新更新后的数据。这意味着即使有了rocksdb，也会有一个巨大的状态
浏览 0提问于2020-03-19得票数 0
我们正在考虑flink作为一个用例，但不确定flink是否适合它。这是我的用例。当一个事件e1到达时，我们需要处理它并发出一个结果。源和接收器与本讨论无关，但您可以将消息队列服务视为源和接收器。请注意，step2和step3应该并行完成。 ? 事件的处理延迟对我们来说至关重要。因此，我需要在该元素的处理完成后立即发出结果，而不是等待某个窗口超时。由于我对Flink的了解有限，我只能想到下面的
浏览 19提问于2019-06-27得票数 1
回答已采纳
1回答
我正在使用Flink v1.4.0。现在，我有许多操作正在应用，我认为这是一种顺序的方式，根据这种方式，我试图按以下方式充实一个DataSet<Employee> employees： return employee;}
问题是:最终的我知道我可以一蹴而就，但这不是问题的重点。我实现的代码的
浏览 0提问于2018-05-15得票数 0
回答已采纳
1回答
例如，我想测试卡夫卡/ Flink与FlinkKafkaConsumer011和FlinkKafkaProducer011的集成。这一进程将是：
当我说测试时，这是单元/集成测试。
谢谢!
浏览 0提问于2018-04-16得票数 3
1回答
我有一条按顺序到达记录的小溪。我应用了一个映射函数，然后在上面应用了keyBy函数。记录的顺序会以相同的键在每个记录流中保持吗？
中也有类似的问题。但我对这里给出的答案和从链接"“复制的下面的描述感到困惑。在重分发交换中，元素之间的排序只保留在每一对发送和接收子任务中(例如map()的subtask1和keyBy/window的subtask2
浏览 4提问于2017-05-24得票数 2
回答已采纳
我正在尝试一个简单的Flink程序，它只接受一个文件，反转文件中的字符串并写出它。例如。;import org.apache.flink.core.fs.FileSystem.WriteMode"); }
是否有可能维持输入顺序<
浏览 1提问于2017-06-30得票数 0
回答已采纳
Apache与Hadoop上的Mapreduce相比如何？在哪些方面更好，为什么呢？
浏览 9提问于2015-04-28得票数 14
回答已采纳
如果操作符的总并行实例高于flink系统的并行性，会发生什么情况？下面是一个场景：kafkaSource2.map(Mapper2).sink(sink1);
在部署了这个具有5
浏览 2提问于2020-06-30得票数 1
回答已采纳
我计划动态缩放一个Flink应用程序。该应用程序使用kafka-flink连接器消耗来自Kafka的事件。因为应用程序的“热身”只需几分钟(缓存.)而改变并行级别涉及重新启动，我更喜欢提交(放大)或交替杀死(缩小)任务，而不是改变并行级别。我想知道，从性能、逻辑和执行计划来看，这种方法和Flink内置的并行执行有什么不同吗？换句话说，10个相同的Flink任务与一个并行级别= 10
浏览 1提问于2019-09-25得票数 0
回答已采纳
我有一个具有频繁添加/更新行的资源，称为Orders的资源，以及一个名为UserProfile的资源，其更新频率较低(但通常很重要)。我希望对这两个资源(当前逻辑上存储为Flink中的动态表)执行一个连续的联接查询，以便当发生UserProfile更新时，连接表按照与该UserProfile相关联的顺序发出一个one更新的EnrichedOrder其目的是对这些丰富的非规范化数据进行索引，
浏览 0提问于2018-02-02得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
