1回答
我有自己的分区技术，可以为DataStream元组生成键，这些键的范围等于集群中的节点数量，比如如果我将并行度设置为4，生成的键将是0,1,2和3，依此类推，然后每个键都应该分区到相同的节点，以便使用键控状态进行更多的键控处理发生了什么:我使用keyBy实现了我的逻辑，所以我可以使用键控状态，但它存在很大的不对称性，一些节点没有
浏览 4提问于2019-10-27得票数 1
例如，考虑一个由keyby->平面映射(包含映射状态)组成的图，并将并行性设置为具有4个任务槽的1，flink是否确保每个键在分布式环境中只存在一次(在一个任务槽中)，它是原子单元吗？您可以将键控状态视为已分区或分块的运算符状态，每个键只使用一个状态分区。每个键状态在逻辑上都绑定到<parallel-operator-instance, key>的</em
浏览 4提问于2017-08-17得票数 1
回答已采纳
1回答
根据我对Flink的理解，介绍了基于键(键组)的并行性。然而，假设一个人有一条巨大的没有钥匙的小溪，并且希望并行地完成这项工作，那么实现这一目标的最佳方法是什么？如果流中有一些字段，您可能会考虑按某个字段按键，但是这并不保证工作负载将得到适当的平衡。例如，因为该字段中的一个值可能发生在90%的消息中。因此，我的问题是：
我可以想到的
浏览 0提问于2020-06-28得票数 2
回答已采纳
我们的第一种方法是创建一个具有连接状态存储的处理器，它使用相关ID作为密钥存储每个传入消息。这使我们能够查询存储中传入消息的相关ID，如果存储中已经有具有相同ID的消息，则可以组合信息、转发新事件并从存储中删除条目。国家密钥状态值
{ event: { deviceId: "...", correlationId: "...源主题和状态</em
浏览 1提问于2018-04-18得票数 7
回答已采纳
由于mapWithState只是Scala的语法糖，所以我尝试注册处理keyBy的常用状态，但是，我不知道如何处理keyBy。
在这种情况下，流只是时间戳和数字的时间序列元组。我尝试按时间戳、标量和两者进行键控，以强制将流转换为keyedStream，这样我就可以像最初的示例一样使用键控状态。结果是，在接下来的步骤中，如果我正确理解的话，注册状态将始终为NULL，这将是有意义的，因为键始终是唯一<e
浏览 5提问于2020-06-14得票数 0
回答已采纳
我正在使用来自具有多个分区的Kafka主题的数据来处理Flink。有没有可能在每个并行子任务/分区上都有一个窗口，而不必使用keyBy (因为我想避免混乱)。根据文档，我只能在键控窗口(需要混洗)或全局窗口(将并行度降低到1)之间进行选择。 这样做的动机是，我希望使用CountWindow来批处理具有自定义触发器的消息，该触发器也会在设置的处理时间后触发。因此，对于每个Kafka分
浏览 25提问于2021-01-22得票数 0
假设我在一个键控过程之后得到了一个流。DataStream<T> stream= sourceStream.keyBy(key).window(window).apply(function);
结果流是否仍然是键控的？我能在那个流中使用一些关键的状态吗？
浏览 3提问于2021-03-21得票数 2
回答已采纳
我在使用Flink连接两个流的上下文中查看，并希望了解这两个流之间的区别以及影响Flink处理它们的方式。作为一个相关的问题，我还想了解CoProcessFunction与KeyedCoProcessFunction有何不同。
浏览 2提问于2021-02-17得票数 1
回答已采纳
该应用程序由Kafka作为事件源、一个映射函数和一个接收器组成，如下图所示：我想丰富来自卡夫卡的原始事件中基于userIp字段的用户IP位置的输入点击流数据。JVM堆已达到3.5GB，由于广播状态，无法将广播状态放入磁盘(对于RocksDb)
2.解决方案：在open()方法中加载CSV数据，在RichFlatMapFunction中进入状态(ValueState结果:由于堆中存储的数据非常大，无法加载到ValueState中。此外，通过ValueState
浏览 2提问于2020-03-18得票数 2
我正在尝试向具有2个分区的单个主题生成一些消息。所有消息都将只发送到2号分区。我希望生产者流会跨所有分区分发消息。
浏览 16提问于2020-01-07得票数 0
我想对Flink中的一个输入数据流应用ProcessFunction()，用一个缓存对象处理每个传入的元素。我的代码看起来像这样： object myJob extends FlinkJob { //Collect updated event }
}
} 当我并行化这个作业时，我假
浏览 41提问于2019-04-05得票数 0
回答已采纳
正如我所理解的，如果我在我的主题中使用键控消息，kafka分区器将始终以相同的键向同一个分区发送消息，这将确保对特定消息集的排序。此外，默认分区程序将根据该特定主题可用的分区数量，最初作出向哪个分区发送消息的决定。有点像messageKeyHash % numberOfPartitions。我的问题是，如果我有一个关于5分区的主
浏览 5提问于2017-06-29得票数 0
回答已采纳
我将在processBroadcastElement()函数中执行一些状态管理。getRuntimeContext.getMapState(actvTagsMapValue)} 在访问状态期间获取以下错误
浏览 153提问于2021-04-12得票数 1
回答已采纳
1回答
我使用的是Kafka流，具有无状态的简单处理器拓扑。我有一个逻辑约束，即一旦一个线程连接到一个分区或更多的分区，它就应该继续处理这些分区(当然，直到重新启动时，它会重新洗牌)。我
浏览 0提问于2018-03-19得票数 1
回答已采纳
我正在为一个大容量流用例(每秒数以千万计的事件)开发一个DataStream-based Flink应用程序。这些数据是从卡夫卡主题中消耗的，并且已经根据特定的键进行了切分。我的意图是在Flink端创建特定于键的状态，以运行自定义分析。我无法解决的主要问题是，如何创建键控状态，而不对keyBy()强加的传入数据进行重新配置。我可以保证Flink作业的最大并行性将小于或等于源Kafk
浏览 4提问于2022-08-08得票数 2
回答已采纳
1回答
我正在建立一个从Kafka到HDFS的flink管道。我想在addSink()步骤之后处理这些元素。这是因为我希望设置触发器文件，指示为某个分区/小时编写数据(到接收器)已经完成。如何才能做到这一点？DataStream messageStream = env .addSource(flinkKafkaConsumer011)；
KeyedStream.addSink
浏览 0提问于2019-01-08得票数 1
我有一个流收集和处理的Flink应用程序。该应用程序由Kafka作为事件源、协同映射函数和Kafka接收器组成，如下图所示：我想用CSV文件中的一些字段丰富Kafka输入的流。我还希望定期刷新配置磁盘位置的csv文件。此外，在配置的间隔之后，继续从文件源重新加载数据。我对这个设计有以下的关注：
是否可以暂停对Kafka主流的处
浏览 1提问于2022-02-19得票数 0
到目前为止，我的flink作业在客户端id上执行KeyBy，并使用窗口操作符累积1分钟的数据，然后聚合数据。聚合后，我们将这些累积的数据存入hdfs文件中。问题是，当我们执行keyBy时，它在集群上分发数据(我的假设)，但我希望数据在传入事件的相同插槽(或节点)上聚合1分钟。
注意:在接收器中，我们可以在1分钟的窗口内为同一客户端提供多个数据。
浏览 0提问于2020-11-12得票数 0
我们使用flink-cep作为一个独立的库来查找事件列表中的模式。mapOf(patientKey to 3, hr to 2))我们想要编写一个以匹配的形式返回的模式：第二场比赛: p2e1，p2e2，p2e3因此，在有键流的flink环境中运行CEP似乎是可行的
浏览 9提问于2022-10-17得票数 0
1回答
我们有一个Flink管道，通过将数据与相同的键("client-id")结合在同一个窗口中，聚合每个“客户端”的数据。这个问题是微不足道的并行性的，并且输入Kafka主题有几个分区(与Flink并行性相同的数字)--每个分区都包含一个客户端的子集。也就是说，一个客户端总是在一个特定的Kafka分区中。，如果后者是真的--我们能以某种方式避免重组，并按照输入分区分配的</e
浏览 5提问于2021-11-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
