2回答
所以我在一个DataStream上运行一个映射函数，在这个映射函数中，我想连接两个独立的DataSets。我只是想知道这在Flink中是否可行。我知道map函数本身是作为单独分区的单独任务运行的，所以我想知道map函数内部是否允许分布式连接？
浏览 17提问于2018-01-21得票数 0
我正在尝试实现Apache Flink - broadcasting..我们如何使用Java实现数据集的广播。
请帮帮忙。
浏览 3提问于2016-07-13得票数 0
对于像map这样的操作，我能够通过关注这篇博客文章来处理具有丰富功能的BroadcastConnectedStream：https://flink.apache.org/2019/06/26/broadcast-state.html但是，创建AsyncIO函数需要DataStream作为输入，而BroadcastConnectedStream不需要(https://ci.apache.org/pro
浏览 29提问于2020-06-19得票数 0
回答已采纳
3回答
我想知道我是否可以改变已经提交给Flink的作业的操作人员。假设我有一个单词计数程序，并且上面有一个过滤器，只对大于3个字符的单词进行计数。我希望在运行时更改此筛选器的参数。我的第一个猜测是Flink (以及其他数据流引擎--火花、Storm、Apache )无法做到这一点，因为这项工作已经在env.execute()上提交了。有人知道做这件事的方法吗？我想这个问题()是与我想要的相关的，但是解决方
浏览 0提问于2018-12-20得票数 1
回答已采纳
第一个是基于时间的流，我使用countTimeWindow接收前10个数据点来计算STAT值。我手动使用了变量cnt来只保留第一个窗口，并过滤了剩余的值，如下面的代码所示。然后，我想使用这个值来过滤主流，以便获得比我在窗口流中计算的stat值更大的值。 然而，我不知道如何合并或计算这两个流来实现我的目标。我的场景是，如果我将第一个stat值转换为广播变量，然后将其传递给主流，以便能够根据广播变量<e
浏览 10提问于2019-02-12得票数 0
回答已采纳
1回答
在我的Java应用程序中，我有3 DataStreams。例如，一个流数据是从Kafka消费的，另一个流数据是从Apache消费的。对于这两个流，对象类型是不同的。第三种是广播流(因为这些数据是从Kafka消费的)。加入了缓慢变化的数据流：--我们用来丰
浏览 3提问于2020-06-02得票数 1
我们应该在什么时候使用其中一个呢？ 我注意到带有编号后缀的类有一些更多的功能(例如，分级限制)。https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka/src/main/java/org/a
浏览 6提问于2020-09-14得票数 0
1回答
Flink广播状态行为
、、、
我试着用一个简单的例子来处理flink的溴化状态。如何控制广播流何时工作?谢谢!import org.apache.flink.api.common.state.MapStateDescri
浏览 0提问于2018-06-25得票数 1
回答已采纳
iI正在使用Apache Flink处理数据流，我需要在处理输入数据的所有节点之间共享一个索引。节点频繁地更新索引。Apache Flink是否仅针对最近的更改智能地更新广播变量？
浏览 1提问于2016-06-21得票数 5
我试图使用Apache (org.apache.flink.streaming.util.OneInputStreamOperatorTestHarness)中的OneInputStreamOperatorTestHarness我跟踪了，这个官方的和
浏览 5提问于2021-12-20得票数 -1
我刚开始使用flink，我正在实现一个模式识别模块(不使用CEP实现模式匹配)，它将从EventHub主题读取json流，如果模式匹配，则推送到另一个事件中心主题。我的模块功能如下I使用的是一个RichSourceFunction，它将从API读取模式并发送到广播流
我正在使用Flink BroadcastProcessFunction来根据广播状态中可用<e
浏览 8提问于2021-01-29得票数 0
1回答
我已经写了一个小的flink应用程序。我有一些输入，并用来自外部源的数据来丰富它。它是一个RichAsyncFunction，在open方法中，我构造了一个用于丰富的http客户端。现在我想为我的工作写一个集成测试。但是由于http客户端是在open方法中创建的，所以我没有办法提供它，并在我的集成测试中模拟它。我试图在构造函数中重构它，但我总是得到序列化错误。这是我正在使用
浏览 28提问于2020-06-01得票数 2
3回答
我要使用apache运行简单的worcount示例。使用$SPARK_HOME/jars中的本地jar文件，它正确运行，但使用maven依赖于它的错误：以下是代码：
import org.apache.spark.S
浏览 19提问于2017-11-28得票数 0
回答已采纳
1回答
我试图在Flink的DataStream上应用每个窗口的功能。以下是我的代码
DataStream<Tuple2<String, String>> data = ...<java.lang.String,java.lang.String>,R,org.apache.flink.api.java.tuple.Tuple,org.apache.flink</e
浏览 1提问于2018-10-01得票数 2
回答已采纳
版本: Flink 1.12，java 1.11。在本地环境中运行时没有问题。在具有以下配置的独立集群中运行时 INFO [] - Loading configuration property: jobmanager.rpc.address, localhost
INFOat org.apache.flink.runtime.taskmanager.Task.loadAndInstantiateInvokable(Task.java:1373
浏览 348提问于2020-12-30得票数 0
我试图在SQL中执行python函数(1.14.0)from pyflink.table import DataTypespublic class PyUDF {flink run /home/magic/workspace&#
浏览 6提问于2021-12-03得票数 3
首先，我阅读了这个关于同一个问题的文章，并试图遵循与他相同的解决方案(用mvn创建一个新的快速启动并将代码迁移到那里)，并且在IntelliJ开箱后没有一起工作。以下是我的pom.xml与来自其他pom.xml的依赖项的混合。我做错了什么？ <dependency>
浏览 6提问于2020-08-26得票数 6
回答已采纳
在这个过程中，我想压缩数据，以便更好地利用可用的存储大小。 我写了一个压缩字符串写入器，通过从flink借用SequenceFileWriterFactory的一些代码。它会失败，并出现我在下面描述的异常。 如果我尝试使用BucketingSink，它会工作得很好。我使用BucketingSink编写压缩字符串，如下所示。再一次，我从其他的拉取请求中借用了这段代码。现在，我使用StreamingFileSink<em
浏览 58提问于2019-05-16得票数 2
2回答
我正在尝试从运行在clojure中的Apache中获得一个小示例，但是现在我被困住了，因为clojure中的类型暗示和flink中的一些奇怪的怪癖。这是我的代码： (:import (org.apac
浏览 2提问于2015-08-20得票数 5
回答已采纳
1回答
我正在尝试使用光束和Flink runner设置一个流处理管道。Flink是具有以下docker-compose文件的本地会话部署： version: "3"
jobmanager: flink: 下面是我的Beam应用的pom.xml： <properties>
<b
浏览 94提问于2021-01-29得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
