Apache Flink JobListener不能正常工作

文章/答案/技术大牛

发布

1回答

apache-flink、flink-streaming、job-scheduling、flink-batch

我在flink 1.11.1中编写了一个flink批处理作业。作业成功完成后，我想做一些类似于调用http服务的事情。我添加了一个简单的作业监听器来挂接作业状态。我如何确定工作是否成功完成？任何帮助都将不胜感激。val env = StreamExecutionEnvironment.getExecutionEnvironment env.registerJobListener(new JobListener

浏览 168提问于2020-08-27得票数 0

3回答

如何确保flink作业已完成执行，然后执行一些任务

apache-flink、flink-streaming、flink-cep

我想在flink作业完成后执行一些任务，我在Intellij中运行代码时没有任何问题，但是在shell文件中运行Flink jar时有一些isssues。我正在使用下面的行来确保flink程序的执行是完整的 JobExecutionResult jobExecutionResult = envrionment.execute

浏览 9提问于2017-11-11得票数 5

3回答

如何在Scala中使用Flink的KafkaSource？

scala、apache-kafka、apache-flink

我试图用Flink的KafkaSource运行一个简单的测试程序。我使用的方法如下： import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connecto

浏览 3提问于2015-07-15得票数 5

1回答

在flink中使用NullpointException读取RowCsvInputFormat文件时

scala、file、streaming、apache-flink、kryo

我是Flink流媒体的初学者。代码在下面。java.lang.NullPointerExceptionat org.apache.flink.api.java.io.RowCsvInputFormat.fillRecord:33) at org.<em

浏览 23提问于2022-01-06得票数 0

1回答

Flink全州同地功能通讯

apache-flink、flink-statefun

我有一个工作正常的嵌入式作业，我想部署更多的同地作业。这些新增的工作将收到来自旧工作的信息，并将其发送到kafka主题。:138) at org.apache.flink.client.cli.CliFrontend.run:895) at org.apache<

浏览 2提问于2020-05-03得票数 1

回答已采纳

1回答

2022年Flink的KafkaSource在Scala中的应用

scala、apache-flink

我使用sbt来管理我的依赖关系： "org.apache.flink" %% "flink-clients" % flinkVersion,"org.apache.flink" %% "flink-scala" % flinkVersion, "org.apache.flink" %% &

浏览 20提问于2022-10-06得票数 1

回答已采纳

1回答

如何使用Flink* MiniCluster触发ProcessTimeTimer*

apache-flink、flink-streaming

切换到事件时间可以很好地工作，所以我想知道这是不是对Flink MiniCluster不起作用，或者我的实现有什么问题。import org.apache.flink.runtime.testutils.MiniClusterResourceConfigur

浏览 0提问于2020-08-26得票数 3

2回答

IntelliJ集成开发环境警告Flink* CEP未知错误*

scala、intellij-idea、apache-flink、complex-event-processing

我开始研究用Scala语言编写的Apache Flink的CEP库，当我试图通过执行https://ci.apache.org/projects/flink/flink-docs-stable/dev我知道它不完整，但自从这个问题出现后，我无论如何都不能完成它。import org.apache.flink.cep.CEP import org.apache.flin

浏览 50提问于2020-01-14得票数 0

回答已采纳

1回答

ververica平台| Flink* Required context属性不匹配*

apache-flink、flink-streaming、flink-sql

我正在尝试向Kubernates中部署的ververica平台提交作业，但我收到了下面的消息，我向Flink standalone提交了相同的代码，它的工作正常！！Caused by: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not find a suitable table factory for 'org.apache

浏览 74提问于2020-07-12得票数 1

回答已采纳

1回答

Flink (1.11.2) -尽管设置了正确的插件，但无法找到S3的实现。使用JDK11和Scala 2.12.11

apache-flink、flink-streaming

我正在使用Linux中的Docker运行一个带有单个节点的Flink独立集群。我已经在Flink 1.10.0和JDK8的生产环境中运行了一段时间的前一个版本，我能够让S3在那里正常运行。", "org.apache.flink</em

浏览 65提问于2020-09-29得票数 1

1回答

Apache作业有时在Apache集群中与OptimizerPlanEnvironment$ProgramAbortException一起失败

apache-flink、spotify-scio

我一直在运行一个基于apache波束的数据摄取作业，它解析输入CSV文件并在接收器上写入数据。当一次提交一个作业(在正常负载情况下)时，此作业工作正常。我已经尝试了多输入CSV文件的工作，但它显示了类似的行为。exception. at org.apache<

浏览 4提问于2020-06-02得票数 0

2回答

Flink流压缩无法使用Amazon S3连接器(StreamingFileSink和CompressWriterFactory)

amazon-s3、apache-flink、flink-streaming

当我将Apache作为Sink运行到AWS S3时，标准版本(forRowFormat)可以正常工作。:62) at org.apache.flink.streaming.api.functions.sink.filesystem.Bu

浏览 12提问于2020-06-01得票数 0

1回答

Apache Flink Kubernetes作业参数

apache-flink、flink-streaming

我正在尝试用Kubernetes设置一个集群(Apache Flink 1.6.1)，当我在它上面运行一个作业时，得到了以下错误：2018-10-09 14:29:43.214 [

浏览 0提问于2018-10-09得票数 0

11回答

在Flink* 1.11.1中没有发现执行应用程序的ExecutorFactory*

apache-flink、flink-streaming、flink-cep

首先，我阅读了这个关于同一个问题的文章，并试图遵循与他相同的解决方案(用mvn创建一个新的快速启动并将代码迁移到那里)，并且在IntelliJ开箱后没有一起工作。-- Apache Flink dependencies --> <artifactId>flink-connector-filesystem_2.11&l

浏览 6提问于2020-08-26得票数 6

回答已采纳

1回答

flink:作业不会在较高的taskmanager.heap.mb下运行

java、apache-flink

简单工作：kafka->flatmap->reduce->map。at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apache$flink$runtime$jobmanager$JobManager$org$apache$flink$runtime$jobmana

浏览 4提问于2015-11-09得票数 2

回答已采纳

2回答

Flink SQL client:选择'hello‘引发的[错误]无法执行SQL语句

apache-flink、flink-sql

我正在跟踪Flink 。打开Flink SQL客户端看起来很好，但是SELECT 'hello world'不能工作。$ /data/apache/flink/flink-1.12.0/bin/sql-client.sh embedded SLF4J: Class path contains multiple SLF4JSLF4J: Found binding in [jar:file:&#

浏览 14提问于2021-03-26得票数 1

回答已采纳

2回答

为泛型类使用clojure中的类型提示

generics、clojure、type-hinting、clojure-java-interop、apache-flink

我正在尝试从运行在clojure中的Apache中获得一个小示例，但是现在我被困住了，因为clojure中的类型暗示和flink中的一些奇怪的怪癖。这是我的代码： (:import (org.apache.flink.api.common.functionsFlatMapFunction) (org.apache.flin

浏览 2提问于2015-08-20得票数 5

回答已采纳

2回答

org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer是否实现了SinkFunction<T> sinkFunction

apache-flink、flink-streaming

我正在尝试实现一个简单的闪光作业，使用org.apache.flink.streaming.connectors，将一个卡夫卡主题作为输入源和输出到一个卡夫卡接收器。我正在遵循这个指南https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/datastream/kafka我搞不懂为什么它会抱怨而不能<e

浏览 92提问于2021-08-28得票数 0

2回答

在WindowedStream中查找计数-闪烁

scala、stream、apache-flink、flink-streaming

更具体地说，我正在尝试使用Flink在滑动窗口中实现计数和groupBy功能。我在一个普通的DateStream中做过，但是我不能让它在WindowedStream中工作。evidence$28: org.apache.flink.api.common.typeinfo.TypeInformation[R])org.apache.flink.streaming.api.scala.DataStreamorg.apache.flink

浏览 18提问于2019-05-02得票数 1

2回答

需要将FLINK-hadoop兼容性-2.10 jar显式复制到EMR集群上的${FLINK-HOME}/lib位置

maven、hadoop、apache-flink

在本地环境中，它工作正常，但是当我在EMR集群上部署这个Flink应用程序时，它会抛出一个与兼容性问题相关的异常。at org.apache.flink.api.java.typeutils.TypeExtractor.createHadoopWritableTypeInfo(TypeExtractor.java:2025) at org.apache.flink.api.java.typeutils.TypeExtractor.privateGetFo

浏览 0提问于2018-02-08得票数 3

回答已采纳

点击加载更多