阅读命令flink run -m yarn-cluster的源代码
阅读命令flink run -m yarn-cluster的源代码，可以得到以下答案：
- 名词概念：
flink run -m yarn-cluster是Apache Flink框架中的一个命令，用于在YARN集群上提交和执行Flink应用程序。 - 分类：该命令属于分布式计算和大数据处理领域。
- 优势：使用
flink run -m yarn-cluster命令可以将Flink应用程序提交到YARN集群上进行分布式计算，享受YARN提供的资源管理和调度能力。这样可以实现高可用性、高性能的大规模数据处理。 - 应用场景：
flink run -m yarn-cluster命令适用于需要处理大规模数据的场景，如实时数据流处理、批处理、图计算等。 - 推荐的腾讯云相关产品：腾讯云提供了一系列与大数据处理相关的产品和服务，可以用于支持Flink应用程序的运行和管理。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：用于快速部署和管理容器化的Flink应用程序。产品介绍链接：腾讯云容器服务
- 腾讯云弹性MapReduce（EMR）：提供了大规模数据处理的集群服务，可用于批处理和离线计算。产品介绍链接：腾讯云弹性MapReduce
- 腾讯云云服务器（CVM）：提供了可靠的虚拟服务器实例，可用于部署和运行Flink应用程序。产品介绍链接：腾讯云云服务器
- 腾讯云对象存储（COS）：提供了高可靠性、高扩展性的对象存储服务，可用于存储Flink应用程序的输入和输出数据。产品介绍链接：腾讯云对象存储
- 注意：以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
总结：flink run -m yarn-cluster命令是用于在YARN集群上提交和执行Flink应用程序的命令。它适用于大规模数据处理的场景，可以利用腾讯云提供的相关产品和服务来支持Flink应用程序的运行和管理。
相关·内容
从Flink的官方文件中我们知道我们可以通过下面的命令“在纱线上运行一个Flink作业”，我的问题是我们是否可以通过Rest“在纱线上运行一个Flink作业”，并得到应用程序API？
./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
浏览 1提问于2019-01-26得票数 0
我正在使用以下脚本提交flink申请，
flink run -m yarn-cluster -c com.my.flink.learningflink.FlinkToMySQL -yn 4 -ys 1 -j /tmp/learing.flink.1.7.1-0.1.jar
我的类FlinkToMySQL在learing.flink.1.7.1-0.1.jar中，但我的应用程序也需要依赖于mysql jar，我如何指定mysql jar和其他依赖的jar。
此外，我还使用以下脚本尝试了-yt选项
flink run -m yarn-cluster -c com.my.flink.learn
浏览 0提问于2019-10-11得票数 1
1回答
我想用以下命令提交我在纱线上的flink工作：
./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar
但我遇到了这样的错误：
is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
浏览 3提问于2020-09-09得票数 1
回答已采纳
如果我想在yarn上运行flink作业，命令是./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar 但是这个命令会运行一个默认的集群，它有2个任务管理器；如果我只提交了一个任务，为什么默认的任务管理器设置为2？ 什么时候我需要在一个任务中有多个任务管理器？
浏览 19提问于2020-07-02得票数 1
我使用以下脚本提交了我在yarn上的应用程序。 MAIN_CLASS=org.example.app.HelloFlink
flink run -m yarn-cluster -yn 4 -ys 1 -ynm FlinkHiveIntegrationTest -c $MAIN_CLASS /learn.flink.ioc-1.0-SNAPSHOT.jar 它抱怨说Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn。 当我删除脚本中的-yn 4时，它就可以工作了。我在之前的flin
浏览 201提问于2021-01-05得票数 0
回答已采纳
1回答
我刚开始使用flink，并试图在EMR集群上部署jar。我使用了3个节点集群(1个主服务器和2个从节点)进行默认配置。我没有做任何配置更改，并坚持默认配置。在我的主节点上运行以下命令：
flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar
我得到了以下错误：
INFO org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources a
浏览 1提问于2018-05-11得票数 0
我是个新手，正在阅读Flink 1.8源代码(https://github.com/apache/flink/tree/release-1.8)以了解flink是如何使用YARN的。 我知道有用于每个作业集群模式的detached mode and non-detached mode。 对于非分离模式，例如以下命令： flink run -m yarn-cluster -c my.HelloFlink -yn 2 -ys 1 ./my.jar 在yarn集群部署之后，客户端进程开始运行我的main方法(my.HelloFlink#main)，客户端进程直到main方法结束才终止。 对于分离模
浏览 12提问于2020-09-05得票数 0
我很难在AWS上运行带有apache的基本word_count.py pyflink
采取的步骤：
成功地创建了AWSEMR6.5.0集群，并使用以下应用程序Flink、Zookeeper验证了flink和flink-yarn-session二进制文件在$PATH中的存在。AWS说它安装了v1.14。
通过执行以下操作成功运行java版本
sudo flink-yarn-sessions
sudo flink run -m yarn-cluster -yid <application_id> /usr/lib/flink/examples/batc
浏览 17提问于2022-01-29得票数 2
回答已采纳
我是flink的新手，在我的macbook上安装了yarn和flink，配备了M1 pro芯片。
当我尝试使用bin/flink run -m yarn-cluster examples/streaming/SocketWindowWordCount.jar --port 8882提交作业时，它返回了一个错误Caused by: org.apache.flink.configuration.IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds t
浏览 21提问于2022-03-25得票数 -1
我正尝试使用以下命令提交纱线的flink作业：
/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -Denv.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"
我在flink客户机日志上获得了env.java.opts
浏览 5提问于2017-10-27得票数 3
我的代码使用readTextFile读取日志文件，当我在Flink (/opt/flink-1.0.3/bin/flink run -m yarn-cluster -yn 2 /home/flink/flink-json-0.1.jar)中运行jar时，它成功地处理了内部的行，并停止了我的应用程序，而不是等待新的行。我需要一些对白来做吗？
val env = StreamExecutionEnvironment.getExecutionEnvironment
val stream = env.readTextFile("hdfs:///test/ignicion.io")
提前
浏览 2提问于2016-06-10得票数 0
回答已采纳
我有一个Flink流应用程序，它是用JAR中的application.conf文件开发的。但是，当我使用application.conf选项调用flink run时，我希望能够显式指定外部yD，如下所示：
flink run -m yarn-cluster -yid "appName" -yD "env.java.opts=-Dconfig.file=/path/to/application.conf" -yn 1 -yjm 1024 -ytm 7000 -p 8 -d /usr/lib/flink/lib/MyFlinkApp.jar
然而，JAR中的配置仍在
浏览 1提问于2017-09-11得票数 2
1. 我们的集群环境，1个JobManager，7个TaskManager.
2. 提交flink on yarn任务时，第一个任务我启动用了7个TaskManager.提交命令为：flink run -m yarn-cluster -ynm flink-test -p 7 -yn 7 -ys 1 -yjm 1024m -ytm 1024m -c xxx主类 jar包，这个任务是可以正常运行的。
3. 当我继续提交任务时（per-job方式）任务启动失败，查看yarn日志如下：
微信图片_20200901171418.jpg
浏览 1210提问于2020-09-01
正如描述的那样，我在Yarn上运行一个flink作业。
flink run -m yarn-cluster -yn 3 -ytm 12000
使用上述参数-yn，我可以设置纱线节点/任务管理器的数量。但是，我想知道是否可以设置每个任务管理器的任务插槽数。当我使用parallelsim (-p)参数时，它只设置整体并行性。任务槽的数量是通过将该值除以提供的任务管理器的数量来计算的。我尝试使用dynamic (-yD)参数，该参数应该是“允许用户指定其他配置值”，如下所示：
-yD -Dtaskmanager.numberOfTaskSlots=8
但这并不覆盖flink-conf.yaml中给
浏览 0提问于2018-05-04得票数 0
回答已采纳
我是新的Flink，我使用以下脚本提交批处理模式的文字计数到纱线。
./flink run -m yarn-cluster ../examples/batch/WordCount.jar
它在纱线集群模式下运行，因此JM将在纱线集群的一个节点上运行。
到目前为止还不错，但我不明白为什么我看到在运行上述脚本的控制台上打印的单词dataset结果？
我想知道flink纱线集群的行为是什么，例如，如果我运行Dataset#collect，哪个进程将得到元素？
浏览 3提问于2019-02-01得票数 0
回答已采纳
在提交作业时是否可以设置自定义JVM选项env.java.opts，而无需在conf/flink-conf.yaml文件中指定作业？
我问这个问题的原因是我想在我的log4j中使用一些自定义变量。我也在从事纱线方面的工作。
我使用CLI尝试了下面的命令，它从=符号开始删除所有内容
$ flink run -m yarn-cluster -yn 2 -yst -yD env.java.opts="-DappName=myapp -DcId=mycId"
浏览 5提问于2017-05-12得票数 5
回答已采纳
我是Flink的新手，所以这个问题可能很简单...
Flink版本为1.5.0。
我创建了一个样例项目，从Flink样例代码复制SocketWindowWordCount。
我的pom.xml文件是从官方网站：复制的
我只是添加了一些简单的log.info(...)语句。无论是在项目资源文件夹中添加log4j.properties，还是在flink conf文件夹中修改log4j-cli.properties。我添加的日志不会输出到日志文件。
log4j-cli.properties修改：
log4j.logger.test.flink=INFO, file, console
在log4j-c
浏览 3提问于2018-07-09得票数 0
回答已采纳
我们的flink作业在本地运行得很好，但在尝试将其部署到yarn集群中时，它抛出了下面的错误。
Flink版本: 1.5.0 Jackson 2.6.7
Caused by: java.io.InvalidClassException: com.fasterxml.jackson.databind.ObjectMapper; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 1
我已经尝试了不同的flink版本，所有版本都会出现问题。
DataStrea
浏览 0提问于2019-04-29得票数 2
我正在从AWS控制台(使用Add )启动EMR中的Flink作业，并希望传递JVM参数。根据Flink文档，我们应该按照下面的方式传递args。
flink run -m yarn-cluster -p 2 /home/hadoop/flink-0.0.1-SNAPSHOT.jar -yD env.java.opts="-Dspring.profiles.active=dev -Djob.name=Flink_Job_1 -Dkafka.brokers:<>:9092" -yid application_1591030260237_0047
我有两个问题
flink
浏览 18提问于2020-06-23得票数 0
我有以下代码来测试flink和hive集成。我通过flink run -m yarn-cluster ....提交申请。hiveConfDir是一个本地目录，驻留在我提交应用程序的机器上，我想问一下，当主类在集群中运行时，flink如何能够读取这个本地目录？谢谢! package org.example.app
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.table.catalog.hive.Hiv
浏览 48提问于2021-01-05得票数 0
我试图在flink 1.14中使用自适应调度来运行基于可用资源的flink作业，而不是等待所需的并行性(scaling)，但我不认为flink正在被识别为自适应调度。
Ex: flink run -m yarn-cluster -ynm jobName -p 128 -D jobmanager.scheduler=Adaptive -D cluster.declarative-resource-management.enabled=true -c className JarName
参考资料：
Caused by: java.util.concurrent.CompletionExcept
浏览 25提问于2022-04-14得票数 0
我正在阅读Flink的最新源代码，这些源代码来自github的master分支。 我想阅读以下命令的代码路径，但我没有找到代码开始与YARN交互并向YARN提交应用程序的位置。 flink run -m yarn-cluster -yqu Q1 -yn 6 -c my.MyFlink./myflink.jar 代码路径为： 1. CliFrontend#main
2. CliFrontend#parseParameters
3. CliFrontend#run(The ACTION_NAME is run in my case)
4. CliFrontend#getPackagedProgr
浏览 20提问于2020-09-01得票数 0
Flink作业失败，错误信息如下 2020-12-02 09:37:27
java.util.concurrent.CompletionException: java.lang.reflect.UndeclaredThrowableException
at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:273)
at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.j
浏览 237提问于2020-12-02得票数 1
回答已采纳
我使用分离和纱线集群模式在作业模式下运行flink应用程序，如下所示：
flink run -d -m yarn-cluster -yn 10 -ys 1 -yqu QueueA -c com.me.MyFlinkApplicaiton
应用程序启动，此应用程序中的作业开始成功消费来自Kafka的消息。平稳运行几个小时后，flink yarn应用程序仍处于活动/运行状态，但此应用程序中的作业消失(不再有作业/任务运行)，所有插槽都被释放。
我的应用程序是一个简单的read from Kafka source -> sink to mongodb应用程序，并且我已经尝试/捕获了整个接收器
浏览 11提问于2020-05-11得票数 0
我正在为我们计划部署的基于Flink的系统建立AWS EMR的原型。我的集群有以下版本：
Release label: emr-5.10.0
Hadoop distribution: Amazon 2.7.3
Applications: Flink 1.3.2
在亚马逊提供的文档中：
以及Flink：的文档
两者都提到直接使用S3资源作为一个与s3://<bucket>/<file>模式相结合的集成文件系统。我已经验证了是否设置了所有正确的权限，我可以使用AWS将S3资源复制到主节点，没有问题，但是尝试使用S3的Jar启动Flink作业不起作用。
我正在执行以下步骤：
浏览 5提问于2017-12-15得票数 3
我想在我的flink项目中集成newrelic。我已经从我的帐户下载了我的newrelic.yml文件，并且只更改了应用程序的名称，我在我的项目根文件夹中创建了一个名为newrelic的文件夹，并在其中放置了newrelic.yml文件。
我还在我的buld.sbt文件中放置了以下依赖项：
"com.newrelic.agent.java" % "newrelic-api" % "3.0.0"
我正在使用以下命令来运行我的jar：
flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/test-
浏览 8提问于2018-06-03得票数 0
我的团队正在构建一个基于flink的实时计算平台。我们提交flink工作给Yarn。我们创建一个进程并使用CLI运行提交命令。为了获得yarn应用程序id，我们创建了一个线程并解析进程输出。应用程序id在其他方法中使用。
例如，我们通过以下命令提交作业：
nohup flink run -m yarn-cluster -d -yqu root.default
-ynm BDP_RTC_FLINK_10457_MultiOutputTestFrontEnd -yjm 1024
-yn 2 -ytm 1024 -ys 2
输出如下所示：
2018-10-10 11:21:04 [info]
浏览 4提问于2018-10-10得票数 1
我试图在我们的测试集群的Flink上运行一个Apache管道。在通过序列化对对象进行编码期间，它在EOFException at 上一直失败。到目前为止，我还无法在本地复制错误。你可以找到。一些值已被假数据所取代。
用于运行管道的命令：
bin/flink run \
-m yarn-cluster \
--yarncontainer 1 \
--yarnslots 4
浏览 3提问于2017-08-29得票数 3
回答已采纳
我有一个Apache应用程序(使用Beam版本的EMR(emr-5.30.1) 2.23.0)，我试图在预装Flink(1.10.0)的AWS 上部署它。
当我将应用程序部署到本地停靠flink集群上时，应用程序没有出现任何问题。但当我做的时候
flink run -m yarn-cluster -c my_class my_jar.jar
EMR集群的主节点
我得到了
java.util.ServiceConfigurationError: com.fasterxml.jackson.databind.Module: Provider com.fasterxml.jackson.module
浏览 6提问于2020-10-03得票数 0
回答已采纳
我试图连接卡夫卡与Flink和运行通过sql-client.sh。但是，无论我如何处理.yaml和库，我都会得到错误：
Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue.
at org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
浏览 46提问于2021-11-30得票数 0
回答已采纳
1回答
我有一个Flink应用程序，它使用Kafka集群中的数据并运行SQL数据转换。我在电子病历上运行这个应用程序，当我使用Java -jar选项运行时，应用程序可以正常运行。
但是，在使用yarn运行时，请使用命令flink run -m yarn-cluster -yn 2 -yjm 1g -ytm 2g JarFileName arg1 arg2
应用程序失败，堆栈下跟踪。
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink
浏览 1提问于2019-11-27得票数 0
1回答
出于测试目的，我在yarn上玩flink，我有以下设置：
3台运行在aws上的机器(32核和64 GB内存)
我手动安装了带有hdfs和yarn服务的Hadoop2(没有使用EMR)。
机器#1运行在主文件中定义的HDFS - (NameNode & SeconderyNameNode)和YARN - (resourcemanager)
机器#2运行在从文件中定义的HDFS - (datanode)和YARN - (nodemanager)
机器#3运行HDFS - (datanode)和YARN - (nodemanager)，在从文件中定义
我想提交Apache flink作业，从
浏览 1提问于2017-06-23得票数 0
2回答
最近，apache的稳定版本(1.6.2)发布。我读过。但是，当我运行以下命令时：
./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
我得到以下错误：
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 264564a337d4c6705bde681b34010d28)
at or
浏览 0提问于2018-11-17得票数 0
回答已采纳
运行以下命令将作业提交给纱线，但不需要任务管理器的分配数。集群有足够的资源<220 enough，720 G mem>
/data/clusterserver/flink-1.7.2/bin/flink run -m yarn-cluster -yn 4 -ys 2 /data/clusterserver/flink-1.7.2/examples/batch/WordCount.jar --input hdfs:///tmp/wordcount.txt --output hdfs:///tmp/count.result
2019-04-10 15:04:57,397 INFO
浏览 0提问于2019-04-10得票数 4
回答已采纳
亲爱的蜂群智慧，
我对flink和hadoop还不熟悉，所以我试着玩了一下。我有3个Google平台VM，我想在上面安装flink和hadoop分布式文件系统HDFS。因此，为了安装HDFS，我遵循了一个教程，一切似乎都正常。我可以使用hdfs dfs -COMMAND /通过CLI存储、访问和列出文件。所以现在我从apache网站下载了flink的二进制文件。如果我在本地运行WebCount-示例，一切都正常。另外，如果我想通过./bin/flink run -m localhost:8081 JAR分发作业，它也能工作。只有当我想提供来自HDFS的输入和输出参数时，它才会大喊错误：
Cau
浏览 8提问于2021-01-28得票数 2
回答已采纳
1回答
我开发了一个简单的Flink作业，它消耗了卡夫卡流。在当地环境方面，大家都做得很好。但是，当我试图用纱线在集群上运行我的Flink工作时，什么都不会发生。(而且，我没有任何错误消息)。
./bin/flink run -m yarn-cluster -yn 4 /Flink/Flink_Stream_Kafka/jar-with-dependencies.jar --server X.X.X.X:9092 --topic logs
当然，我已经检查了我的集群是否能够访问流，并且它已经访问了。我甚至可以在集群的每台机器上作为一个简单的java程序运行我的工作，它可以工作。
有什么能解释这事的见解
浏览 5提问于2017-03-23得票数 0
回答已采纳
1回答
我试图在我的Flink工作中与我的Kafka源码并行，但到目前为止我失败了。
我给我的Kafka制作人设置了4个分区：
$ ./bin/kafka-topics.sh --describe --zookeeper X.X.X.X:2181 --topic mytopic
Topic:mytopic PartitionCount:4 ReplicationFactor:1 Configs:
Topic: mytopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: mytopic Partition: 1
浏览 0提问于2017-03-27得票数 0
我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4中，我构建了一个胖jar，其中包含了我所有的hadoop 2.9.2依赖项，然后我将这些依赖项提交给k8s上的Flink集群。我没有在集群上安装hadoop。
当我将项目升级到1.9并升级集群时，我无法在集群上运行代码，尽管它在我的IntelliJ IDE上运行得很好。例外是：
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2
浏览 3提问于2019-11-21得票数 0
我希望在运行光束wordcount.py演示时如何设置--environment_config的指导。
它在DirectRunner上运行得很好。Flink的字数也运行得很好(即通过flink run运行Flink)。
我想使用中描述的“分离Flink集群”来使用Flink runner来运行光束。我不能使用Docker，所以我计划使用--environment_type=PROCESS。
我在python代码中使用以下代码来设置environment_config：
environment_config = dict()
environment_config['os'
浏览 20提问于2019-11-06得票数 1
回答已采纳
我想在windows上使用flink的python api处理数据。但是当我使用该命令向本地集群提交作业时，它抛出了NullPointerException。 bin/flink run -py D:\workspace\python-test\flink-test.py flink-test.py： from pyflink.dataset import ExecutionEnvironment
from pyflink.table import TableConfig, DataTypes, BatchTableEnvironment
from pyflink.table.descrip
浏览 23提问于2019-12-19得票数 0
在CentOS (CentOS 8.0.1905 (64位))上，我尝试在Flink(1.9)上运行Python(3.6.8)版本的WordCount程序，如所述。我得到的错误如下。同样的环境在Java版本的WordCount程序中也可以很好地工作。我在这里遗漏了什么？任何帮助都是非常感谢的。错误
$ ./bin/flink run -py examples/python/table/batch/word_count.py
Starting execution of program
org.apache.flink.client.program.OptimizerPlanEnvironment
浏览 7提问于2020-01-16得票数 0
我正在尝试开始使用基本的Flink快速入门示例。
我在使用Maven的第一步就遇到了一个错误。无论我是尝试使用Maven还是"curl“命令进行安装，我都会得到相同的错误：”定义的工件不是原型“：
命令：
mvn archetype:generate \
> -DarchetypeGroupId=org.apache.flink \
> -DarchetypeArtifactId=flink-quickstart-java \
> -D
浏览 1提问于2017-05-04得票数 0
2回答
我正在尝试创建一个sbt Scala项目，添加一些来自Flink的代码。我已经成功地添加了除Flink-ML以外的大多数Flink项目。
我尝试添加不同的依赖项，错误如下：
sbt.build配置：
resolvers += Resolver.mavenLocal
// I have downloaded the Flink project and compiled in local.
libraryDependencies += "org.apache.flink" % "flink-ml_2.10" % "1.0-SNAPSHOT"
错误如下
浏览 2提问于2016-02-23得票数 1
1回答
电子病历上S3的外部检查点
、、、、
我正在尝试为我的Flink程序部署一个生产集群。我使用的是一个安装了Flink 1.3.2的标准hadoop-core EMR集群，使用YARN来运行它。
我正在尝试将我的RocksDB配置为将检查点写入S3存储桶。我正在尝试浏览这些文档：。问题似乎是让依赖关系正常工作。我在尝试运行程序时收到以下错误：
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.had
浏览 1提问于2017-09-11得票数 1
我正在使用flink 1.3，我已经提交了一份flink申请，工作模式如下：
flink run -m yarn-cluster ....
在控制台上，我已经看到应用程序已经启动，并且我能够看到mysql的接收器。
但是，当我在yarn web ui上导航到这个正在运行的应用程序，并单击它以打开flink web ui时，
flink ui没有打开，出现如下错误，我想问一下这里出了什么问题，谢谢！
16:05:01.858 [nioEventLoopGroup-3-2] ERROR org.apache.flink.runtime.webmonitor.files.StaticFileSer
浏览 33提问于2019-10-29得票数 1
回答已采纳
当我试图在上执行示例时，我会得到以下错误。
通过在的帮助下添加一些额外的参数，我成功地执行了文档中的第一个命令。
user@local:~/flink-1.14.4$ ./bin/kubernetes-session.sh \
-Dkubernetes.cluster-id=dproc-example-flink-cluster-id \
-Dtaskmanager.memory.process.size=4096m \
-Dkubernetes.taskmanager.cpu=2 \
-Dtaskmanager.numberOfTaskSlots=4 \
-Dresourcemanager.
浏览 31提问于2022-03-25得票数 1
我在flink- line .line中添加了以下一行：
env.java.opts：“-Ddy.pros.path=/PATH/TO/PROPS/FILE”
在启动作业管理器(jobmanager.sh启动集群)时，我在日志中看到确实识别了jvm选项。
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanager.JobManager - JVM Options:
2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanage
浏览 6提问于2017-02-20得票数 8
回答已采纳
我已经使用Scala2.11.7创建了一个带有Apache 1.0.3的应用程序，我想在本地测试它(单个FLink )。因此，我按照网站上的说明执行了以下操作：
./bin/start-local.sh
tail log/flink-*-jobmanager-*.log
它启动得很好，我可以在localhost:8081上看到web界面。然后，我试图提交我的申请，但我得到了一个异常或奇怪的消息。例如，当我键入以下任一命令时：
./bin/flink run ./myApp.jar
./bin/flink run ./myApp.jar -c MyMain
./bin/flink run ./m
浏览 2提问于2016-05-26得票数 4
我在与cassandra接收器相关的代码中得到一个运行时异常：
07/16/2018 17:09:48 Job execution switched to status FAILING.
java.lang.NoSuchMethodError: com.datastax.driver.core.BoundStatement.set(ILjava/lang/Object;Lorg/apache/flink/cassandra/shaded/com/google/common/reflect/TypeToken;)Lcom/datastax/driver/core/BoundStatement;
浏览 2提问于2018-07-16得票数 0
我使用的是Apache Beam2.0.0和相同版本的FlinkRunner (Scala2.10)。我正在测试一个进程内的Flink master (默认配置)，它的FlinkRunner依赖显然在运行时引入了Flink 1.2.1 (查看MVN依赖树)。
当存在“用户异常”时，找出真正出错的地方的最好方法是什么？这不是关于我这次做错了什么的问题；而是如何-通常情况下-如何从光束或Flink中获得更多信息。下面是stacktrace：
Exception in thread "main" java.lang.RuntimeException: Pipeline executi
浏览 9提问于2017-08-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
