问如何将Flink作业提交到远程纱线集群？

EN

我相信这更多的是一个关于开始你的纱线客户的问题，Flink恰好是Flink本身。

我对Flink知之甚少，但鉴于我对纱线上的火花的了解，我可以说您只能做2，即将配置文件下载到您将要用来启动Flink应用程序的机器上。您还可以使用纱线集群中的边缘机器作为部署应用程序的机器。

同样，我认为这更多地是一个关于如何将应用程序部署到YARN的问题。

在Hadoop/纱线世界中，您总是需要客户端计算机上的配置文件。因此，您需要在本地获取它们。然而，你通常需要其中的一些，而不是全部。在大多数情况下，如果我没有弄错的话，只需使用hdfs-site.xml、core-site.xml和sar-site.xml就足够了。为了安全起见，请将它们全部复制到本地目录中。

然后在机器上的flink- role . will文件中配置以下参数，它将扮演客户端的角色，又名。你的工作将从。

fs.hdfs.hadoopconf: path_to_hadoop_conf_dir

然后，通过告诉flink工具使用纱线母版作为作业管理器，您应该能够启动纱线作业。

flink run -m yarn-cluster -yn <num_task_managers> -yjm <job_manager_memory> -ytm <task_manager_memory -c <main_class> <jar>

如果您已经在flink- your .your中配置了上述内存参数，则应该可以通过省略所有这些详细的参数来启动带有默认值的作业。

flink run -m yarn-cluster -n <num_task_managers> -c <main_class> <jar>

作为一个快速测试，您可以尝试在纱线上启动Scala外壳。

start-scala-shell.sh yarn -n <num_task_managers> -nm test_job