开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

无法通过独立kubernetes flink部署(会话模式)上的gui提交新作业

独立部署Kubernetes Flink上的GUI提交新作业是不可能的，因为Flink的会话模式不支持GUI提交新作业。在Flink中，会话模式是一种交互式的作业提交方式，它允许用户通过Flink的命令行界面或REST API提交和管理作业。

在独立部署的Kubernetes集群中，可以使用Flink的命令行界面或REST API来提交新作业。以下是一些相关的步骤和资源：

使用Flink命令行界面提交新作业：
- 首先，通过kubectl命令行工具连接到Kubernetes集群。
- 然后，使用kubectl命令创建一个Flink作业提交的Pod。
- 在Pod中，使用flink run命令提交新的Flink作业。

使用Flink REST API提交新作业：
- 首先，获取Flink的JobManager的REST API地址。
- 然后，使用HTTP POST请求向REST API提交新的作业。

无论是使用命令行界面还是REST API，都需要提供作业的相关配置和代码。可以通过Flink的官方文档了解更多关于命令行界面和REST API的详细信息。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
腾讯云云原生应用平台（Tencent Cloud Native Application Platform，TCNAP）：https://cloud.tencent.com/product/tcnap

请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

大数据Flink进阶（十三）：Flink 任务提交模式

Flink 任务提交模式Flink分布式计算框架可以基于多种模式部署，每种部署模式下提交任务都有相应的资源管理方式，例如：Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes...以上就是Flink任务提交的整体流程信息，在Flink中任务提交还有多种模式，不同的Flink集群部署模式支持的任务提交模式不同，对应的任务执行流程略有不同，向Flink集群中提交任务有三种任务部署模式...，分别如下：会话模式 - Session Mode单作业模式 - Per-Job Mode(过时)应用模式 - Application Mode以上三种任务提交模式的主要区别在于Flink集群的生命周期不同...下面分别进行介绍：一、会话模式（Session Mode）Session模式下我们首先会启动一个集群，保持一个会话，这个会话中通过客户端提交作业，集群启动时所有的资源都已经确定，所以所有的提交的作业会竞争集群中的资源...集群；Per-Job模式和Application模式都是提交Flink任务后创建集群；Per-Job模式通过客户端提交Flink任务，每个Flink任务对应一个Flink集群，每个任务有很好的资源隔离性

3K2 2

Flink应用部署模式

资源提供 Flink 可以通过不同的 Resource Provider Framework 进行部署，例如 Kubernetes 或 YARN。...应用程序级数据源和接收器虽然应用程序级别的数据源和接收器在技术上不是 Flink 集群组件部署的一部分，但在规划新的 Flink 生产部署时应该考虑它们。...与 Per-Job 模式相比，Application Mode 允许提交由多个作业组成的应用程序。作业执行的顺序不受部署模式的影响，但受用于启动作业的调用影响。...支持定期完成作业（通过关闭源）。 Per-Job 模式为了提供更好的资源隔离保证，Per-Job 模式使用可用的资源提供者框架（例如 YARN、Kubernetes）为每个提交的作业启动一个集群。...总结在会话模式下，集群生命周期独立于集群上运行的任何作业的生命周期，并且资源在所有作业之间共享。

1.8K2 0

聊聊Flink必知必会(六)

JobManager和taskmanager可以通过多种方式启动:直接在机器上作为独立集群启动，在容器中启动，或者由YARN等资源框架管理。...Flink为不同的环境和资源提供商(如YARN、Kubernetes和独立部署)实现了多个resourcemanager。...Dispatcher：提供了一个REST接口来提交Flink应用程序以供执行，并为每个提交的作业启动一个新的JobMaster。它还运行Flink web以提供有关作业执行的信息。...Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用Flink作业集群(已弃用)或Flink应用程序集群。这些选项之间的区别主要与集群的生命周期和资源隔离保证有关。...例如，这允许您像部署Kubernetes上的任何其他应用程序一样部署Flink应用程序。因此，Flink应用程序集群的生存期与Flink应用程序的生存期绑定在一起。

2311 0

flink集群模式

（Session Mode）工作模式：会话模式是先启动一个集群，此时集群的资源已确定，所有的 flink client提交的job作业都会共享这些固定的资源。...当集群的资源不足，新提交的任务可能会失败。当一个TaskManager执行的job作业过多的时候，若是某一个作业导致TaskManager宕机，已经提交的但尚未完成的job都会收到影响。...注意：Flink 本身无法直接这样运行，所以单作业模式一般需要借助一些资源管理框架来启动集群，比如 YARN、Kubernetes（K8S）。...这个 JobManager 只为执行这一个应用而存在，执行结束之后 JobManager 也就关闭了，这就是所谓的应用模式三个模式比较：会话模式和单作业模式的应用代码都是在flink client...单作业模式和应用模式的比较：单作业模式是通过客户端来提交的，客户端解析出的每一个作业对应一个集群；而应用模式下，是直接由 JobManager 执行应用程序的，并且即使应用包含了多个作业，也只创建一个集群

1780 0

Flink 架构学习总结

Flink为不同的环境和资源提供商（如YARN、Kubernetes和独立部署）实现了多个ResourceManager。...在standalone设置中，ResourceManager 只能分配可用TaskManager的插槽，不能独立启动新的TaskManager。...Dispatcher Dispatcher提供了一个REST接口来提交Flink应用程序以供执行，并为每个提交的Job启动一个新的JobMaster。...job提交是一个一步到位的过程: 你不需要先启动Flink集群，然后向现有集群会话提交job ，相反，你将应用程序逻辑和依赖项打包到一个可执行的作业JAR包中，集群入口点(ApplicationClusterEntryPoint...这允许你像Kubernetes上的任何其他应用程序一样部署Flink应用程序。Flink应用程序集群的生命周期因此与Flink应用的生命周期绑定。

2262 0

Flink的类加载器

以下是有关不同部署模式的更多详细信息： Standalone Session 当作为独立会话启动 Flink 集群时，JobManagers 和 TaskManagers 使用 Java 类路径中的 Flink...针对会话（通过 REST / CLI）提交的所有作业/应用程序中的类都是动态加载的。...提交作业/应用程序，其行为类似于独立会话：Flink 的代码位于 Java 类路径中，插件组件和作业代码在启动时动态加载。...YARN YARN 类加载在单个作业部署和会话之间有所不同：当直接向 YARN 提交 Flink 作业/应用程序时（通过 bin/flink run -m yarn-cluster …），将为该作业启动专用的...针对会话提交的所有作业的类都是动态加载的。

2.3K2 0

云原生模式部署Flink应用

入门指南本入门部分将指导您在 Kubernetes 上设置功能齐全的 Flink 集群。基本介绍 Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。...会话模式可以在两种模式下执行：分离模式（默认）：kubernetes-session.sh 在 Kubernetes 上部署 Flink 集群，然后终止。...例如，用户可以使用以下 Flink 配置选项来设置并发最大请求数，这允许在使用 Kubernetes HA 服务时在会话集群中运行更多作业。请注意，每个 Flink 作业会消耗 3 个并发请求。...ClusterIP：在集群内部 IP 上公开服务。该服务只能在集群内访问。如果要访问 JobManager UI 或将作业提交到现有会话，则需要启动本地代理。...然后，您可以使用 localhost:8081 将 Flink 作业提交到会话或查看仪表板。

2K3 0

Apache Flink on Kubernetes运行模式分析

Flink运行模式本文首先分析了Apache Flink 1.10在kubernetes集群上已经GA（生产可用）的两种部署模式，然后分析了处于Beta版本的native session部署模式和即将在...特点分析之前我们提到的两种部署模式，在kubernetes上运行Flink任务是需要事先指定好TaskManager的数量，但是大部分情况你，用户在任务启动前是无法准确的预知该任务所需的TaskManager...简介分析以上四种部署模式，我们发现，对于Flink集群的使用，往往需要用户自行维护部署脚本，向kubernetes提交各种所需的底层资源描述文件（Flink Master，TaskManager，配置文件...最后通过本文，我们了解了 Flink在Kubernetes上运行的不同模式，其中native模式在资源按需申请方面比较突出，借助kubernetes operator，我们可以将Flink集群当成Kubernetes...限于篇幅，本文主要分析了Flink在Kubernetes上的运行模式的区别，后续将会有更多的文章来对Flink在Kubernetes上的最佳实践进行描述，敬请期待。

2.3K7 0

大数据Flink进阶（十五）：Flink On Yarn任务提交

Flink On Yarn任务提交支持Session会话模式、Per-Job单作业模式、Application应用模式。下面分别介绍这三种模式的任务提交命令和原理。...Flink允许在一个main方法中提交多个job任务，多Job执行的顺序不受部署模式影响，但受启动Job的调用影响，每次调用execute()或者executeAsyc()方法都会触发job执行，我们可以在一个...-id --applicationId，指定YARN集群上的任务ID，附着到一个后台独立运行的yarn session中。 -qu --queue,指定Yarn的资源队列。...Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。...以上命令提交后，我们可以通过Yarn WebUI看到有2个Application 启动，对应2个Flink的集群，进入对应的Flink集群WebUI可以看到运行提交的Flink Application中的不同

5K4 3

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

对于 Flink 作业的提交部署，Flink on K8s 有多种部署模式（详细介绍请参考TKE团队出品的文章：Flink on kubernetes 部署模式分析[2]），Flink 开源社区先后推出了基于...通过 Flink Operator，客户端就可以通过一个简单的声明式 API 提交部署 Flink 作业，各组件的生命周期统一由 Operator 控制，例如： apiVersion: flinkoperator.Kubernetes.io...使用 Flink Operator 部署 Flink 作业的好处不言而喻，客户端不需要像 Flink on Kubernetes Native 部署方式那样需要 kubeconfig，可以直接通过 http...对于历史失败作业，我们在Kubernetes上也部署了一个 Flink History Server，可以灵活地扩缩容，从此再也不用担心半夜作业挂了自动重启无法追溯原因了。 ?...在本篇文后留言处回答2位作者的提问： ① Flink on Kubernetes 通常有哪几种部署模式？对于当前的Flink版本，你在生产实践中使用哪种部署模式？

2K2 1

【万字长文】详解Flink作业提交流程

提交模式又可分为： Detached：Flink Client 创建完集群之后，可以退出命令行窗口，集群独立运行。 Attached：不能关闭命令行窗口，需要与集群之间维持连接。...1.1 Yarn Session 提交流程启动集群：使用 bin/yarn-session.sh 提交会话模式的作业。...如果启动新的 Yarn Session 集群，则进入步骤（2） Yarn 启动新 Flink 集群 1）如果没有集群，则创建一个新的 Session 模式的集群。...作业提交： Yarn 集群准备好后，开始作业提交。 1）Flink Client 通过 Rest 向 Dispatcher 提交 JobGraph。...作业提交： Client 用户可以通过 Flink 命令行（即 Flink Client）向这个会话模式的集群提交任务。

1.8K1 0

Flink核心概念之架构解析

它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。...Flink 为不同的环境和资源提供者（例如 YARN、Mesos、Kubernetes 和 standalone 部署）实现了对应的 ResourceManager。...Dispatcher 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。...以前，Flink Job 集群也被称为 job (or per-job) 模式下的 Flink 集群。 Kubernetes 不支持 Flink Job 集群。...例如，这允许你像在 Kubernetes 上部署任何其他应用程序一样部署 Flink 应用程序。因此，Flink Application 集群的寿命与 Flink 应用程序的寿命有关。

7443 0

聊聊Flink的必知必会(一)

Flink作业需要将计算任务分发到多个TaskManager上并行执行。 Flink支持多种部署模式，可以部署在单机（Local）、集群（Cluster），以及云（Cloud）上。...Local模式：一般是单节点； Cluster模式：一般使用Cluster模式将Flink作业投入到生产环境中，生产环境可以是Standalone的独立集群，也可以是YARN或Kubernetes集群。...Cloud模式：Flink也可以部署在各大云平台上，包括AWS、谷歌云和阿里云。 Standalone集群上只运行Flink作业。...Flink作业提交请先了解集群模式提交作业的流程Flink学习（一）：SocketWindowWordCount示例以Standalone集群部署为例，分析作业的提交过程。...ResourceManager Flink现在可以部署在Standalone、YARN或Kubernetes等环境上，不同环境中对计算资源的管理模式略有不同，Flink使用一个名为ResourceManager

4441 2

Flink从1.7到1.12版本升级汇总

统一的作业提交逻辑在此之前，提交作业是由执行环境负责的，且与不同的部署目标（例如 Yarn, Kubernetes, Mesos）紧密相关。...Per-job 模式：为了解决 session 模式隔离性差的问题，每个作业根据资源需求启动独立的集群，每个作业的 JM 也是运行在独立的进程中，负载相对小很多。...K8s 不再有严格意义上的 per-job 模式，application 模式相当于 per-job 在集群进行提交作业的实现。...除此之外，现在原生支持将 PyFlink 作业部署到 Kubernetes上。 7.1....PyFlink Jobs on Kubernetes (FLINK-17480) 除了 standalone 部署和 YARN 部署之外，现在也原生支持将 PyFlink 作业部署在 Kubernetes

2.6K2 0

全网最详细4W字Flink入门笔记（上）

Session、Per-Job和Application是Flink在YARN和Kubernetes上运行时的三种不同模式，它们不是独立的部署模式，而是在YARN和Kubernetes部署模式下的子模式。...Per-Job模式：在Per-Job模式下，每个作业都会启动一个独立的Flink集群。Per-Job模式的优点是作业之间相互隔离，缺点是作业提交慢。...在Application模式下，每个作业都会启动一个独立的Flink集群，但是作业提交快。这三种模式都可以在YARN和Kubernetes部署模式下使用。...提交作业流程 Session 模式：在 Session 模式下，Flink 运行在交互式会话中，允许用户在一个 Flink 集群上连续地提交和管理多个作业。...Per-Job 模式：在 Per-Job 模式下，每个作业都会启动一个独立的 Flink 集群，用于执行该作业。这种模式适用于独立的批处理或流处理作业，不需要与其他作业共享资源。

1K3 3

全网最详细4W字Flink入门笔记（上）

Session、Per-Job和Application是Flink在YARN和Kubernetes上运行时的三种不同模式，它们不是独立的部署模式，而是在YARN和Kubernetes部署模式下的子模式。...Per-Job模式：在Per-Job模式下，每个作业都会启动一个独立的Flink集群。Per-Job模式的优点是作业之间相互隔离，缺点是作业提交慢。...在Application模式下，每个作业都会启动一个独立的Flink集群，但是作业提交快。这三种模式都可以在YARN和Kubernetes部署模式下使用。...提交作业流程 Session 模式：用户启动 Flink 会话，并连接到 Flink 集群。...在 Session 模式下，Flink 运行在交互式会话中，允许用户在一个 Flink 集群上连续地提交和管理多个作业。用户可以通过 Flink 命令行界面（CLI）或 Web UI 进行交互。

1.4K3 3

Dinky在Kubernetes的实践分享

三、Kuberbetes Native Application （需要确保部署服务器上已安装kubectl，可以正常连通k8s） 1.编译部署dinky 1、重复 native session模式下的...= 'k8s-flink-app'; 4.作业开发 1、提交application任务： 2、通过历史查看任务提交记录：四、优点 1.FlinkSQL 交互开发 dinky 改变了传统的...Flink SQL 作业的开发和运维方式，通过基于Flink源码定制的平台化能力，大大降低了企业内Flink的使用成本。...2.不存在镜像过多或冗余的问题 dinky 通过 dlink-app 的镜像统一提交 FlinkSQL 任务，不需要搭建其他镜像，缩短了 FlinkSQL Application 的任务提交流程，提升了提交速度...3.对k8s Application 的 Jar 任务支持不友好目前 dinky 的 Jar 管理的任务 Jar 无法直接应用到 k8s 模式，需要手动构建镜像，建议可以自动化构建部署镜像。

3.5K2 0

Flink on K8s 企业生产化实践

Kubernetes 会满足您的扩展要求、故障转移、部署模式等，Kubernetes 项目的本质，是为用户提供一个具有普遍意义的容器编排工具。...Flink on K8s 部署模式 3.1 Flink 的部署模式 [1] Session 模式多个 Job 提交共享同一个 JobManager，Flink Cluster的实例已经被创建，并被所有...Per-Job 模式为每次 Job 提交启动专用 JM，JM 将只执行此作业，然后退出。...Native 是相对于 Flink 而言的，借助 Flink 的命令就可以达到自治的一个状态，不需要引入外部工具就可以通过 Flink 完成任务在 K8s 上的运行。...3.5部署方案最终选择通过Flink standalone和 native 模式的分析，standalone需要配合 kubectl + yaml 部署，Flink 无法感知 K8s 集群的存在，资源被动申请

2K7 0

使用 Kubernetes 部署 Flink 应用

这些应用被打包在一个个非常轻量的容器中，我们通过声明的方式来告知 Kubernetes 要如何部署和扩容这些程序，并对外提供服务。...概述在 Kubernetes 上部署 Flink 有两种方式：会话集群（Session Cluster）和脚本集群（Job Cluster）。...会话集群和独立部署一个 Flink 集群类似，只是底层资源换成了 K8s 容器，而非直接运行在操作系统上。该集群可以提交多个脚本，因此适合运行那些短时脚本和即席查询。...但是，因为存在一个尚未解决的 Issue，我们无法使用 flink modify 命令来对 HA 模式下的 Flink 集群进行扩容，因此还请使用人工的方式操作。...这种主动管理资源的模式，社区正在开发针对 Kubernetes 的版本（FLINK-9953），今后我们便可以使用简单的命令来将 Flink 部署到 K8s 上了。

1.9K3 0

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

总结一下 Spark on Kubernetes 在网易的演进过程：早期方案：1. 仅支持通过 JDBC、BeeLine 提交 SQL 任务 2....Kyuubi 集群部署在 K8s 集群外的物理机节点上3. Spark 作业以 Client 模式运行4....每台节点上安装 SSD，并以 hostPath 模式挂载到 Pod 里改进后的方案：1. 支持通过 JDBC、BeeLine、RESTful 提交 SQL/Jar 任务 2....Kyuubi 以 StatefulSet 的形式部署在 K8s 集群中3. Kyuubi 使用 MySQL 存储状态数据 4. Spark 作业以 Cluster 模式运行 5....现场问答Q：我们已经在 K8s 上部署了 Kyuubi 用于往 K8s 上提交 Spark 任务，下一步我们打算使用 Kyuubi 也往 YARN 提交 Spark 和 Flink 任务。

8654 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭