Kubernetes中的Flink Job部署

文章/答案/技术大牛

发布

1回答

如何在flink作业jar较大时远程执行flink作业

apache-flink、flink-streaming

我有运行在Kubernetes集群上的flink服务器。我有一个job jar，由于产品和第三方的依赖，它是笨重的。我通过jar环境= ExecutionEnvironment.createRemoteEnvironment(host，端口运行它)；优化后的jar大小约为130MB。我希望在不使用jar upload的情况下调用remoteExecution，这样就不会在每次需要执行作业时都进行上载。有没有一种方法可以上传jar一次并远程调用它，而不需

浏览 49提问于2019-03-18得票数 0

1回答

Kubernetes和Native Kubernetes上的Flink部署有何不同

kubernetes、apache-flink、flink-streaming

b/w Native Kubernetes和Kubernetes部署的主要区别是什么？我是Kubernetes的新手，并试图了解Flink在它们上的部署有何不同。如果对内部结构有任何了解，这将是非常有帮助的。

浏览 53提问于2020-08-06得票数 3

回答已采纳

2回答

如何在flink minikube集群中添加依赖？

java、kubernetes、apache-flink

我有一个作业jar，它依赖于flink-json-1.7.2.jar，flink-table_2.11-1.7.2.jar。如果我将这两个jars文件添加到flink的lib文件夹中，它就可以在我的本地计算机上正常运行。我怎样才能在我的minikube集群上实现同样的效果。例如，将依赖项添加到flink。Ps。我已经按照this文档设置了我的minikube。此外，我还可以看到在构建作业jar时创建的</e

浏览 23提问于2019-03-11得票数 2

2回答

azure、kubernetes、apache-flink、devops、azure-aks

我正在尝试在Kubernetes集群(Azure AKS)中部署Flink作业。作业群集在启动后立即中止，但任务管理器运行正常。 docker镜像创建成功，没有任何异常。我已经按照以下链接中提到的步骤进行了操作： https://github.com/apache/flink/tree/release-1.9/flink-container/kubernetes 在创建图像时，我提供了<em

浏览 79提问于2019-12-13得票数 2

1回答

Flink和k8s部署

kubernetes、apache-flink

根据Flink的文档，我们可以在Kubernetes之上部署一个独立的Flink集群，使用Flink的独立部署，或者使用本地Kubernetes部署在Kubernetes上部署Flink。文件上说我们通常建议新的用户使用本地Kubernetes部署在Kubernetes上

浏览 7提问于2022-01-05得票数 1

1回答

Flink作业群集Kubernetes从保存点恢复

apache-flink、flink-streaming

我们目前在kubernetes上以作业集群的形式运行flink，使用的是helm模板：https://github.com/docker-flink/examples/tree/master/helm/flink (添加了一些配置)。如果我想关闭集群，重新部署一个新的映像(由于应用程序代码更新)，然后重新启动，我该如何从保存点恢复？jobmanager命令是在standal

浏览 17提问于2020-06-11得票数 0

1回答

基于Kubernetes的Apache部署-可用性和可伸缩性

kubernetes、apache-flink、flink-streaming

我使用Kubernetes (Openshift)部署许多微服务。我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的方式

浏览 0提问于2020-02-13得票数 3

1回答

如何在K8s上自动缩放Flink状态函数

apache-flink、knative-serving、flink-statefun

我当前的Flink应用程序我尝试将kubernetes.jobmanager.replicas设置在flink-config ConfigMap中：apiVersion: v

浏览 54提问于2022-01-26得票数 0

2回答

如何在应用程序模式下将java参数传递给Flink作业工件

java、kubernetes、apache-flink

我刚刚将Flink从版本1.10升级到1.11。在1.11中，Flink提供了新功能，用户可以在Kubernetes上以应用程序模式部署作业。https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/kubernetes.html#deploy-session-cluster在V1

浏览 74提问于2020-09-02得票数 1

回答已采纳

1回答

如何在kubernetes上使用Flink* 1.11扩展/缩小正在运行的flink集群？*

apache-flink、kubernetes-helm、flink-streaming

我在Kubernetes上运行Flink，当我更新TaskManager部署的副本时，Kubernetes会为我放大/缩小TM pods的数量，但当我检查TM是否已启动时，新添加的Tm没有收到任何任务，不确定这是否是我需要做的全部工作。是否需要执行其他操作才能使作业适应flink 1.11.3版本中更多/更少的TMs

浏览 24提问于2021-07-29得票数 0

1回答

使用NFS和Ververica进行工件存储不起作用，抛出错误:没有为方案文件找到合适的工件抓取器

apache-flink

flink作业时，请使用以下作业uri： jarUri: file:///var/nfs/artifacts/namespaces/default/flink-job.jar 我可以在VervericaUI中看到我的工件，但是当我尝试部署flink作业时，它失败了，出现以下异常： Error: No suitable artifact fetcher found for scheme file 完全错误如果我

浏览 118提问于2020-12-03得票数 1

回答已采纳

1回答

如何从Kubernetes中的flink* docker镜像启动我的jar应用程序？*

docker、kubernetes、apache-flink

我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中，就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink，并用这个Dockerfile扩展了默认的flink图像flink:1.11.

浏览 89提问于2020-09-21得票数 1

回答已采纳

2回答

flink操作符能用ApplicationCluster支持批处理作业吗？

apache-flink、flink-batch

“增加restartNonce”是一种重新运行工作的设计方式吗？我试图使用flink操作符来部署flink批处理作业，并每天在特定时间使用kubernetes Cron作业触发它。

浏览 19提问于2022-11-23得票数 0

回答已采纳

1回答

如何向Flink* kubernetes操作员部署CRD添加标签？*

kubernetes、apache-flink、flink-streaming

我部署了Flink kubernetes操作符，在为“Flink deployment”部署自定义资源时，我需要向部署规范中添加几个元数据标签，因为我们的组织有一个允许few钩子来验证自定义标签，如'app_id‘、'env’等，以便在部署对象中。是否有方法将metadata.labels添加到FlinkDeployment CRD中？CRD是https:/github

浏览 23提问于2022-11-07得票数 0

2回答

如何在Kubernetes* Flink集群中实现JobManager高可用性？*

kubernetes、apache-flink

Flink正式文档为独立的和Yarn集群提供了一个解决方案。但是，如何使用Kubernetes Flink集群来实现高可用性呢？从文档的部分来看，在部署到Kubernetes集群时，我们似乎只部署了一个Jobmanager。那么，如何为Kubernetes Flink集群实现HA呢？

浏览 0提问于2018-08-20得票数 4

回答已采纳

1回答

K8 HA模式下的Flink隔离错误

apache-flink、flink-streaming

我正在使用Flink 1.12，并试图通过Kubernetes集群(AKS)将作业管理器保留在HA中。我正在运行2个作业管理器和2个任务管理器pod。 "configmap-type&qu

浏览 232提问于2021-02-16得票数 0

回答已采纳

1回答

无法部署flink应用程序

docker、apache-flink、kubectl

我已经开发了Java代码，我希望将其部署为docker映像，并测试它作为jobManager和TaskManager yamls来运行和运行应用程序。但我面临的问题是如何使这项服务得以启动和运行。我遵循在kubernates中部署代码。越来越少的错误，职务“flink-on-kubernetes- C:\Deployment\Flink>kubectl”无效: spec.template:无效值：“-f GenerateName：on-kubernet

浏览 4提问于2019-12-06得票数 0

1回答

Apache Flink* Kubernetes作业参数*

apache-flink、flink-streaming

我正在尝试用Kubernetes设置一个集群(Apache Flink 1.6.1)，当我在它上面运行一个作业时，得到了以下错误：我的作业接受一个配置文件(file.properties)作为参数。这在独立模式下工作得很好，但是很明显Kubernetes集群不能解析它args: [&quo

浏览 0提问于2018-10-09得票数 0

1回答

Apache Flink操作符-启用azure-fs-hadoop

azure、kubernetes、apache-flink

我试图在k8s上使用flink操作符( Flink Operator () )执行Flink工作，该操作使用到Azure Blob存储的连接，在这里描述：你能指导我如何把它做好吗？下面你可以找到我的FlinkDeployment文件。"

浏览 12提问于2022-07-01得票数 1

回答已采纳

1回答

在应用程序完成时清理Kubernetes上的Flink应用程序集群的最佳实践

kubernetes、apache-flink、flink-batch

我们在应用程序模式下的Kubernetes上运行Flink作业，问题是当作业完成/停止时，作业管理器容器将退出，但1.任务管理器的部署2.作业管理器服务3.删除将仍然存在，除非我们运行kubectl configMap如果我们手动停止作业，这并不是什么大问题，但如果我们的Flink作业是一个批处理作业，稍后将完成，这意味着我们需要一个外部服务来监视作业管理器容器，并在完成后清理剩余资源，这是不太实际的。我想知道这里的最佳实践

浏览 5提问于2021-02-20得票数 0

点击加载更多

如何在flink作业jar较大时远程执行flink作业

Kubernetes和Native Kubernetes上的Flink部署有何不同

如何在flink minikube集群中添加依赖？