有很多使用Kubernetes Spark操作符创建Spark作业并简单地提交具有以下内容的请求的示例可以在this 中找到spark-pi.yaml有没有人知道用Java提交这样的作业最简单的方法是什么？
浏览 15提问于2020-06-04得票数 0
以下是我的提交命令： [MY_PATH]/bin/spark-submit \ --deploy-mode/spark-submit \ --deploy-mode cluster \
浏览 40提问于2019-04-15得票数 6
回答已采纳
我想使用Kubernetes作为星火的资源管理器。.--conf spark.kubernetes.authenticate.driver.serviceAccountName=default \
--conf spark.kubernetes.container.image=private-docker-registery/spark/spark:3.2.
浏览 4提问于2022-10-13得票数 0
回答已采纳
我正在尝试在Kubernetes上用Spark运行一个简单的字数统计应用程序。我得到了以下问题。at io.fabric8.kubernetes.client.dsl.base.BaseOperation.get(BaseOperation.java:184) --conf spark.<e
浏览 8提问于2018-12-24得票数 5
我已经用3个节点部署了k8s集群，部署了how。=spark \ --conf=spark \ --
浏览 1提问于2020-02-04得票数 1
1回答
我已经用脚本构建了自己的对接映像，脚本位于一个标准的pyspark映像之上，现在我尝试在k8s集群上运行这个映像，但是得到以下错误。DNS吊舱日志没问题。=spark --name spark_k8s_hello_world_0
--conf spark.kubernetes<
浏览 6提问于2020-03-04得票数 0
=isap \ --conf spark.kubernetes.container.image.pullPolicy=Always \ --conf spark.kubernetes.container.image=us.ic
浏览 40提问于2020-06-15得票数 1
1回答
\ --conf spark.serializer--conf spark.kubernetes.file.upload.path=/code-volume/upload_path \
--conf spark.kubernetes.authenticate.drive
浏览 7提问于2022-02-26得票数 2
回答已采纳
cluster --name test-pyspark \--conf spark.kubernetes.pyspark.pythonVersion=3 \--conf spark.executor.memoryt_ -k4 -n
+ grep SPAR
浏览 0提问于2019-08-25得票数 3
回答已采纳
3回答
我正在使用Airflow来安排和运行Spark任务。到目前为止，我发现的是Airflow可以管理的python DAG。DAG示例：import logging
from airflow.operators import PythonOperator(**kwargs): sc = pyspark.SparkContext()
df = sc.textFile('file:///opt
浏览 0提问于2016-10-03得票数 41
回答已采纳
/api/v1/namespaces/default/pods/spark-pi-1554304245069-driver./api/v1/namespaces/default/pods/spark-pi-1554304245069-driver.at io.fabric8.kubernetes.client.dsl.base.OperationSupport.assertRespons
浏览 1提问于2019-04-03得票数 19
回答已采纳
/api/v1/namespaces/default/pods/spark-pi-a8278472e1c83236-driver.)
at io.fabric8.kubernetes.client.dsl.base.OperationSupport.handleResponse(OperationSupport.java:.kubernetes.client.dsl.base.BaseOperation.getMandatory(Base
浏览 129提问于2020-06-24得票数 2
回答已采纳
=/usr/local/spark/spark-2.4.5-bin-hadoop2.7/ca.crt --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.container.image=bitnami/spark:latest test.py
浏览 4提问于2020-05-24得票数 0
我用docker-image-tool.sh脚本构建了一个普通的码头映像。把它加到我的注册表里。集装箱日志：exec /sbin/tini
浏览 0提问于2019-01-16得票数 8
我用的是火花2.4.4。Launching Kubernetes ... --deploy-mode cluster \--conf spark.kubernetes.image.pullPolicy=IfNotPresent \--conf <e
浏览 1提问于2020-02-04得票数 0
回答已采纳
另外，在大多数情况下，我们在kubernetes上提交星火应用程序，因此火花作业在其他Docker容器上运行。
因此，我想知道，为了使码头形象更小，如何嵌入火花提交功能？。
浏览 7提问于2022-11-16得票数 1
2回答
我使用Kubernetes Java 来获取当前的所有名称空间。我搞错了- at io.kubernetes.client.ApiClient.execute(ApiClient.java:801)
at io.kubernetes.
浏览 1提问于2019-04-30得票数 4
回答已采纳
我有一个通过库伯内特斯吊舱运行的火花作业。到目前为止，我一直在使用Yaml文件手动运行我的工作。现在，我想通过气流来安排我的火花工作。这是我第一次使用气流，我不知道如何在气流中添加我的Yaml文件。从我所读到的是，我可以安排我的工作通过DAG在气流。下面是一个dag示例：from airflow.models import DAG
args = {'owner':'test', '
浏览 2提问于2019-10-24得票数 6
回答已采纳
1回答
: Failure executing: POST at: https://172.17.0.2:8443/api/v1/namespaces/default/pods.at io.fabric8.kubernetes.client.dsl.base.OperationSupport.assertResponseCode(OperationSupport.java:449)
at io.fabric8.kubernetes.client.
浏览 9提问于2020-05-06得票数 0
我遵循了Spark的文档：https://spark.apache.org/docs/2.4.4/running-on-kubernetes.html 当我在k8s上使用HTTP proxy提交作业时:然而，对于k8s上的原生HTTPS API，我得到了这个错误： 以前，我必须将k8s应用程序接口证书导入我的主Spark (keytool)。" is forbidden: User "system:anonymous" can
浏览 27提问于2020-08-28得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
