我正在尝试使用一些树莓派和我的主桌面设置一个小型的3节点Spark集群，但似乎无法让Pi与我的主节点(桌面)对话。我已经正确配置了网络，因为我还在所有三个节点上运行Cassandra (开放源码，而不是DSE)。如果我转到web UI，它只显示我的主计算机。我可以输入每个工作节点的web用户界面地址，并获得它们各自的web用户界面页面。他们似乎不知道我的主节点。我的slaves文件中有每个从节点。我觉得我只遗漏了一件
浏览 108提问于2017-07-05得票数 1
回答已采纳
我试图通过集群启动脚本启动集群。我已经将集群的IP地址添加到conf/ into文件中。主机通过无密码ssh连接到所有的奴隶。运行./bin/start-slaves.sh脚本后，我得到以下消息：
启动/root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker</em
浏览 2提问于2013-11-08得票数 11
我在Ubuntu 18.04上安装了Spark 2.3.0，有两个节点:主节点(ip: 172.16.10.20)和从节点(ip: 172.16.10.30)。我可以检查这个Spark集群是否已启动并正在运行14165 org.apache.spark.deploy.master.Master --host 172.16.10.20--port 7077 --webui-p
浏览 17提问于2018-09-01得票数 0
但是，我使用了两台不同的机器，而不是从VmWare工作站的主服务器中克隆从服务器。我已经声明了火花-env.sh中的下列变量exportSPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_POR
浏览 3提问于2015-11-15得票数 0
回答已采纳
localhost:8080或<master_ip>:8080不为我打开，但<master_ip>:
浏览 4提问于2016-12-01得票数 3
回答已采纳
当我查看主节点的web ui时，它显示了我当前连接到集群的所有工作进程。不过，我遇到的问题是，它在web ui中用于工作节点的IP地址不正确。是否有方法可以更改工人的web ui主机/ip，该主机/ip用于主的web ui中？通读文档，似乎有为worker设置端口的"SPARK_WORKER_WEBUI_PORT“，但似乎没有"
浏览 17提问于2020-07-31得票数 1
回答已采纳
“我正在设置一个新的apache- setting 2节点集群”问题:从节点还没有开始。
我已经在SPARK_HOME中配置了不同的.bashrc路径。在主节点主机中，给出了主节点目录路径，在从<e
浏览 0提问于2019-08-04得票数 1
1回答
我的问题是从其他节点到主节点之间的连接。我有3个节点设置如下：
我的问题是从其他节点到主节点之间的连接，所以我首先启动主sbin/start-master.sh.。在我的第一次尝试中，对第2行进行了注释，主节点从这个入口spark://c96____37fb:7077.开始，我使用以下命令成功地连
浏览 0提问于2017-01-17得票数 1
1回答
我正在尝试使用主节点和工作节点在本地集群上调试Spark应用程序。我已经成功地使用start-master.sh和it works.But设置了Spark独立集群管理器的主节点和工作节点。我想知道Spark应用程序在spark集群中是如何工作的，所以我想在调试模式下启动集群。我读了start-master.sh代码，模拟了参数，启动了org.apache.spark</em
浏览 3提问于2018-04-25得票数 1
我无法启动ApacheSpark2.1.1的worker节点(我有一个节点设置，我的主和工作人员将在同一个主机上运行)，下面是日志：
启动org.apache.spark.deploy.master.Master，登录到org.apache.spark.deploy.master.Master本地主机:启动org.apache.spark.deploy.worker.<e
浏览 3提问于2017-08-16得票数 0
回答已采纳
我从Spark服务器检索到了这个(在示例中我通过删除许多行)检索到的非平凡的JSON： "spark.worker.cleanup.enabled": true, "spark.worker.cleanup.appDataTtl": 7200,
"fusion.spark</em
浏览 0提问于2019-01-09得票数 1
回答已采纳
主节点和工作节点在主机os上启动并运行。我正在尝试启动一个码头容器，以作为一个工作节点运行。主机os为ubuntu18.04 64位。ENTRYPOINT $SPARK_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker $MYMASTER
用下面的命令使用上面的Dockerfile问题是，当使用下面的
浏览 0提问于2018-08-05得票数 0
回答已采纳
但是，我必须给出一个启动spark-shell的绝对路径。我正在尝试在start-shell.sh中设置环境变量，即PATH和其他几个变量。然而，它并没有在容器中设置那个。但这些变量从未得到反映。我正在使用dockerCompose.yml来构建和重新创建一个图像和容器。=${SPARK_HOME}/logs/spark-wo
浏览 6提问于2021-08-16得票数 0
回答已采纳
这在开发模式(master=local*)中工作得很好。但是，当我以客户端模式将我的应用程序提交到集群时，执行者仍然使用Avro 1.7.7库。.','/')+".class");
/opt/spark/lib/spark-assembly-1.5.1-hadoop2.6.0.jar/org/apache/avro/generic&#x
浏览 0提问于2016-03-24得票数 1
/spark-env.sh中具有以下配置(未显示该文件中的项目，我已将其注释掉)：export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080 # JupyterLab uses port 8888# Total RAM workers have to gi
浏览 0提问于2018-12-21得票数 0
我正在尝试使用两个运行Windows10的系统来设置spark 3的光泽。在spark://<hostname>:7077上启动主服务器的spark-class org.apache.spark.deploy.master.Master -h <hostname> 在我试图用作工作节点的第二台机器上，我使用的是spark-class org.apache.spark.deploy.w
浏览 24提问于2020-07-15得票数 0
我已经在Kubernetes上为spark-master、spark-worker和spark-ui等spark组件创建了kubectl服务。我通过NodePort将spark-master暴露为KubeService，因此我可以访问spark-webui页面，如下所示：从minikube内部的chrome浏览器
浏览器上http://{miniku
浏览 0提问于2020-09-09得票数 0
2回答
星星之火找不到本地IP
、、、
我有一个构建任务，我正试图在一个由1个节点组成的AWS Fargate集群中设置。当我试图运行Spark来构建我的数据时，我会发现一个错误，那就是Java找不到"localHost“。我尝试过使用local[*]、spark://<ip from metadata>:<port from metadata>、<ip>和<ip>:<port>变体，但都没有效果。我正在使用Spark2
浏览 2提问于2018-05-31得票数 1
回答已采纳
我正在运行一个小型集群，其中有一个单独的主节点和一个从节点(带有8个VCores)。我通过/sbin/start-all.sh启动集群，然后使用/bin/pyspark --master spark://<master ip>:7077向集群中添加火花放电。现在，在webui中，一切看起来都很好，我让我的工作人员注册了主程序，我有8个可用的内核。此外，火花放电壳也得到了所有8个核心
浏览 3提问于2017-04-27得票数 1
回答已采纳
我正在建立一个有点特别的星火工人集群:也就是我坐在附近的几台实验室机器。但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。编辑#1 Hmm，找到了，强烈建议这是当前的实现--假设所有员工的$SPARK_HOME都是相同的。
浏览 0提问于2014-06-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
