Spark集群模式&线程

文章/答案/技术大牛

发布

1回答

apache-spark、hadoop-yarn

我正在从一个网关启动一个带有--master yarn --deploy-mode cluster选项的spark应用程序(2.1.0)，它采用yarn集群模式。然而，我看到spark-submit在网关上启动的进程仍然在本地创建了数百个线程。我希望线程是在工作节点上创建的，而不是在网关中创建的，因为集群模式是激活的。集群模式由日志确认。为什么会有数百个线程在网关中被启动？ PS:我使用的是运行Ha

浏览 15提问于2017-08-30得票数 0

6回答

setMaster‘`local[]’在spark*中是什么意思？

scala、apache-spark

我找到了一些在本地启动spark的代码：val ctx = new

浏览 3提问于2015-09-02得票数 68

1回答

在单个机器上设置带有火花放电的任务槽

apache-spark、pyspark、hyperopt

接受spark_session作为一个论点，理论上它是我设置核数目的地方。谢谢!import linear_model, datasets, model_selectionfrom pyspark.sql import SparkSession spark= SparkSession.builder.master("local").config('spark.local.dir', './').config("

浏览 5提问于2020-11-02得票数 0

回答已采纳

1回答

SPARK_WORKER_CORES设置对火花单机并发性的影响

apache-spark、streaming、distributed-computing、apache-spark-standalone

我使用的是以独立模式配置的Spark2.2.0集群。集群有2台八位数核心机器。此群集只用于火花作业，没有其他进程使用它们。我有大约8个星火流应用程序运行在这个集群上。我显式地将SPARK_WORKER_CORES (在Spark-env.sh中)设置为8，并使用全执行器核心设置为每个应用分配一个核心。此配置减少了并行处理多个任务的能力。我想让Spark做的是为每个作业和进程并行启动单独的线程。但是我找不到一个单独的火花设置来控制<em

浏览 0提问于2018-01-29得票数 1

回答已采纳

3回答

在Apache Spark中提交申请

java、apache-spark

我是Apache Spark的新手，正在尝试创建一个简单的应用程序来在本地模式下运行它，我意识到它有像spark-submit这样的脚本来提交应用程序。请告诉我在Spark中对应的API。感谢在这方面的帮助。谢谢。

浏览 3提问于2016-09-20得票数 1

1回答

在spark独立模式下，主程序和执行器是否位于同一台机器上？

apache-spark、apache-spark-standalone

spark独立模式是否意味着执行器和主控器在同一台机器上运行?如果是，它如何参与并行性。是否将spark conf的本地函数设置为独立模式时传递的值，以指示spark应用程序在单机上运行？

浏览 2提问于2019-08-17得票数 0

1回答

Apache Spark无法在亚马逊EC2上使用spark-submit脚本连接到主服务器

apache-spark、amazon-ec2

首先，我使用spark-ec2脚本在EC2上设置了一个包含一个主节点和一个工作节点的Spark集群。在我使用ssh连接到我的EC2主实例之后，我想运行spark-submit脚本，这样我就可以运行我自己的Spark Code了。我首先上传我的.jar文件，然后使用脚本。为此，我使用以下命令：--mas

浏览 3提问于2016-08-02得票数 0

回答已采纳

1回答

原因: java.lang.ClassCastException:无法将java.lang.invoke.SerializedLambda的实例分配给字段org.apache.spark.api.java.JavaRDDLike

java、eclipse、apache-spark

在前者中，Spark的主人是本地化的。Path ############export SPARK_SUBMIT=/home/m_usr/spark-2.2.0-bin-hadoop2.7/bin/spark-submit export PATH=$PATH:$SPARK_HOME

浏览 2提问于2017-10-08得票数 0

0回答

在一个主spark作业中启动多个spark作业

hadoop、apache-spark

是否可以在一个主spark作业中产生多个spark作业，我的主spark作业的驱动程序是在纱线集群上启动的，它将进行一些预处理，并基于它需要在纱线集群上启动多个spark作业。不确定这个模式是否正确。主spark作业将启动其他spark-job，类似于在Spark驱动程序中调用多个spark-submit。这些为新任务生成的线程将是完全不同的组件，因此不能使用spark<

浏览 5提问于2016-12-21得票数 2

3回答

如何在本地模式下更改执行程序的数量？

scala、apache-spark、spark-streaming

是否可以使用某些Spark设置在本地模式下为Spark流应用程序设置多个执行器？目前，当我将spark.executor.instances参数更改为4时，我无法看到Spark在性能或执行器数量上有任何变化。

浏览 3提问于2018-09-05得票数 8

回答已采纳

4回答

可以从代码中运行spark* yarn集群吗？*

java、apache-spark、hadoop-yarn

我有一个MapReduce任务，我想从我的java代码中在Spark YARN集群上运行它。我还想在java代码中检索reduce结果(字符串和数字对、元组)。()); String max = results.max(new MyResultsComparator())._1(); 如果将master设置为local、local[]或spark

浏览 0提问于2016-02-20得票数 5

1回答

无法在Yarn群集模式下运行Talend作业

apache-spark、talend

流程:主作业-> BigData Spark job1纱线模式:客户端主作业-> BigData spark job2纱线模式:集群 job1和job2是一样的，只是yarn部署模式不同。当从Linux边缘节点执行"client“模式的作业时，该作业工作正常，但来自同一父作业的"cluster”模式未运行。下面是集群模式下yarn应用程序日志中的错误:线程"

浏览 16提问于2021-02-25得票数 0

回答已采纳

1回答

Local[4]是将整个应用程序限制在4个核心，还是仅仅是火花工作者？

apache-spark

我有一个tensorflow程序，我想在AWS EMR集群的主节点上运行，该集群仅具有非常轻的火花依赖性--我想执行火花提交命令，以便尽可能多地将资源提供给tensorflow。我在想如果我做了这个火花只会得到4个核心，而myprogram.py会得到其余的--但也许我将整个应用程序的核心数量限制在(假设主节点有32个核) tensorflow程序并不是分布式的--整个流程都是一个很大的火花应用程序，它可以对任务节点执行大量ETL操作，然后培训只在主节

浏览 0提问于2018-09-11得票数 0

2回答

火花急流不加载( CSV不支持文件格式错误，拼板没有错误)

apache-spark、nvidia、rapids

/home/softy/soft/rapids-4-spark/rapids-4-spark_2.12-22.06.0-cuda11.jar> --conf spark.executor.resource.gpu.amount=1 \ > --conf spark<

浏览 7提问于2022-08-08得票数 0

回答已采纳

1回答

我可以使用Apache Spark单机版分发工作吗？

apache-spark、networking、cluster-computing、apache-spark-standalone

我听到人们谈论"Apache独立集群“，这让我感到困惑，因为我将”集群“理解为通过潜在的快速网络连接的各种机器并并行工作，而”独立“则是一台孤立的机器或程序。

浏览 14提问于2017-08-05得票数 1

回答已采纳

1回答

混淆使用Yarn资源管理器

python、pyspark、hadoop-yarn、amazon-emr

我正尝试在Amazon AWS中运行一个简单的pyspark作业，它被配置为通过spark-default.conf文件使用Yarn。我对Yarn部署代码有点困惑。(conf=conf) 在这种情况下，当指定了'yarn-client‘时，我不确定我应该如何执行spark作业。我通常这样做： $spark-submit --deploy-mode client spark-job.py 但是这两者的区别是什么呢？$spark-submit --deploy-mode client spa

浏览 3提问于2020-01-27得票数 1

回答已采纳

4回答

如果驱动程序崩溃，会发生什么？

apache-spark

我想你会失去所有的工作，因为读取结果的代码不再运行，或者Spark不知何故知道如何重新启动它？如果是这样的话，是怎么做的？

浏览 0提问于2014-10-29得票数 10

1回答

从笔记本电脑提交spark申请

apache-spark

我想在我的笔记本电脑上提交spark python应用程序。我有一个独立的spark集群，而且主服务器运行在某个可见的IP (MASTER_IP)上。在我的笔记本电脑上下载并解压缩Spark之后，我得到了这个功能据我所知，它默认是客户端模式(vs集群<e

浏览 0提问于2015-10-23得票数 3

1回答

sparklyr的Spark内存问题

apache-spark、jvm、sparklyr

我在Spark running和sparklyr上有一些奇怪的问题。我目前在一台R生产服务器上，通过spark://<my server>:7077以客户端模式连接到my Spark Cluster，然后从MS SQL server拉取数据。我最近可以做到这一点，没有任何问题，但我最近得到了一个更大的集群，现在有内存问题。首先，我在处理过程中遇到了莫名其妙的“内存不足”错误。这种情况发生了几次，然后我开始得到“内存不足，无法创建新线程”的错误。我在R生产

浏览 19提问于2018-06-01得票数 0

回答已采纳

1回答

即使在Spark主进程被终止后，spark作业仍在运行

apache-spark、spark-streaming、spark-dataframe、hadoop-yarn

我们正在spark集群上工作，即使在spark "Master“进程被杀死后，spark作业(S)也能成功提交。spark-1.6.1-bin-without-hadoop/bin/spark-submit --class com.test.test --master yarn-client --部署模式客户端现在，当我们杀死"Master“进程时，我们可以看到提交的作业运行良好，这在这

浏览 27提问于2017-01-30得票数 1

点击加载更多