1回答
有没有办法在不使用spark-submit脚本的情况下，以yarn-cluster模式运行pyspark脚本？我需要以这种方式使用它，因为我将把这段代码集成到django web应用程序中。
当我尝试在yarn-cluster模式下运行任何脚本时，我得到以下错误：
org.apache.spark.SparkException: Detected yarn-cluster mode, but isn't running on a cluster. Deployment to YARN is not supported directly by SparkContext. Please u
浏览 1提问于2015-07-10得票数 8
回答已采纳
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。
我可以从集群节点上的shell中spark-submit该作业，例如：
spark-submit --class io.woolford.Main --master yarn-cluster hdfs://hadoop01:8020/path/to/spark-job.jar
请注意，--master yarn-cluster是访问jar所在的HDFS所必需的。
我还可以使用curl通过Livy提交命令。例如，此请求：
curl -X POST --data '{"file&#
浏览 1提问于2016-11-30得票数 2
在SPARK-SUBMIT中，"yarn“、"yarn-cluster”、"yarn-client“部署模式有什么区别？
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
/path/to/examples.jar \
1000
浏览 1提问于2014-12-19得票数 5
回答已采纳
我已经可以从Eclipse提交local火花作业(用Scala编写)。但是，我想修改我的Spark上下文(在我的应用程序中)，以便当我‘运行’应用程序(在Eclipse中)时，作业将被使用Yarn作为资源管理器发送到我的远程集群。
使用spark-submit，我可以成功地将作业以：spark-submit --class <main class> --master yarn-cluster <jar>的形式提交到集群
我希望在IDE中实现同样的结果。我的sbt配置(app根目录)看起来是：libraryDependencies += "org.apache.s
浏览 2提问于2016-01-27得票数 6
我有一个带有spark-on-yarn的CDH-5.4.0，4节点集群。
我有一个环境变量YARN_CONF_DIR，它指向一个目录，该目录包含从集群成员之一获取的配置文件的副本(其中是yarn资源管理器的地址)。
我想从java运行spark作业：
SparkConf sparkConf = new SparkConf().
setMaster("yarn-cluster").// "yarn-cluster" or "yarn-client"
setAppName("SparX"
浏览 1提问于2015-05-12得票数 3
2回答
当我在AWS控制台中手动启动EMR集群时，我在SSH进入我的集群后运行以下命令：
spark-submit --master yarn-cluster --deploy-mode cluster --class spark_pkg.SparkMain
s3://mybucket/scala-1.0.jar -s arg1 -l arg1
在Python中使用Boto3时如何做到这一点？下面是我的steps代码：
steps = [
{
'Name': 'Running jar file',
浏览 5提问于2020-10-29得票数 2
我使用scala在spark中构建了一个机器学习项目，并使用spark-submit启动它，参数为"--master yarn-cluster“。计算步骤非常快，但它总是卡在写表的步骤上好几个小时。输出只有3Mb。以前有没有人遇到过这个问题？
scala编写表代码如下所示
mlPredictResult
.select("orderid","prediction")
.write
.mode(SaveMode.Overwrite)
.saveAsTable("tmp_sbu_vadmtestdb.AntiCF_ClickFarmi
浏览 1提问于2016-11-30得票数 0
我正在尝试在scala中以sudo身份运行一个进程。我已经写了这段代码
val l : Seq[String] = Seq("echo", "SecretXYZ!", "|", "sudo", "-S", "-u", "web", "spark-submit", "--class",
"com.abhi.Foo", "--master", "yarn-cluster", "Foo-as
浏览 3提问于2016-03-21得票数 0
我正在使用以下脚本提交flink申请，
flink run -m yarn-cluster -c com.my.flink.learningflink.FlinkToMySQL -yn 4 -ys 1 -j /tmp/learing.flink.1.7.1-0.1.jar
我的类FlinkToMySQL在learing.flink.1.7.1-0.1.jar中，但我的应用程序也需要依赖于mysql jar，我如何指定mysql jar和其他依赖的jar。
此外，我还使用以下脚本尝试了-yt选项
flink run -m yarn-cluster -c com.my.flink.learn
浏览 0提问于2019-10-11得票数 1
是否有可能以编程方式知道星火程序在哪种模式下运行？例如，它是在yarn-cluster还是yarn-client模式下运行？
浏览 1提问于2017-05-27得票数 0
回答已采纳
2回答
我正试图通过以下命令向CDH纱线集群提交一个spark作业
我试过几种组合，但都不管用.现在，我已经在本地/root以及HDFS /user/root/lib中找到了所有的poi jars，因此我尝试了以下操作
spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars /root/poi-3.12.jars, /root/poi-ooxml-3.12.jar, /root/poi-ooxml-schemas-3.12.jar
spark-submit --master yarn
浏览 2提问于2015-07-24得票数 3
我是个新手，正在阅读Flink 1.8源代码(https://github.com/apache/flink/tree/release-1.8)以了解flink是如何使用YARN的。 我知道有用于每个作业集群模式的detached mode and non-detached mode。 对于非分离模式，例如以下命令： flink run -m yarn-cluster -c my.HelloFlink -yn 2 -ys 1 ./my.jar 在yarn集群部署之后，客户端进程开始运行我的main方法(my.HelloFlink#main)，客户端进程直到main方法结束才终止。 对于分离模
浏览 12提问于2020-09-05得票数 0
1回答
我需要像下面这样创建json对象。如果您注意到，applicationFiles是json数组，我已经为它编写了代码，但是spkConf包含嵌套的json对象。
JsonObjectBuilder outer = Json.createObjectBuilder(); String returnString = "";
File file = new File(fileName);
try (Scanner scanner = new Scanner(file);) {
JsonObjectBuilder jsonObject = Json.cr
浏览 9提问于2017-01-22得票数 3
我正在尝试提交一个星火应用程序从本地机器终端到我的集群。我在用--master yarn-cluster。我也需要在集群上运行驱动程序，而不是在我提交应用程序的机器上，即我的本地机器上。
当我在本地机器中提供到应用程序jar的路径时，是否会自动将其上传到集群？
我在用
bin/spark-submit
--class com.my.application.XApp
--master yarn-cluster --executor-memory 100m
--num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-
浏览 4提问于2015-12-21得票数 20
1回答
我找到了从SparkContext获取applicationId的方法
sc.applicationId
但是有没有办法让我也这样做呢？该应用程序需要使用yarn-cluster提交。所以我需要在需要的时候使用applicationId来停止它。
这个applicationId和YARN中的applicationId一样吗？
浏览 2提问于2015-12-22得票数 0
1回答
目前，我正在使用cloudera单节点集群(kerberos已启用)。
在客户端模式下，我使用以下命令
kinit
spark-submit --master yarn-client --proxy-user cloudera examples/src/main/python/pi.py
这个很好用。在集群模式下，我使用以下命令(缓存中没有kinit完成，也没有TGT )
spark-submit --principal <myprinc> --keytab <KT location> --master yarn-cluster examples/src/main/p
浏览 0提问于2016-01-13得票数 3
回答已采纳
从Flink的官方文件中我们知道我们可以通过下面的命令“在纱线上运行一个Flink作业”，我的问题是我们是否可以通过Rest“在纱线上运行一个Flink作业”，并得到应用程序API？
./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
浏览 1提问于2019-01-26得票数 0
我以为我对纱线结构的火花有很好的理解，但现在我想知道:当我启动时。
spark-submit --master yarn-cluster --class com.domain.xxx.ddpaction.DdpApp --num-executors 24 --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 1 --conf "spark.yarn.jar=/spark/lib/spark-assembly-1.1.0-hadoop2.4.0.jar" ddpacti
浏览 6提问于2014-10-27得票数 0
回答已采纳
spark-submit --master yarn-cluster --deploy-mode cluster test.py
以错误告终
进口熊猫作为pd ImportError:没有模块名为熊猫
这是我看到的唯一错误。
利用蟒蛇分布2.7 PYSPARK_VENV]/lib/python2.7/site-packages/地点有熊猫。
浏览 0提问于2019-01-25得票数 0
回答已采纳
我很难在AWS上运行带有apache的基本word_count.py pyflink
采取的步骤：
成功地创建了AWSEMR6.5.0集群，并使用以下应用程序Flink、Zookeeper验证了flink和flink-yarn-session二进制文件在$PATH中的存在。AWS说它安装了v1.14。
通过执行以下操作成功运行java版本
sudo flink-yarn-sessions
sudo flink run -m yarn-cluster -yid <application_id> /usr/lib/flink/examples/batc
浏览 17提问于2022-01-29得票数 2
回答已采纳
1回答
我正在以以下方式提供Google集群：gcloud dataproc clusters create spark --async --image-version 1.2 \ --master-machine-type n1-standard-1 --master-boot-disk-size 10 \ --worker-machine-type n1-highmem-8 --num-workers 4 --worker-boot-disk-size 10 \ --num-worker-local-ssds 1
在yarn-cluster模式下启动星火应用程序
spark.driver
浏览 2提问于2017-12-28得票数 0
回答已采纳
我使用3个虚拟机作为主机，使用Ambari设置了一个集群(YARN)。
在哪里可以找到HADOOP_CONF_DIR的值？
# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
浏览 1提问于2015-12-17得票数 9
1回答
我想用以下命令提交我在纱线上的flink工作：
./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar
但我遇到了这样的错误：
is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
浏览 3提问于2020-09-09得票数 1
回答已采纳
我正在尝试使用Spark Java API复制Holden Karau编写的这个示例。通过对代码进行一些更改，我已经成功地使它像一个普通的Java应用程序一样工作。我没有使用saveAsHadoopDataset方法，而是用以下方式发送推文：
JavaEsSpark.saveToEs(rdd,"/test/collection");
使用以下命令运行我的代码：
java -cp ./target/hbase-spark-playground-1.0-SNAPSHOT.jar spark.examples.SparkToElasticSearchStreaming loc
浏览 6提问于2014-10-16得票数 2
我正在创建配置单元上下文并查询配置单元表，如下所示，spark上下文是使用yarn-cluster创建的
HiveContext hv = new HiveContext(sc)
hv.sql("use schema")
val df = hv.sql(query)
但是，它返回一个空的dataframe。
但是，如果我直接在配置单元环境中运行查询，它将返回有效值。可能的问题是什么
浏览 1提问于2017-04-28得票数 3
3回答
我们正尝试在yarn上运行我们的spark集群。我们有一些性能问题，特别是与独立模式相比。
我们有一个由5个节点组成的集群，每个节点都有16 We的RAM和8个核心。我们在yarn-site.xml中将最小容器大小配置为3 3GB，最大容器大小配置为14 3GB。当向yarn-cluster提交作业时，我们提供了number of executor = 10，memory of executor =14 GB。根据我的理解，我们的任务应该分配4个14 of的容器。但是spark UI只显示了3个每个7.2 UI的容器。
我们无法确保分配给它的容器数量和资源。与独立模式相比，这会导致有害的性能。
浏览 1提问于2015-02-05得票数 9
在yarn客户端模式和yarn集群模式下运行类似的代码时，我遇到了一个小问题。当我在客户机模式下运行我的代码时，它可以很好地执行，但在yarn-cluster节点上运行时就会失败。
它抛出一个file not file异常，声明找不到pyspark.zip文件。对此的任何见解都将是有帮助的。
浏览 3提问于2015-09-18得票数 4
3回答
我正在使用
df.write.mode("append").jdbc("jdbc:mysql://ip:port/database", "table_name", properties)
若要在MySQL中将其插入到表中，请执行以下操作。
此外，我还在代码中添加了Class.forName("com.mysql.jdbc.Driver")。
当我提交Spark申请时：
spark-submit --class MY_MAIN_CLASS
--master yarn-client
--jars /path/to/mysql-
浏览 0提问于2016-01-13得票数 9
回答已采纳
如果我想在yarn上运行flink作业，命令是./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar 但是这个命令会运行一个默认的集群，它有2个任务管理器；如果我只提交了一个任务，为什么默认的任务管理器设置为2？ 什么时候我需要在一个任务中有多个任务管理器？
浏览 19提问于2020-07-02得票数 1
有人能帮我修复下面的代码吗？
import pyspark
from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setMaster('yarn-cluster')
conf.setAppName('test')
sc = SparkContext.getOrCreate()
r = sc.textFile("data.csv")
r.collect()
除以下异常外，它将出错：
警告cluster.YarnScheduler:初始作业未接受任何资源；请检查群集用
浏览 0提问于2018-10-29得票数 1
回答已采纳
我的代码使用readTextFile读取日志文件，当我在Flink (/opt/flink-1.0.3/bin/flink run -m yarn-cluster -yn 2 /home/flink/flink-json-0.1.jar)中运行jar时，它成功地处理了内部的行，并停止了我的应用程序，而不是等待新的行。我需要一些对白来做吗？
val env = StreamExecutionEnvironment.getExecutionEnvironment
val stream = env.readTextFile("hdfs:///test/ignicion.io")
提前
浏览 2提问于2016-06-10得票数 0
回答已采纳
我有一个火花流程序运行在纱线集群的"yarn-cluster“模式。(-master丝-簇)。我希望使用json格式的REST来获取星火作业统计信息。我能够使用REST url调用：获取基本统计信息。但这提供了非常基本的统计数据。
但是，我希望获取每个执行器或基于RDD的统计数据。如何使用REST调用来实现这一点，以及在哪里可以找到确切的REST url来获取这些统计信息。虽然$SPARK_HOME/conf/metrics.properties文件提供了一些关于urls的信息，
5. MetricsServlet is added by default as a sink in ma
浏览 9提问于2015-12-29得票数 6
回答已采纳
我是flink的新手，在我的macbook上安装了yarn和flink，配备了M1 pro芯片。
当我尝试使用bin/flink run -m yarn-cluster examples/streaming/SocketWindowWordCount.jar --port 8882提交作业时，它返回了一个错误Caused by: org.apache.flink.configuration.IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds t
浏览 21提问于2022-03-25得票数 -1
1回答
我制作了yarn-cluster，它只有一个工作节点，当我提交我的spark应用程序作业时，它似乎工作得很好。当我提交多个作业时，作业在hadoop队列上，并逐个处理提交的申请。我想并行处理我的申请，而不是一个接一个。对此有什么配置吗？或者不能在纱线上做到这一点？
浏览 15提问于2017-07-20得票数 1
我正在尝试验证一个带有spark-submit选项的spark job命令实际上是在yarn-client模式还是yarn-cluster模式下运行。
我在命令本身中指定了master-delopy模式，但希望在之后验证作业状态。
这更多地是从QA的角度来看的。
我想知道是否可以从jobtracker或spark应用程序主程序中看到特定作业的部署模式。
浏览 12提问于2018-08-27得票数 1
汇总：我无法让我的python作业在集群的所有节点上运行。我为hadoop安装了火花-1.5.2-bin-hadoop2.6‘。当启动一个java星火作业时，负载会分布在所有节点上，当启动python火花作业时，只有一个节点接受加载。
安装：
配置了4个节点: nk01 (namenode)、nk02、nk03、nk04，在xen虚拟服务器上运行
版本: jdk1.8.0_66，hadoop-2.7.1，spark 1.5.2-bin-hadoop2.6
hadoop安装了所有4个节点
只安装在nk01上
我复制了一堆古腾堡文件(谢谢你，约翰斯！)在hdfs上，尝试在文
浏览 9提问于2015-12-16得票数 3
回答已采纳
1回答
是否有一种方法将hbase.rpc.timeout传递给spark作业，该作业通过shell脚本调用。我知道我们可以在自己创建火花作业中的hbase.rpc.timeout值时设置HBaseConfiguration值。但是我想传递shell的值。
类似于：
${SPARK_SUBMIT}
--class mySpark \
--num-executors ${NUM_EXECUTORS} \
--master yarn-cluster \
--deploy-mode cluster \
--hbase.rpc.timeout 600000 . \
浏览 1提问于2018-02-26得票数 1
回答已采纳
我无法在yarn中提交作业。在yarn-client选项下，cluster.The作业运行正常。将其提交到yarn-cluster时，仅此日志会多次出现。
Application report for application_1421828570504_0002 (state: ACCEPTED)
并因以下异常而失败。
diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exit
浏览 0提问于2015-01-21得票数 0
2回答
我使用spark-summit命令来执行Spark作业，参数如下：
spark-submit --master yarn-cluster --driver-cores 2 \
--driver-memory 2G --num-executors 10 \
--executor-cores 5 --executor-memory 2G \
--class com.spark.sql.jdbc.SparkDFtoOracle2 \
Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar
现在我想使用Spark的动态
浏览 5提问于2016-10-23得票数 17
回答已采纳
1回答
我正试图在纱线集群上执行我的代码。
我使用的命令是
$SPARK_HOME/bin/spark-submit \
--class "MyApp" \
target/scala-2.10/my-application_2.10-1.0.jar \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 6g \
--executor-memory 7g \
<outputPath>
但是，我可以看到这个程序只在本地主机上运行。
它能够从hdfs读取文
浏览 1提问于2015-02-04得票数 5
回答已采纳
我正在从oozie做火花提交，--driver-cores选项不起作用。例如，如果我提供了--driver-cores 4，yarn仍然会为driver创建一个vCore容器。
Spark选择了oozie：
<master>yarn-cluster</master>
<spark-opts>--queue testQueue --num-executors 4 --driver-cores 4
...
</spark-opts>
我也尝试过其他的配置键，比如--conf spark.dri
浏览 3提问于2020-06-13得票数 1
2回答
我有一个具有Date和Timestamp数据类型的蜂巢表。我正在使用下面的java代码创建DataFrame：
SparkConf conf = new SparkConf(true).setMaster("yarn-cluster").setAppName("SAMPLE_APP");
SparkContext sc = new SparkContext(conf);
HiveContext hc = new HiveContext(sc);
DataFrame df = hc.table("testdb.tbl1");
Dataframe模式
浏览 1提问于2017-03-24得票数 3
回答已采纳
我正在使用纱线环境运行火花程序，与选项--master yarn-cluster。
当我打开一个火花应用程序的应用程序主程序时，我在一个阶段中看到了很多Scheduler Delay。其中有些甚至超过10分钟。我想知道他们是什么，为什么要花这么长时间？
更新:通常像aggregateByKey这样的操作在执行程序真正开始执行任务之前需要花费更多的时间(即调度程序延迟)。为什么会这样呢？
浏览 3提问于2015-07-23得票数 17
在提交作业时是否可以设置自定义JVM选项env.java.opts，而无需在conf/flink-conf.yaml文件中指定作业？
我问这个问题的原因是我想在我的log4j中使用一些自定义变量。我也在从事纱线方面的工作。
我使用CLI尝试了下面的命令，它从=符号开始删除所有内容
$ flink run -m yarn-cluster -yn 2 -yst -yD env.java.opts="-DappName=myapp -DcId=mycId"
浏览 5提问于2017-05-12得票数 5
回答已采纳
我是新的Flink，我使用以下脚本提交批处理模式的文字计数到纱线。
./flink run -m yarn-cluster ../examples/batch/WordCount.jar
它在纱线集群模式下运行，因此JM将在纱线集群的一个节点上运行。
到目前为止还不错，但我不明白为什么我看到在运行上述脚本的控制台上打印的单词dataset结果？
我想知道flink纱线集群的行为是什么，例如，如果我运行Dataset#collect，哪个进程将得到元素？
浏览 3提问于2019-02-01得票数 0
回答已采纳
我有一个脚本，填充多个火花提交作业的参数。当我将它们复制并粘贴到shell中时，作业可以工作，但是当我将字符串放在反号中并从Ruby中执行它时，作业就失败了。
spark-submit --master yarn-cluster \
--num-executors 2 \
--files ... \
--class ... \
-otherflags ...
Ruby返回
sh: 1: spark-submit: not found
即使spark-submit在系统路径中。更令人困惑的是：
`spark-submit`
在Ruby中，似乎可以正确地调用shell命令。
浏览 0提问于2016-08-18得票数 0
1. 我们的集群环境，1个JobManager，7个TaskManager.
2. 提交flink on yarn任务时，第一个任务我启动用了7个TaskManager.提交命令为：flink run -m yarn-cluster -ynm flink-test -p 7 -yn 7 -ys 1 -yjm 1024m -ytm 1024m -c xxx主类 jar包，这个任务是可以正常运行的。
3. 当我继续提交任务时（per-job方式）任务启动失败，查看yarn日志如下：
微信图片_20200901171418.jpg
浏览 1223提问于2020-09-01
我使用以下脚本提交了我在yarn上的应用程序。 MAIN_CLASS=org.example.app.HelloFlink
flink run -m yarn-cluster -yn 4 -ys 1 -ynm FlinkHiveIntegrationTest -c $MAIN_CLASS /learn.flink.ioc-1.0-SNAPSHOT.jar 它抱怨说Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn。 当我删除脚本中的-yn 4时，它就可以工作了。我在之前的flin
浏览 201提问于2021-01-05得票数 0
回答已采纳
我有一个Flink流应用程序，它是用JAR中的application.conf文件开发的。但是，当我使用application.conf选项调用flink run时，我希望能够显式指定外部yD，如下所示：
flink run -m yarn-cluster -yid "appName" -yD "env.java.opts=-Dconfig.file=/path/to/application.conf" -yn 1 -yjm 1024 -ytm 7000 -p 8 -d /usr/lib/flink/lib/MyFlinkApp.jar
然而，JAR中的配置仍在
浏览 1提问于2017-09-11得票数 2
2回答
我正在编写一个spark应用程序，并使用spark-submit shell脚本运行它(使用yarn-cluster/yarn-client)
正如我现在看到的，spark-submit的退出代码是根据相关的纱线应用程序决定的-如果成功状态为0，否则为1。
我希望可以选择返回另一个退出代码-用于我的应用程序成功但出现一些错误的状态。
有可能吗？从应用程序返回不同的退出代码？
我尝试使用System.exit()，但没有成功...
谢谢。
浏览 4提问于2017-01-31得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
