我在spark中运行以下代码。scala>import com.databricks.spark.xml.XmlInputFormatscala>sc.hadoopConfiguration.setspark2-shell --jars spark-xml_2.10-0.4.1.jar --master local[*]
但是当我尝试在yarn中运行它时，它返回java.io.FileNotFoundExc
浏览 36提问于2018-08-22得票数 1
我正在以“纱线集群”模式提交作业，如下所示Exception in thread "main" java.io.FileNotFoundException: File does not
浏览 0提问于2018-05-09得票数 0
$.awaitResult(ThreadUtils.scala:226) at org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(Applic
浏览 1提问于2022-10-26得票数 0
我使用以下命令--master yarn-cluster/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar获取java.io.FileNotFoundException:我可以在我的集群Yar
浏览 3提问于2015-12-18得票数 0
1回答
/spark-submit \--verbose \--class sparkSQLProcessorargs1 args2Exception in thread "main" java.io.FileNotFoundException: File(ClientBase.scala:182)
at org.apache.spark.
浏览 0提问于2015-08-01得票数 0
2回答
所有的VM都是由映像构建的
spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 10java.io.FileNotFoundException: File file:/home/bitnami是在spark-env.sh中
浏览 4提问于2022-07-21得票数 1
回答已采纳
在文档中有包含以下文本的spark.files：我试着在#中使用--conf spark.files来重命名，但似乎不起作用。
会有人知道吗？
浏览 0提问于2019-04-20得票数 2
我正在使用Yarn在Spark中执行一个过滤器，并接收以下错误。任何帮助都很感激，但我的主要问题是为什么找不到文件。/hdata/10/yarn/nm/usercache/spettinato/appcache/application_1428497227446_131967/spark-local-2015070812495415/07/08 12:57:03 WARN TaskSetManager: Loss
浏览 3提问于2015-07-08得票数 10
回答已采纳
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。all.txt") hdfs.copyToLocalFile(src, dest)
当我在Yarn客户端模式下提交spark应用程序时，上面的代码运行良好。但是，在Yarn集群模式下，它总是失败，出现以下异常。18&#
浏览 0提问于2018-10-05得票数 0
=yarnexport SPARK_DEPLOY_MODE=cluster $SPARK_HOME/bin/spark-submit --class
浏览 7提问于2022-02-18得票数 0
下面是我正在使用的命令 spark-submit --deploy-mode client --master yarn --class com.main.WordCount /spark/wc.jar，我会得到下面的错误： Exception in thread "main" java.io.FileNotFoundException: File file:/spark/wc.jar does not(Client.scala:340)
浏览 52提问于2019-01-19得票数 0
回答已采纳
1回答
试图激发提交:例如:火花提交-主纱线-部署模式集群-conf spark.yarn.maxAppAttempts=1 -conf spark.dynamicAllocation.enabled=true-conf spark.shuffle.service.enabled=true -conf spark.dynamicAllocation.executorIdleTimeout=15 -confspark.dynamicAllocation.maxExecutors=2 -conf <
浏览 1提问于2022-10-25得票数 0
Not copying /home/hadoop/.ivy2/jars/spark-csv_2.10.jarException in thread "main" java.io.<e
浏览 0提问于2015-05-06得票数 3
1回答
输出为空
、、、、
这是样品import org.apache.spark.SparkConfimport spark.implicits._ importorg.apache.spark.sql.functio
浏览 4提问于2022-07-22得票数 -1
= '/tmp/spark_job_config.json'
"spark-submit","--master", "--deploy-mode",
subprocess
浏览 3提问于2021-07-23得票数 0
我正在尝试使用spark submit在yarn集群上运行我的spark程序，我正在读取一个放在hdfs中的外部配置文件，我正在运行作业-但它无法从hdfs读取文件，我还尝试在本地模式下运行作业，
浏览 2提问于2015-04-15得票数 1
1回答
尝试在AWS emr-6.1.0上运行Spark 3.0.1作业时，出现以下错误： at org.apache.spark.deploy.yarn.Client.distribute$1(Client.scala:489)
at org.apache.spark.deploy.yarn.Cli
浏览 14提问于2021-03-05得票数 1
" %% "spark-core" % sparkV, )我使用google通过sbt runDiagnostics: java.io.FileNotFoundException: File file:/home/ibosz/.ivy2/cache/org.apache.s
浏览 2提问于2016-03-09得票数 2
回答已采纳
我们有一个在本地独立模式下运行良好的spark作业。我们已将其提交到aws EMR-5.0 (spark 2.0，hadoop 2.7.2)，并收到以下错误： at org.apache.hadoop.yarn.util.FSDownload: Applicati
浏览 1提问于2016-08-16得票数 3
当我尝试运行星火的例子时： --class org.apache.spark.examples.SparkPi\我得到以下错误：
信息yarn.Client:客户端令牌: N/A诊断诊断:文件file:/tmp/spark
浏览 0提问于2019-03-14得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号