腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1121)
视频
沙龙
1
回答
使用
Yarn
Rest
API
的
Spark
提交
[
Spark
无法
解析
namenode
HA
名称
]
、
我正在通过
yarn
rest
api
调用
提交
spark
作业,但是得到了这个异常,
spark
无法
解析
namenode
HA
名称
,而从
yarn
launcher
提交
spark
作业,并且在launcher本身上失败org.apache.hadoop.util.RunJar.main(RunJar.java:208) Caused by: java.ne
浏览 18
提问于2019-08-05
得票数 0
5
回答
从
spark
作业访问HDFS
HA
(UnknownHostException错误)
、
、
、
、
当我尝试
spark
-submit编译
的
HdfsTest.scala示例应用程序(来自
Spark
1.5.1源代码)时,它失败了,在执行器日志中出现了java.lang.IllegalArgumentException/HdfsTest-0.0.1.jar hdfs://hdfs/testfile
spark
.master
spark
:
浏览 9
提问于2015-10-16
得票数 9
5
回答
在外部hadoop集群中,如何通过由H/A namenodes组成
的
URI访问hdfs?
、
、
现在,我有了一些存储输出到HDFS
的
Spark
应用程序。由于我们
的
hadoop集群是由
namenode
H/A组成
的
,而
spark
集群位于hadoop集群之外(我知道这很糟糕),所以我需要为应用程序指定HDFS URI,以便它能够访问HDFS。但是它不识别
名称
服务,所以我只能提供
namenode
的
URI之一,如果它失败了,请修改配置文件,然后再试一次。你能提出其他选择吗?
浏览 3
提问于2015-06-12
得票数 10
回答已采纳
2
回答
在具有
HA
功能
的
Hadoop
Yarn
集群上部署Apache
Spark
、
、
我是大数据环境
的
新手,刚开始
使用
Zookeeper安装具有
HA
功能
的
3节点Hadoop集群2.6。有人能指导我安装步骤吗?我只能找到如何将
Spark
设置为独立模式,并且我已经成功设置了它。现在我想在
Yarn</em
浏览 1
提问于2016-03-23
得票数 0
2
回答
“错误:在运行submit或org.apache.
spark
.deploy.
yarn
.ExecutorLauncher”时
无法
找到或加载主类PySpark
、
、
、
我试图在Hadoop集群上运行星火
提交
命令,这里是我
的
Hadoop集群
的
总结:我正在尝试
使用
以下
spark
-submit命令运行
spark
示例之一
spark
-submit --class o
浏览 5
提问于2022-07-25
得票数 0
3
回答
如何为启用
HA
的
群集配置SparkContext
、
、
当我试图
使用
HDFS文件系统在纱线模式下运行星火应用程序时,当我提供以下属性时,它工作得很好。sparkConf.set("
spark
.hadoop.
yarn
.resourcemanager.hostname",resourcemanagerHostname);sparkConf.set("
浏览 3
提问于2017-05-09
得票数 1
3
回答
在
Yarn
客户端上运行
Spark
、
、
我最近设置了一个多节点Hadoop
HA
(
Namenode
& ResourceManager)集群(3个节点),安装已经完成,所有守护进程都按预期运行2945 JournalNode我已经在我
的
NN1上安装了Scala和
Spark
,我可以通过发出以下命令来成功启动我
的
spark
现在,我对
SPARK
一无所知,我想知道如何在
Yarn
上运行
Spark
浏览 2
提问于2016-04-04
得票数 0
2
回答
向星团
提交
火花作业
、
、
、
、
我已经设置了一个3节点集群(所有节点都是从ESX服务器创建
的
VM机器)。我已经通过
使用
动物园管理员机制为
Namenode
和ResourceManager设置了高可用性。我已经在
NameNode
1中安装了
Spark
(与我安装
的
Hadoop2.7兼容
的
版本),我能够在本地启动
Spark
,并执行基本
的
scala命令来创建RDD并在上面执行一些操作。假设我拥有与我
的
HA
集群is.How相同
的</
浏览 5
提问于2016-05-12
得票数 3
2
回答
如何从web应用程序中利用
spark
集群?
很多人都问过这个问题,但除了链接和参考之外,没有明确
的
答案,而且大多数都不是最近
的
。问题是:我有一个web应用程序,需要利用
spark
集群来运行
spark
-sql查询。我
的
理解是,
提交
作业脚本是异步
的
,因此这在这里不起作用。我如何在这样
的
设置中利用
spark
?我是否可以像在自包含
的
spark
应用程序中一样,在web应用程序中编写代码,即创建上下文,设置主URL,然后执行我需要做
的
事
浏览 3
提问于2016-09-13
得票数 2
1
回答
即使在
Spark
主进程被终止后,
spark
作业仍在运行
、
、
、
我们正在
spark
集群上工作,即使在
spark
"Master“进程被杀死后,
spark
作业(S)也能成功
提交
。jps 19560
NameNode
18369 QuorumPeerMain 22414 Jps 20168 ResourceManager 22235主机
spark</e
浏览 27
提问于2017-01-30
得票数 1
1
回答
Spark
over
Yarn
-不正确
的
应用程序主控选择
、
、
我尝试
使用
下面的命令在
Spark
over
Yarn
上启动一些作业(这只是一个例子,实际上我
使用
了不同数量
的
内存和内核): .作为应用程序主节点选择了一个不是
Spark
Master
的
节点。这是一个问题,因为实际
的
Spark
Master节点强制参与分布式计算,导致不必要
的
数据网络传输(当然,因为
Spark
master一开始没有数据)。根据我在测试中看到
的
,
Yarn</e
浏览 2
提问于2015-02-04
得票数 2
1
回答
来自SSH
的
火花
提交
有不同
的
行为
、
、
、
当我从VM进行火花
提交
时,一切正常,但是当我从另一个VM启动同一个带有SSH
的
命令时,作业就不能工作了,因为它对资源管理器
使用
了一个糟糕
的
IP地址。我在纱线VM中
使用
的
命令: /home/
namenode
/
spark
/bin/
spark
-submit --master
yarn
--class Main --deploy-mode cluster/home&
浏览 7
提问于2022-10-26
得票数 0
1
回答
如何在oozie 4.2.0上运行星火动作(火种脚本)?
、
、
、
、
当我以jar
的
形式
提交
python脚本以激发oozie中
的
操作时,我会看到以下错误: File "/home/hadoop/
spark
.py此外,我在我
的
工作流定义中将--conf
spark
.
yarn
.appMasterEnv.
SPARK
_HOME=/usr/lib/
spark
--conf
浏览 0
提问于2017-05-26
得票数 0
回答已采纳
2
回答
跟踪和日志/调试纱线分配,这些纱线已从scala二进制文件中
使用
spark
submit启动
、
、
、
、
我将运行一些jars,这些jars是用Scala编写
的
,并
使用
spark
-submit --master
yarn
命令运行火花进程。在运行这个jar时,我是否可以
提交
一些id或
名称
,以帮助我找到哪个纱线进程被哪个jar调用,从而使调试变得更容易? 编辑:我不能在scala中编辑代码,我唯一能做
的
就是在我
的
环境中运行jars。
浏览 1
提问于2018-10-15
得票数 0
回答已采纳
1
回答
Oozie SparkAction失败
、
、
我编写
的
Spark
(1.5.2)应用程序非常简单,只用于测试Oozie (4.2.0):val count此应用程序在
使用
spark
-submit时工作,既适用于纱线客户端模式,也适用于纱线集群模式.我
的
job.properties和workflow.xml文件如下:
nameNode
=hdfs://myhost.com:8
浏览 1
提问于2016-01-19
得票数 2
回答已采纳
2
回答
ClassNotFound with Ozzie,Azure HDInsight &
Spark
2
、
、
、
经过一周
的
研究,不得不提出这样
的
要求:
nameNode
=wasb://mycontainer@something.blob.core.windows.net:
浏览 3
提问于2019-02-13
得票数 1
1
回答
如何在集群模式下运行
spark
-submit命令时覆盖
spark
jars?(okhttp3)
、
、
、
、
当我尝试在client模式下运行
spark
submit命令时,它会拾取我提供
的
显式jar,但是当我尝试在cluster模式下运行相同
的
jar时,这
无法
覆盖工作节点上
的
jar,并且执行器
使用
相同
的
Spark
我
的
jar是一个很大
的
jar,但是
spark
jar在某种程度上比同样
的
jar更重要。如果我可以删除
Spark
提供
的
jars,它可能会工作,但
浏览 51
提问于2020-04-11
得票数 1
2
回答
在
spark
submit中将hdfs路径作为环境变量传递
、
、
、
我正在尝试
使用
spark
submit在
yarn
集群上运行我
的
spark
程序,我正在读取一个放在hdfs中
的
外部配置文件,我正在运行作业- ./
spark
-submit --class com.sample.samplepack.AnalyticsBatch --master
yarn
-cluster --num-executors 3 --:8020/tmp/some.conf" PocSpark-1.0-SN
浏览 2
提问于2015-04-15
得票数 1
1
回答
运行火花时异常-
使用
HighAvailability在Hadoop集群上
提交
、
当
使用
HighAvailability在Hadoop集群上运行submit命令时,我将面临异常。同一命令在启用
HA</
浏览 21
提问于2016-07-08
得票数 1
3
回答
如何在不
使用
spark
-submit
的
情况下触发
spark
作业?实时代替批处理
、
、
我有一个
spark
作业,我通常
使用
spark
-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用,这样人们就可以
提交
一个输入文件(可能通过一些web-
API
),然后
spark
作业将被触发,它将返回给用户结果文件(也可能是通过web-
API
)。(我
使用
的
是Java/Scala) 在这种情况下,我需要构建什么才能触发
spark
作业?有什么教程吗?我应该在这种情况下
使用
s
浏览 0
提问于2015-06-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark REST API深入分析
Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs
大数据技术分享:关于大数据开发学习的技术点
Spark:必知必会的基本概念
AWS EMR在搭建大数据平台ETL中的应用实践
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券