1回答
我用3个m3.xlarge实例(1主2从)启动了一个EMR集群，我遇到了一些麻烦。
根据亚马逊网络服务文档，一个m3.xlarge实例有4个vcpu ( )。这是什么意思？我之所以这样问，是因为当我打开hadoop UI(端口8088)时，每个实例似乎有8个可用的vcore，但从我的经验来看，群集的行为就像2个实例，每个实例有4个vcore。我说错了吗？或者是来自亚马逊或纱线的bug？
浏览 0提问于2017-02-16得票数 0
回答已采纳
1回答
我有几个不同的作业要在Hadoop集群上运行。有些需要很少的资源，有些需要更多的资源，例如内存。我希望在我的集群上同时运行这些作业，因为它支持Yarn。我认为如果我只是将作业提交到集群，Yarn会自动决定资源需求，但我想自己指定它。如何使用api或命令行指定每个作业的资源要求？
浏览 0提问于2015-03-17得票数 0
如何为命名空间预留资源？示例:拥有命名空间A和B，以及一个可以有100个pod的集群。如何确保pod A可以调度至少10个pod，即使我们有200个用户试图在命名空间B上创建pod(典型的资源隔离)
在Yarn中，我可以说将10%的集群资源留给队列A。
浏览 30提问于2018-12-13得票数 0
我有一个Spark集群在HDFS之上以YARN模式运行。我启动了一个具有2个内核和2g内存的worker。然后，我提交了一个动态配置为1个执行器和3个核心的作业。尽管如此，我的作业仍然能够运行。有人能解释一下启动worker的内核数量和为executors请求的内核数量之间的区别吗？我的理解是，因为执行器在工人内部运行，所以他们不能获得比工人可用的资源更多
浏览 6提问于2017-01-11得票数 0
2回答
我有一个任务，它可以从更多的内核中受益，但当只有子集可用时，独立调度器会启动它。我宁愿在这个任务中使用所有的集群核心。
有没有一种方法可以让调度器在分配资源给任务之前完成所有任务？换句话说，如果DAG在执行任务之前结束所有路径，或者等到有更多可用内核时，它将更适合此作业。也许这是一种暗示任务很胖的方式？我不是，也不希望经营Yarn。简而言之:我需要在一个空闲的集群上运行这个map任务，以便它拥有所有的资源</
浏览 1提问于2017-01-13得票数 0
|我已经设置了yarn.scheduler.capacity.root<queue-name>.capacity的容量和yarn.scheduler.capacity.root.<queue-name>.maximum-capacity属性的最大容量。我的理解是，以上两个属性分别设置了绝对容量和绝对最大容量。这意味着队列流
浏览 4提问于2019-06-07得票数 6
我有一个带有Hadoop2.0.0-cdh4.4.0的集群，我需要在它上运行Spark，并将纱线作为资源管理器。我从得到了以下信息
您可以启用纱线配置文件，并可以选择设置yarn.version属性(如果它与hadoop.version不同)。星火只支持纱版本2.2.0及更高版本。我不想升级整个Hadoop包来支持SearVersion2.2.0，因为我的HDFS拥有大量数据，升级它会导致服务中断时间过长，对我来说风险太大。我认为最好的选择可能是使用比</em
浏览 4提问于2016-03-11得票数 0
回答已采纳
1回答
火花内存不足
、、、、
我的星火作业失败，有以下错误：
java.lang.IllegalArgumentException: Required executor memory (33792 MB), offHeap memoryPlease check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb是主节点上的RAM还是其他什么的？为什么它<e
浏览 10提问于2022-07-11得票数 1
回答已采纳
我有一个在纱线上运行的Spark集群。当我提交一个spark作业并查看YARN的“集群概述”页面时，“按应用程序划分的集群资源使用率”图表显示了11.39%的固定资源使用率。它不会随着我的数据有多大而改变。YARN如何确定我的应用程序使用了多少资源？它是从--executor-cores --driver-memory --ex
浏览 3提问于2021-10-04得票数 1
Radoop是对hadoop生态系统的扩展，sparkRM操作符允许进行fp-growth，从从hive检索数据到探索分析。8.1 -hadoop 6.2 -spark 1.5 -hive 2.1我已经将spark-default-conf配置如下：# spark.yarn.am.memory 1G# spark.yarn<
浏览 10提问于2018-12-17得票数 0
在我们运行在Yarn下的Hadoop集群中，我们遇到了一个问题，就是一些“更聪明”的人能够通过在pySpark木星笔记本中配置火花作业来消耗更多的资源，比如： .setMaster("yarn-client")
.set("spark.executor.instances", "1000&qu
浏览 3提问于2016-10-12得票数 7
回答已采纳
我最近在研究分布式计算，发现Hadoop Yarn就是其中之一。所以我想，如果我只是建立Hadoop Yarn集群，那么每个应用程序都将分布式运行。但现在有人告诉我，HADOOP Yarn本身不能做任何事情，需要其他东西，如mapreduce、spark和hbase。
如果这是正确的，那么这是否意味着Yarn只能运行有限的任务？或者我可以将Yarn的分布式计算应用到我想要的所有应用程序中？
浏览 0提问于2020-02-05得票数 0
2回答
但后来，日志显示工作流作业进入了失败状态。(Client.scala:1122) atorg.apache.spark.deploy.yarn.Client.main(Client.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0，这个堆栈跟踪--显然是从SparkSubmit生成的--并没
浏览 0提问于2019-01-16得票数 0
回答已采纳
1回答
我使用典型的stack YARN/Ranger和原子策略来访问YARN队列。拥有Hadoop用户访问权限，如何获取用户拥有访问权限的队列列表？我可以从管理员端看到它通常是如何完成的，但是用户端呢？我检查了一下yarn API，但什么也没找到。Ranger -用户通常没有足够的权限来获取有关其自身的更多详细信息。唯一的方法是暴力强制集群中的</em
浏览 19提问于2019-05-15得票数 0
我想在192.168.1.1上启动我的驱动程序，但事实上，当我向纱线提交我的火花申请时，纱线会选择一台随机机器作为我的应用程序的驱动程序。
我可以在纱线集群模式下手动选择驱动器吗？这个复杂的问题在纱线上行不通。
浏览 3提问于2017-12-12得票数 1
3回答
我真的不明白为什么可以在Hadoop上运行，而它应该比Hadoop更好。
有人能解释一下这两者之间的等级吗？
浏览 6提问于2017-10-22得票数 1
回答已采纳
我不得不将虚拟盒子的内存大小从4 gb减少到1 gb，.I曾试图减少它，但它是不可改变的，所以请建议以正确的方式做它。我附上截图。
浏览 0提问于2016-07-14得票数 0
回答已采纳
因此，我在Hadoop集群上使用WordCount运行了50MB的数据。我在5个不同大小的集群上运行测试，单节点集群最多5个节点集群。问题是，执行时间没有太大变化。它每次只有1-2分钟的时间不同。将节点添加到群集不是会导致更多的资源可用，并使作业运行更快吗？ 我希望每次添加节点时执行时间都会更快，但结果显示并非如此。 我使用的节点有2 GB的RAM和2个内核。我没
浏览 27提问于2019-06-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
