腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在aws EMR上更改yarn计划程序配置？

问如何在aws EMR上更改yarn计划程序配置？
EN

Stack Overflow用户

提问于 2017-04-14 02:04:41

回答 1查看 17.6K关注 0票数 14

与HortonWorks或Cloudera不同，AWS EMR似乎没有提供任何图形用户界面来更改各种hadoop生态系统框架的xml配置。

登录到我的EMR namenode并快速

find \ -iname yarn-site.xml

我发现它位于/etc/hadoop/conf.empty/yarn-site.xml，而capacity-scheduler位于/etc/hadoop/conf.empty/capacity-scheduler.xml。

但请注意这些是如何在conf.empty下的，我怀疑这些可能不是yarn-site和capacity-scheduler xmls的实际位置。

我知道我可以在创建集群时更改这些配置，但我需要知道的是如何能够在不拆分集群的情况下更改它们。

我只是想尝试一下调度属性之类的，并尝试不同的调度程序，以确定哪些可能适用于我的spark应用程序。

提前感谢！

hadoop-yarn

amazon-web-services

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-04-17 05:32:51

那么，yarn-site.xml和capacity-scheduler.xml确实位于正确的位置(/etc/hadoop/conf.empty/)，并且在运行的集群上，在主节点上编辑它们并重新启动YARN RM守护进程将更改调度程序。

在启动新集群时，您可以使用EMR Configurations API更改适当的值。http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html

例如:在配置中为电子病历在capacity-scheduler and yarn-site classifications中指定适当的值，以便在相应的XML文件中更改这些值。

编辑:2019年9月4日:使用Amazon EMR版本5.21.0及更高版本，您可以覆盖群集配置，并为正在运行的群集中的每个实例组指定其他配置分类。您可以使用Amazon EMR控制台、AWS命令行界面(AWS CLI)或AWS SDK来执行此操作。

请参阅https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html

票数 18

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43404236

复制

合并两个结构完全相同的DataTable

数据库数据结构

两个结构一模一样的DataTable如何合并？例子：使用Winform进行演示，表2的数据为固定的，表1的数据可以动态添加，通过合并按钮合并表1和表2的数据到表3 1.规定公共的DataTable结

用户1055830

2018/01/18

2K0

网站就必须用响应式布局吗？MVC视图展现模式之移动布局

mvc

本文先引入给读者一个自己研究的机会，下次深入说明一下：废话不多说，直接上图新建一个mvc的项目在视图里面添加一个移动端视图正常访问一下 Bootstrap自带的响应式的方式（页面代码并没有改变

逸鹏

2018/04/10

1.1K0

json在线解析以及json的结构有哪些

json unicode 编程算法

作为新手，第一次接触json，连它是什么，估计都不知道吧，json其实是一种数据交换格式，是基于一种文本格式，可以解析以及生成。换另一种方式来说，是可以将json内容转变为json文件进行格式化，当然如果转化过程中，格式出现了问题，还能够提醒。接下来我们具体来看看json在线解析吧。

用户8739990

2021/07/09

2.8K0

你必须知道的Pandas 解析json数据的函数-json_normalize()

json html python

Json是一个应用及其广泛的用来传输和交换数据的格式，它被应用在数据库中，也被用于API请求结果数据集中。虽然它应用广泛，机器很容易阅读且节省空间，但是却不利于人来阅读和进一步做数据分析，因此通常情况下需要在获取json数据后，将其转化为表格格式的数据，以方便人来阅读和理解。常见的Json数据格式有2种，均以键值对的形式存储数据，只是包装数据的方法有所差异：

润森

2022/09/22

3K0

你必须知道的Pandas 解析json数据的函数-json_normalize()

有比JSON更好的东西吗？

https 网络安全 json 文件存储 rpc

各种数据序列化格式进行比较。基本上，是回答以下问题：“能找到比JSON更好的东西吗？”。这里找的是用于数据序列化的语言，而不是配置文件。

mariolu

2020/10/28

4.9K0

你必须知道的Pandas 解析json数据的函数

json python php html

用户8949263

2022/04/08

1.9K0

测试人员必须编写代码吗？

性能测试腾讯云测试服务自动化测试自动化

通常在系统开发完成或大体完成的情况下参与验证测试系统的功能及其完整性。该角色属于非技术类，一般情况下不需要写代码。

测试小兵

2023/03/09

5130

nodejs写入json文件_json文件可以删除吗

json node.js https 网络安全数据库

哈喽！nodejs的文件系统，接触过node的对node的文件系统肯定不会陌生，这两天我就在思考一个问题，我是否可以在本地操作我的本地json文件，这样一个本地的文本数据库就有了，如果是便签之类，记录的软件，我完全可以不用连后台的数据库，我可以自己操作本地的json文件，自己用node写后台，答案是肯定的，下面我们就一起来实现一下吧，对本地json文件的增、删、改、查

全栈程序员站长

2022/11/04

3K0

你的布局设定方法靠谱吗？

布局

本文不适合采用天才设计（Genius Design）方法的人士。有一种“奇怪的”现象会经常的看到“很多设计师没有办法清楚的跟其他人解释他们是如何设计的，越细致的地方可能越是如此。比如，这个菜单的宽度为什么是200px？250px或者190px是否可以？图片的尺寸为什么是278px*196px？如何确定网页的宽度？“ 软件界面的设计师除了视觉本身以外，对于设计是否可以实现、大概以何种方式实现、规范可否被理解并且复制执行、设计实现的性价比与时间比等纬度都应有相当高度的认识。就像建筑设计师一样，他们一定很了解建

前朝楚水

2018/04/03

1.3K0

JSON Web Token 的结构是什么

json 编程算法网站 html

JSON Web Tokens 由使用 (.) 分开的 3 个部分组成的，这 3 个部分分别是：

HoneyMoose

2020/10/02

1.9K0

复杂JSON结构创建语法

json

最近在开发某个功能的过程中，需要调用一个第三方的接口。我查看某个接文档中请求参数示例时候，有点hold不住了，这这么也太复杂了。

FunTester

2021/12/02

6850

JSON转成List结构数据

https json 网络安全

SmileNicky

2019/09/18

1.3K0

Go：Json转结构体

本文转载于（喜欢的盆友关注我们）：https://mp.weixin.qq.com/s/mBbf0DuUh1Af3vi2DBE7DA

不背锅运维

2022/10/18

5430

excel 树结构json_excel转换json的强大工具

json node.js xml 编程算法 https

git clone https://github.com/koalaylj/xlsx2json.git

全栈程序员站长

2022/07/01

1K0

还不了解堆栈和队列吗？数据结构最基础、最重要的概念必须掌握！

数据结构编程算法存储

堆栈和队列在数据结构中是最基础，但同时也是最重要的概念，很多小伙伴对两者不是很了解，本文就言简意赅的带大家了解一下堆栈和队列。

网络技术联盟站

2023/03/02

1.2K0

C#-StructLayoutAttribute(结构体布局)

node.js .net c++

在C/C++中，struct类型中的成员的一旦声明，则实例中成员在内存中的布局(Layout)顺序就定下来了，即与成员声明的顺序相同，并且在默认情况下总是按照结构中占用空间最大的成员进行对齐(Align)；当然我们也可以通过设置或编码来设置内存对齐的方式. 然而在.net托管环境中，CLR提供了更自由的方式来控制struct中Layout：我们可以在定义struct时，在struct上运用StructLayoutAttribute特性来控制成员的内存布局。默认情况下，struct实例中的字段在栈上的布局(Layout)顺序与声明中的顺序相同，即在struct上运用[StructLayoutAttribute(LayoutKind.Sequential)]特性，这样做的原因是结构常用于和非托管代码交互的情形。

vv彭

2021/03/08

1.1K0

同事有话说 | 跨职能团队是必须的吗？

敏捷开发

实际上，跨职能团队是由多个来自不同职能领域的人员组成的。但跨职能团队最大的一个特点是团队内的成员不仅来自多个职能领域，还可以扮演多个角色。也就是说，跨职能团队内部就可以协调解决职能空缺、时间紧张、项目进展推进慢等问题。

敏捷开发

2021/07/26

7270

你知道css圣杯布局与双飞翼布局吗？

javascript

马克社区

2022/07/27

1710

json字符串转为map结构，复杂json字符串转为map结构

json 编程算法 ide javascript

开发的时候，经常会遇到json转为Map的需求，简单的json还好处理，如果json比较复杂，转换后为Map嵌套结构，就比较难处理。比如：将下面的json字符串转为Map接口：

IT云清

2019/01/22

8.6K0

点击加载更多

相似问题

烟囱尺寸必须完全相同吗？

结构化JSON布局

android支持库必须使用完全相同的版本吗？

MongoDB中的新文档必须与架构完全相同吗？

DOJO json布局结构不起作用

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问如何在aws EMR上更改yarn计划程序配置？
EN