社区首页 >问答首页 >当我使用自定义AMI时AWS EMR配置失败

当我使用自定义AMI时AWS EMR配置失败
EN

Stack Overflow用户
提问于 2019-02-07 09:55:54
回答 2查看 2.8K关注 0票数 0

问题:I在cloudformation模板中定义了一个EMR集群(以及许多其他资源)。我使用api来提供堆栈。它能工作,我可以成功地提供堆栈。

然后,我做了一个更改:我为我的EMR集群指定了一个自定义AMI。现在,当我提供堆栈时,EMR配置失败了。

现在,由于EMR配置失败,我的堆栈创建失败了。我能找到的唯一信息是控制台上的一个错误:null: Error provisioning instances.。深入了解每个实例,我发现主节点由于错误Status: Terminated. Last state change reason:Time out occurred during bootstrap而失败。

我已经为我的EMR集群配置了s3日志记录,但是s3桶中没有日志。

详细信息:

我更新了cloudformation脚本如下: my_stack.cfn.yaml:

代码语言:javascript
代码运行次数:0
复制
rMyEmrCluster:
  Type: AWS::EMR::Cluster
  ...
  Properties:
    ...
    CustomAmiId: "ami-xxxxxx" # <-- I added this

自定义AMI详细信息:,我正在添加一个自定义AMI,因为我需要加密所有节点上的根EBS卷。(这是每个文档所必需的)

创建自定义AMI的步骤:

  1. 我启动了AWS用于EMR节点的基本AMI:emr 5.7.0-ami-roller-27 hvm ebs (ID:ami-8a5cb8f3)
  2. 我从正在运行的实例中创建了一个映像。
  3. 我创建了此映像的副本,启用了EBS根卷加密。我使用默认的加密密钥。(我必须从正在运行的实例中创建自己的基本映像,因为不允许您从您不拥有的AMI创建加密副本)

我想知道这是否是权限问题,或者我的AMI在某种程度上配置错误。但是,我最好先找到一些日志,准确地找出节点配置的错误所在。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-02-07 11:42:41

我觉得自己很蠢。我意外地使用了一个完全不相关的AMI ( redhat 7映像)作为基本映像,而不是默认情况下EMR用于其节点的AMI:emr 5.7.0-ami-roller-27 hvm ebs (ami-8a5cb8f3)

如果其他人犯了同样的错误,我将保留这个问题并回答。

确保您从正确的基本AMI创建自定义AMI:emr 5.7.0-ami-roller-27 hvm ebs (ami-8a5cb8f3)

票数 0
EN

Stack Overflow用户

发布于 2019-02-22 13:34:51

您提到您基于EMR创建了自定义AMI。但是,根据您所链接的文档,您实际上应该将AMI建立在“最新的EBS支持的Amazon”之上。您的自定义AMI不需要基于EMR AMI,实际上,我认为这样做可能会导致一些问题(尽管我自己还没有尝试过)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54579440

复制
相关文章
EMR 实战心得浅谈
作者|吴建阳 翁建清 策划|褚杏娟 AWS Elastic MapReduce(以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系列开源社区组件封装的云上托管大数据平台,用户可以基于 EMR 迅速拉起一套大数据集群,用于大规模数据处理、分析,使用时可根据实际业务所需灵活调配计算资源,一定程度上降低底层基础设施运维成本。AWS 是最早将大数据管理平台上云的云厂商,查询其官网发行版本记录,能检索到的最古老版本 EMR-4.2.0 发布日期为 2015 年 11 月 18 日,当是时
深度学习与Python
2023/03/29
2.2K0
EMR 实战心得浅谈
AWS(Amazon Linux 2 AMI)在线迁移到腾讯云
(4)检查 SELinux 是否已打开。如果 SELinux 已打开,请关闭 SELinux
赵智勇
2020/08/26
2.2K0
AWS(Amazon Linux 2 AMI)在线迁移到腾讯云
主流云平台介绍之-AWS
目前云平台逐渐火热起来,国内如:阿里云、腾讯云、华为云等平台,国外如:AWS、Azure、Google GCP等平台,都有不少用户,并在持续的增加中。
用户7353950
2022/05/11
3.2K0
主流云平台介绍之-AWS
EMR上Hive ACL配置
到目前为止,hive就已经支持acl功能了。现在来看看如果使用acl功能(常用命令)。
程序猿
2018/08/12
1.9K0
EMR上Hive ACL配置
当我们在谈免费游戏时
技术改变思想 本来不想用“当我们在谈XXX的时候,我们在谈什么”这种俗气的标题,但这个文章的内容,确实在一些人的想法里,还是有那么一点俗气的。所以用这个标题,也算文题对应吧。免费游戏,道具收费(Free To Play)作为一种游戏类型的存在,似乎是一个最近10年才开始的事情,但在中国,这种类型几乎成为了唯一的游戏类型。一切产品,都是因为有用户的市场需求才会存在,但是免费游戏这个市场,又是如何被挖掘出来的呢?——这对于看清楚免费游戏背后的用户需求,应该是有很多好处的。 2006年的某天,我的老板给我打了个
韩伟
2018/03/05
2.3K1
当我们在谈免费游戏时
配置zabbix时启动失败解决办法
https://blog.csdn.net/rujianxuezha/article/details/79842998
全栈程序员站长
2022/07/05
3.4K0
多EMR-Presto集群共享EMR-Hive集群配置方案
EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需求,多EMR-Presto集群共享EMR-Hive集群配置方案可以满足这种需求。
sundyxiong
2018/09/17
1.5K0
多EMR-Presto集群共享EMR-Hive集群配置方案
腾讯云EMR使用说明: 配置工作流
本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。
fastio
2018/05/03
12.3K0
腾讯云EMR使用说明: 配置工作流
当我们优化用户配置文件时我们在优化什么?
相信做过VDI虚拟桌面(现在更多被称之为“云桌面”)或终端标准化的兄弟们对用户配置文件优化应该都不陌生,无数个夜晚,无数次操作,只为了默认配置文件能够兼容应用的一个控件或一个设置。有可能仅仅是一个软件的小Feature或一个B/S系统的小表格,我们可能都要耗费上N久的时间。
SuperDream
2020/06/03
2.6K1
【翻译】Terraform 最佳实践:模块组合
原文:https://www.terraform.io/language/modules/develop/composition
顾宇
2022/03/26
2K0
以代码的形式构建 Jenkins
在我们公司,我们尝试使用‘一切事物即代码’的模式,该模式涉及到可复制的基础架构,监控,任务等方面。但是在这篇文章当中,我将向你展示怎样将这种模式运用到 Jenkins 上。是的,我的意思是对于 Jenkins 完全可复制的配置,以及基础架构、插件、凭据、任务以及代码中的其他东西。另外,这篇文章你将解惑下面的疑问:
LinuxSuRen
2020/04/16
1.5K0
以代码的形式构建 Jenkins
go: 当我们在使用sync.Map时,发生了什么
sync.Map是我比较喜欢的一个库,用了非常久,今天突发奇想瞧瞧它的实现。又一次被宇宙中第二NB的语言--go 折服了。 这里准备写一篇文章,讨论下当使用sync.Map执行操作的时候,会发生什么。
超级大猪
2020/07/06
9670
当我开始使用React 时,我希望我知道这些知识
自2013年5月29日首次发布以来,React.js已经占领了互联网。我和许多其他开发人员将他们的成功归功于这个了不起的框架,这已经不是什么秘密了。
前端小智@大迁世界
2019/06/15
9370
当我们谈注册中心时谈什么?
注册中心对于服务提供者需要具备服务注册、注销的能力,对于服务消费者需要提供查询服务、感知服务变化的功能。当然还需要解决一些其他问题才能成为一个优秀的注册中心,如高可用、高性能、水平扩展能力、服务探活能力、路由功能、多机房(多活)能力等。
龟仙老人
2020/12/16
6020
Oracle 创建数据库时 Enterprise Manager配置失败
增加对计算机的监听 打开Oracle Net Manager工具,添加一个监听程序
华创信息技术
2019/11/08
2.7K1
Oracle 创建数据库时 Enterprise Manager配置失败
Terraform快速入门到入土
不过这里值得注意的是,可以看到使用docker ps -a 并没有找到我们停止的容器,所以这里是将这个容器删除了,因为我们正常停止一个容器的时候,使用docker stop,但是在docker ps -a中,我们可以看到已经停止的容器,可以使用docker start 重新将它启动,但是这里是直接将这个容器删除
UzJu@菜菜狗
2022/04/25
2.8K0
Terraform快速入门到入土
aws ec2 配置ftp----使用vsftp
凡是加在文件vsftpd/chroot_list中的用户都是不受限止的用户,即, 可以浏览其主目录的上级目录。在这里默认为空:
流川疯
2019/01/17
2.7K0
微服务架构之Spring Boot(八十五)
Boxfuse的工作原理是将您的Spring Boot可执行jar或war转换为可以在VirtualBox或AWS上无需部署的最小VM映像。Boxfuse为Spring Boot
用户1289394
2022/05/23
1.5K0
当我们谈论内容时,我们在谈什么?
作为数字音乐界『双App』之一的虾米音乐迎来了一个爆款内容:《我的少女时代》主题曲《小幸运》在虾米音乐播放量超过三千万,这首由田馥甄演唱的歌,在数字音乐平台的表现很是亮眼,虾米音乐则凭这一爆款内容在用户获取等方面收获满满。过去一个平台可以成就一个明星、一首歌曲,现在反过来,一首单曲竟然具有如此大的魔力,给平台带来助力。这一现象本质是,移动互联网进入内容时代,而《小幸运》的成功给内容产业还是带来了些许启发的。 内容究竟是什么鬼? 2015年可谓中国内容创业的大年,音乐、视频、广播、文学、动漫诸多数字内容领域都
罗超频道
2018/04/28
9320
点击加载更多

相似问题

我们是否可以使用预配置的AMI创建AWS EMR群集?

11

使用aws emr cli传递蜂箱配置

10

在EMR启动时设置AWS配置

11

运行PySpark时AWS EMR的代码失败

18

AWS AMI:从仿生配置AMI时需要显式移除apt锁定

259
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文