如何在Amazon上的所有节点(主节点和奴隶节点)上运行脚本,脚本-runner.jar仅在Namenode上运行。
发布于 2015-01-14 05:25:26
您有引导选项:
您可以使用引导操作安装其他软件,并更改群集上应用程序的配置。引导操作是在Amazon启动集群时在集群节点上运行的脚本。它们在Hadoop启动之前和节点开始处理数据之前运行。您可以创建自定义引导操作,也可以使用Amazon提供的预定义引导操作。
来自文档:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html
只需放置一个脚本就可以完成对S3的复制,然后如果从命令行启动EMR,则添加如下参数:
--bootstrap-action 's3://my-bucket/boostrap.sh'
或者,如果您正在通过web界面执行此操作,只需在“引导动作”中输入文件的位置作为“自定义操作”。
https://stackoverflow.com/questions/23486689
复制相似问题