弹性 MapReduce 创建集群-EMR on CVM 操作指南-文档中心-腾讯云

操作场景
本文为您介绍通过 EMR 控制台创建一个 EMR on CVM 集群的操作步骤和相关配置。
操作步骤
登录 EMR 控制台 ，在 EMR on CVM 集群列表页单击创建集群，创建集群时，您需要对集群进行软件配置、区域与硬件配置、基础配置和确认配置信息四个步骤。
软件配置
配置项
配置说明
地域
集群所部署的物理数据中心，每个地域（region）都指一个独立的物理数据中心，不同地域间的云服务器内网不互通。注意：集群创建后，无法更改地域，请谨慎选择。 
集群类型
EMR on CVM 支持多种集群类，请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型。各集群类型介绍请参见 集群类型。
应用场景
基于 Hadoop 集群类型支持五种应用场景，分别为：默认场景、zookeeper、HBase、Presto、Kudu；根据实际业务需要选择相应的应用场景进行部署。
产品版本
不同产品版本上捆绑的组件和组件的版本不同。
部署组件
非必选组件，根据自身需求组合搭配自定义部署。
Kerberos 模式
默认关闭，开启后，集群中的开源组件以 Kerberos 的安全模式启动，详细信息请参见 Kerberos 简介。
依赖组件模式
默认关闭，开启后，使用已构建集群的组件共享给当前集群使用，依赖模式介绍请参见 组件配置共享。注意：由于所选组件部署在已有集群，提供依赖组件的集群将无法直接销毁，需优先销毁所有依赖其组件的集群。
软件配置
可选配置，集群启动前，可以指定 json 文件修改组件的配置参数，或访问外部集群，详情请参见 软件配置。
﻿
﻿
﻿
区域与硬件配置
配置项
配置说明
计费模式
支持包年包月和按量计费两种模式。包年包月：提前预付 N 个月的产品费用，相比按量付费价格更低。按量计费：按照使用时长付费，需对账户进行实名认证，在开通时需冻结2小时的费用（代金券不可用作冻结凭证），销毁时退还冻结资源费用。
（跨）可用区
1. 可以按需选择是否跨区部署，跨可用区部署会将服务、管理角色合理分配到多可用区，跨可用区部署可不同程度提供服务高可用的能力，默认单可用区，跨可用区白名单开放。
2. 同一地域下不同可用区支持机型规格不同，建议选择最新可用区；处在不同地域的云产品内网不通，购买后不能更换。建议选择靠近业务数据的地域可用区，以降低访问延迟、提高下载速度。
部署策略
当选择跨可用区部署时，支持平均策略和均衡策略。平分策略：“主可用区 + 第二可用区”的部署方案，当第二可用区异常时，主可用区可正常提供服务。
均衡策略：“主可用区 + 第二可用区 + 均衡可用区”的部署方案，主可用区与第二可用区互备部署，当任一可用区异常时不影响其他可用区正常提供服务。
集群网络
为保证 EMR 集群的安全性，我们会将集群各节点放入一个私有网络中，您需要设置一个私有网络以保证 EMR 集群的正确创建。
集群外网
可用于外网登录 SSH 和外网访问组件 WebUI，集群创建成功后可在控制台对该网络进行调整。默认开启 master1节点的外网。
安全组
安全组具有防火墙功能，用于设置云服务器 CVM 的网络访问控制。如果没有安全组，EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建，可删除部分不再使用的安全组。查看已在使用的安全组。
创建安全组：EMR 帮助用户创建一个安全组，开启22和30001端口及必要的内网通信网段。
已有 EMR 安全组：选择已创建的 EMR 安全组作为当前实例的安全组，开启22和30001端口及必要的内网通信网段。
远程登录
22端口常用于远程登录，新建安全组将默认开启，您可以根据业务需要关闭该端口，默认开启。
高可用（HA）
默认启动高可用，不同集群类型和应用场景在 HA 或非 HA 场景下，不同节点类型部署数量不同，详情请参见 集群类型。
节点类型
根据业务需要为不同节点类型选择合适机型配置。详情请参见 业务评估。
说明：
1. 目前支持 Core 节点、Task 节点和 Router 节点挂载多种云盘类型（每种云盘类型最多只能选择1次）和多块云盘（最多20块）。
2. 本地盘机型不支持部署在 Master 和 Common 节点上，请选择非本地盘机型。
置放群组
可选配置，放置群组是云服务器实例在底层硬件上分布放置的策略，详情请参见 置放群组。
Hive 元数据库
如果选择了 Hive 组件，Hive 元数据库提供了两种存储方式：
第一种集群默认，Hive 元数据存储于集群独立购买的MetaDB；
第二种是关联外部 Hive 元数据库，可选择关联 EMR-MetaDB 或自建 MySQL 数据库，元数据将存储于关联的数据库中，不随集群销毁而销毁。详情请参见 Hive 元数据管理。
注意：当选择 Hue、Ranger、Oozie、Druid、Superset 一个或多个组件时系统会自动购买一个 MetaDB 用于除 Hive 外的组件元数据存储。
﻿
﻿
﻿
基础配置
配置项
配置说明
所属项目
将当前集群分配给不同的项目组注意：集群创建后暂不支持修改所属项目。
集群名称
通过设置集群名称，来区分不同的 EMR 集群。系统随机生成支持修改，集群的名字，长度限制为6-36个字符，只允许包含中文、字母、数字、-、_。
登录方式
目前 EMR 提供两种登录集群服务、节点、MetaDB 的方式，自定义设置密码方式和关联密钥方式；SSH 密钥仅用于 EMR-UI 快捷入口登录。其中，用户名默认为“root”，superset 组件 WebUI 快捷入口的用户名为“admin”。
引导操作
可选配置，引导脚本操作方便您在创建集群的过程中执行自定义脚本，以便您修改集群环境、安装第三方软件和使用自有数据；更多设置请参见 引导操作。
标签
可选配置，您在创建时对集群或节点资源添加标签，以便于管理集群和节点资源，最多可绑定5条，标签键不可重复。
﻿
﻿
﻿
确认配置
配置项
配置说明
配置清单
确认所部署信息是否有误。
自动续费
可选项，系统将在集群到期前7天，每天检测用户账户上的可用余额是否充足，设置为自动续费的集群资源进行续费；包年包月集群默认勾选自动续费，用户可手动取消勾选。
协议条款
同意《弹性 MapReduce 服务等级协议》和《退费协议》。
﻿
﻿

完成以上配置后，单击购买进行支付，支付成功后 EMR 集群进入创建过程，大约10分钟后即可在 EMR 控制台中找到新建的集群。
注意
按量计费集群：立刻开始创建。 集群创建完成后，集群的状态变为运行中。
包年包月集群：先生成订单，支付完成订单以后集群才会开始创建。
您可以在 CVM 控制台中查看各节点的实例信息，为保证 EMR 集群的正常运行，请不要在 CVM 控制台中更改这些实例的配置信息。
后续步骤
集群创建成功后，您可根据自身情况登录集群后，对集群进行进一步的配置等操作，具体操作可参考如下文档：
配置集群：软件配置、挂载 CHDFS、统一 HIVE 元数据
管理集群：设置标签、设置引导操作、集群销毁

配置项	配置说明
地域	集群所部署的物理数据中心，每个地域（region）都指一个独立的物理数据中心，不同地域间的云服务器内网不互通。注意：集群创建后，无法更改地域，请谨慎选择。
集群类型	EMR on CVM 支持多种集群类，请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型。各集群类型介绍请参见集群类型。
应用场景	基于 Hadoop 集群类型支持五种应用场景，分别为：默认场景、zookeeper、HBase、Presto、Kudu；根据实际业务需要选择相应的应用场景进行部署。
产品版本	不同产品版本上捆绑的组件和组件的版本不同。
部署组件	非必选组件，根据自身需求组合搭配自定义部署。
Kerberos 模式	默认关闭，开启后，集群中的开源组件以 Kerberos 的安全模式启动，详细信息请参见 Kerberos 简介。
依赖组件模式	默认关闭，开启后，使用已构建集群的组件共享给当前集群使用，依赖模式介绍请参见组件配置共享。注意：由于所选组件部署在已有集群，提供依赖组件的集群将无法直接销毁，需优先销毁所有依赖其组件的集群。
软件配置	可选配置，集群启动前，可以指定 json 文件修改组件的配置参数，或访问外部集群，详情请参见软件配置。

配置项	配置说明
计费模式	支持包年包月和按量计费两种模式。包年包月：提前预付 N 个月的产品费用，相比按量付费价格更低。按量计费：按照使用时长付费，需对账户进行实名认证，在开通时需冻结2小时的费用（代金券不可用作冻结凭证），销毁时退还冻结资源费用。
（跨）可用区	1. 可以按需选择是否跨区部署，跨可用区部署会将服务、管理角色合理分配到多可用区，跨可用区部署可不同程度提供服务高可用的能力，默认单可用区，跨可用区白名单开放。 2. 同一地域下不同可用区支持机型规格不同，建议选择最新可用区；处在不同地域的云产品内网不通，购买后不能更换。建议选择靠近业务数据的地域可用区，以降低访问延迟、提高下载速度。
部署策略	当选择跨可用区部署时，支持平均策略和均衡策略。平分策略：“主可用区 + 第二可用区”的部署方案，当第二可用区异常时，主可用区可正常提供服务。均衡策略：“主可用区 + 第二可用区 + 均衡可用区”的部署方案，主可用区与第二可用区互备部署，当任一可用区异常时不影响其他可用区正常提供服务。
集群网络	为保证 EMR 集群的安全性，我们会将集群各节点放入一个私有网络中，您需要设置一个私有网络以保证 EMR 集群的正确创建。
集群外网	可用于外网登录 SSH 和外网访问组件 WebUI，集群创建成功后可在控制台对该网络进行调整。默认开启 master1节点的外网。
安全组	安全组具有防火墙功能，用于设置云服务器 CVM 的网络访问控制。如果没有安全组，EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建，可删除部分不再使用的安全组。查看已在使用的安全组。创建安全组：EMR 帮助用户创建一个安全组，开启22和30001端口及必要的内网通信网段。已有 EMR 安全组：选择已创建的 EMR 安全组作为当前实例的安全组，开启22和30001端口及必要的内网通信网段。
远程登录	22端口常用于远程登录，新建安全组将默认开启，您可以根据业务需要关闭该端口，默认开启。
高可用（HA）	默认启动高可用，不同集群类型和应用场景在 HA 或非 HA 场景下，不同节点类型部署数量不同，详情请参见集群类型。
节点类型	根据业务需要为不同节点类型选择合适机型配置。详情请参见业务评估。说明： 1. 目前支持 Core 节点、Task 节点和 Router 节点挂载多种云盘类型（每种云盘类型最多只能选择1次）和多块云盘（最多20块）。 2. 本地盘机型不支持部署在 Master 和 Common 节点上，请选择非本地盘机型。
置放群组	可选配置，放置群组是云服务器实例在底层硬件上分布放置的策略，详情请参见置放群组。
Hive 元数据库	如果选择了 Hive 组件，Hive 元数据库提供了两种存储方式：第一种集群默认，Hive 元数据存储于集群独立购买的MetaDB；第二种是关联外部 Hive 元数据库，可选择关联 EMR-MetaDB 或自建 MySQL 数据库，元数据将存储于关联的数据库中，不随集群销毁而销毁。详情请参见 Hive 元数据管理。注意：当选择 Hue、Ranger、Oozie、Druid、Superset 一个或多个组件时系统会自动购买一个 MetaDB 用于除 Hive 外的组件元数据存储。

配置项	配置说明
所属项目	将当前集群分配给不同的项目组注意：集群创建后暂不支持修改所属项目。
集群名称	通过设置集群名称，来区分不同的 EMR 集群。系统随机生成支持修改，集群的名字，长度限制为6-36个字符，只允许包含中文、字母、数字、-、_。
登录方式	目前 EMR 提供两种登录集群服务、节点、MetaDB 的方式，自定义设置密码方式和关联密钥方式；SSH 密钥仅用于 EMR-UI 快捷入口登录。其中，用户名默认为“root”，superset 组件 WebUI 快捷入口的用户名为“admin”。
引导操作	可选配置，引导脚本操作方便您在创建集群的过程中执行自定义脚本，以便您修改集群环境、安装第三方软件和使用自有数据；更多设置请参见引导操作。
标签	可选配置，您在创建时对集群或节点资源添加标签，以便于管理集群和节点资源，最多可绑定5条，标签键不可重复。

配置项	配置说明
配置清单	确认所部署信息是否有误。
自动续费	可选项，系统将在集群到期前7天，每天检测用户账户上的可用余额是否充足，设置为自动续费的集群资源进行续费；包年包月集群默认勾选自动续费，用户可手动取消勾选。
协议条款	同意《弹性 MapReduce 服务等级协议》和《退费协议》。

创建集群

本页目录：

操作场景

操作步骤

软件配置

区域与硬件配置

基础配置

确认配置

后续步骤