EMR 默认推荐使用单可用区部署,但单可用区可能存在整个可用区故障或资源不足的风险。为提升集群的可用区级可靠性及资源灵活性,在 Hadoop 集群类型场景下,可设置集群跨可用区部署。
目前跨可用区部署采用三可用区(三 AZ)部署方案:通过互备可用区部署,当互备中的任一可用区发生故障后,集群仍可正常提供服务。由于数据的跨可用区分布能力尚未支持,当前在 EMR on COS 部署方案下实现可用区级容灾。
三可用区部署需要设置 3 个可用区进行集群部署,分别为 1 个主可用区、1 个第二可用区和 1 个均衡可用区。其中,主可用区与第二可用区资源互备部署,主可用区和第二可用区任一可用区异常时,不影响另一可用区正常提供服务。


为什么不支持双可用区部署
跨可用区部署未采用双可用区(两 AZ)方案,主要基于以下两点原因:
1. 双可用区无法实现单可用区级容灾。 在双可用区部署下,若发生故障的是主可用区,则整个集群仍会不可用,无法做到真正意义上的单可用区容灾。只有采用三可用区互备部署,才能保证主可用区或第二可用区任一异常时集群仍可正常服务。
2. EMR 依赖的存储服务不支持双可用区容灾。 EMR 依赖的 COS 和 CHDFS 均不支持 2 个可用区的容灾能力。即使 EMR 计算侧未挂在主可用区上,一旦 COS 的单可用区发生故障,整体服务同样会不可用。因此仅靠双可用区无法保障存储层的可用区级容灾。
创建集群
1. 登录 EMR 控制台 ,在 EMR on CVM 集群列表页单击创建集群。
2. 选软件配置 Step:选择地域,选择 Hadoop 集群类型,选择所需的集群场景,其他信息项参考单集群购买页,请参见 创建集群。
3. 区域与硬件配置 Step:跨可用区信息项选择跨可用区选项,可用区信息项需要按需选择三个可用区,按照可用区行序,第一行为主可用区,第二行为第二可用区,第三行为第三可用区,参照可用区选择子网。

4. 节点配置项分别配置已选可用区的节点规格及数量,跨可用区部署时高可用选项为默认开启且不可关闭配置。

5. 基础配置及确认配置信息请参照单集群购买页,请参见 创建集群。
查看集群
集群创建成功后,可在集群列表以及集群实例信息页面查看集群的主备可用区信息。
1. 登录 EMR 控制台,可进入集群列表页面:

2. 单击集群 ID/名称可进入集群实例信息页面:

扩容集群
主可用区、第二可用区和第三可用区均可支持按需扩容 Task、Core 及 Router 类型节点。
跨可用区扩容仅为可用资源扩展。若用户集群的服务等部署为主备方案时,建议主可用区和第二可用区的资源保持等量扩容。
缩容集群
缩容时,主可用区和第二可用区的 Core 节点类型总数可缩减至最小值为 3,其他节点类型无限制。
第三可用区在缩容时支持 Core、Task、Router 节点类型的全量缩容。