创建 GooseFS 集群

最近更新时间:2024-09-04 15:01:01

我的收藏

简介

您可以通过 GooseFS 控制台,在 GooseFS 列表页面创建 GooseFS 集群。关于 GooseFS 集群的概念,请参见 GooseFS 集群概述。下面将为您详细介绍如何创建 GooseFS 集群。
注意:
GooseFS 集群具有地域概念,一般情况下,推荐您优先选择在您的计算业务所在的地域部署。例如,大数据分析作业在广州六区,那么 GooseFS 集群的部署地域也推荐在广州六区,以减少数据 IO 路径。



前提条件

在登录控制台使用 GooseFS 前,您需要 联系我们 开通 GooseFS 服务。



操作步骤

2. 在左侧导航中,选择 GooseFS > 实例列表,进入 GooseFS 集群列表页面。
3. 单击新建,进入 GooseFS 集群创建流程。GooseFS 集群的新建流程主要分为配置集群信息、配置集群资源和确认信息三个主要步骤。
4. 集群信息主要用于描述 GooseFS 集群的基本属性,需要配置如下参数项:
集群名称:集群唯一标记,账号下全局唯一,集群名称需要遵循命名规范,可参考 GooseFS 集群概述中的描述。
集群描述:用于表述集群的属性、用途等信息。
地域:集群所在地域,一般跟计算业务所在集群的地域一致。
可用区:集群所在的可用区,一般跟计算集群同 AZ。
所属 VPC:集群所在的 VPC,一般跟计算集群同 VPC,尽量避免跨 VPC 部署的情况。
所属子网:集群所在的子网。
标签:集群标签信息。
5. 集群资源主要用于配置 GooseFS 集群需要管理的缓存存储规模。GooseFS 部署模式包括管控面托管和 Master托管两种模式,以下分别展开两种模式的集群创建说明:
Master托管
管控面托管
Master 托管模式下,用户在 GooseFS 平台购买 Master 实例;Worker 节点需要由用户自己购买 CVM 实例作为节点,在完成集群创建后通过添加节点加入集群。在创建 Master托管模式的 GooseFS 集群时,相关参数说明如下:
部署模式:选择 Master 托管。
Master 规格:可以选择 Medium版、Large版、XLarge版。
不同 Master 机型的规格如下:
机型规格
文件数
Medium
1亿
Large
50亿 - 70亿
XLarge
120亿 - 200亿
实例类型:选择 CVM/EMR。
缓存配置:
缓存路径:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
缓存容量:集群单个 Worker 节点数据容量大小。



管控面托管模式下,GooseFS 的 Master 和 Worker 节点均需要由用户自己购买 CVM 实例作为节点。在创建管控面托管模式的 GooseFS 集群时,相关参数说明如下:
部署模式:选择管控面托管。
类型:当前支持 CVM/EMR。
集群版本:GooseFS 版本号信息。
高可用模式:若启用高可用模式,则至少需要部署3个 Master 节点。
Master 节点:选择 Master 节点。若未启用高可用模式,则选择1个 Master 节点即可。
Worker 节点:选择 Worker 节点。
Master 格式化挂载:用于格式化磁盘并进行文件系统挂载点。用户自选是否进行格式化挂载。若未启用,则在创建流程时不需要设置数据盘挂载选项,可手动或者使用脚本挂载;若启用,则需要填写设备名称,格式化系统,挂载点等参数。
挂载设备名称:需要挂载的硬件设备,一般为特定的磁盘分区,需要登录到机器上查看,一般在/dev路径下。
格式化系统:Linux 文件系统类型。
挂载点:文件系统挂载点。
示例:
如果您需要将 /dev/vdb 这块设备格式化成 ext4,并挂载到 /var/lib/docker目录下,可以这样设置:设备名称/dev/vdb,格式化系统ext4,挂载点/var/lib/docker
Worker 格式化挂载:配置说明同上述 Master 格式化挂载。
挂载点配置:主要用于设置挂载点的详细配置信息,最关键的是单盘缓存容量。
缓存存储容量:GooseFS 集群单个 Worker 节点数据容量大小。
Journal 路径:GooseFS 集群的 Journal 日志在宿主机上的存储路径。
Block 路径: GooseFS 集群的 Block 元数据在宿主上的存储路径。
Metastore 路径:GooseFS 集群的元数据在宿主机上的存储路径。
Worker Data:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
Worker Domain Socket 路径:GooseFS 集群配置短路读时,数据存储路径,非必选项。
6. 按需填入上述各项参数后,单击下一步,将开始检查节点状态。系统检查无误后,单击确认执行。
7. 进入集群创建流程,可选择集群详情 > 任务管理详情中查看集群部署的详细进展。

后续步骤

创建好 GooseFS 集群后,可以根据业务需要登录集群进行下一步的配置管理、节点管理、客户端管理等操作。具体操作可以参考下述文档: