创建 GooseFS 集群

最近更新时间:2026-06-16 17:58:00

我的收藏

简介

您可以通过 GooseFS 控制台,在 GooseFS 列表页面创建 GooseFS 集群。关于 GooseFS 集群的概念,请参见 GooseFS 集群概述。下面将为您详细介绍如何创建 GooseFS 集群。
注意:
GooseFS 集群具有地域概念,一般情况下,推荐您优先选择在您的计算业务所在的地域部署。例如,大数据分析作业在广州六区,那么 GooseFS 集群的部署地域也推荐在广州六区,以减少数据 I/O 路径。

前提条件

在登录控制台使用 GooseFS 前,您需要 联系我们 开通 GooseFS 服务。

操作步骤

2. 在左侧导航中,选择 GooseFS > 实例列表,进入 GooseFS 集群列表页面。
3. 单击新建,进入 GooseFS 集群创建流程。GooseFS 集群的新建流程主要分为配置集群信息、配置集群资源和确认信息三个主要步骤。
4. 集群信息主要用于描述 GooseFS 集群的基本属性,需要配置如下参数项。



集群名称:集群唯一标记,账号下全局唯一,集群名称需要遵循命名规范,可参考 GooseFS 集群概述中的描述。
集群描述:用于表述集群的属性、用途等信息。
集群类别:集群不同类型或应用场景。分为腾讯公有云集群和 IDC 云集群。
地域:集群所在地域,一般跟计算业务所在集群的地域一致。
可用区:集群所在的可用区,一般跟计算集群同 AZ。
所属 VPC:集群所在的 VPC,一般跟计算集群同 VPC,尽量避免跨 VPC 部署的情况。
所属子网:集群所在的子网。
标签:集群标签信息。
5. 集群资源主要用于配置 GooseFS 集群需要管理的缓存存储规模。GooseFS 部署模式包括全托管、Master 托管和管控面托管三种模式,以下分别展开三种模式的集群创建说明。
全托管
Master 托管
管控面托管
全托管模式下,用户无需自行购买 Master 节点和 Worker 节点,所有节点均由腾讯云托管。腾讯云团队将负责集群的整体可用性和稳定性,确保用户可以专注于核心业务。相关参数说明如下:
读缓存容量:选择实例中用于读场景,缓存的容量大小,可选 10TB-1000TB,步长10TB。
写缓存特性:创建额外缓存空间用于写场景数据缓存。
说明:
当前写缓存能力为公测功能,请 联系我们 申请公测资格。
元数据发现需要 GooseFS 集群版本 ≥ 1.6.1,如您需要升级集群版本,请 联系我们
当前仅全托管部署模式支持开启写缓存。
写缓存副本数:支持单副本、双副本、三副本写入。单副本数据可靠性:99%;双副本可靠性:99.999%;三副本可靠性:99.9999999%(9 个 9)。若需使用单副本,请 联系我们
注意:
集群创建完成后,无法热切换副本数配置。若需修改副本数,需要关闭写缓存再重新开启指定副本数。
写缓存容量,步长 = 副本数 ✕ 集群步长(例如双副本 ✕ 10TB集群步长 = 写缓存步长20TB)。
说明:
该容量为真实磁盘容量,实际可缓存业务容量与写副本数相关。例如购买30TB写缓存容量,当选择双副本时,实际可缓存的业务容量为15TB;当选择3副本时,实际可缓存容量为10TB。
相应的,写缓存提供的峰值吞吐也与副本数相关。写缓存默认提供160MBps/TB的吞吐峰值能力,当选择双副本时,可以提供的业务峰值带宽为80MBps/TB。
集群创建完成后,支持缩容写缓存容量或关闭写缓存。缩容或关闭时,会锁定缩容容量无法写入,待持久化完缓存数据后容量将会释放。
实例总容量:确定实例总容量无误。开启写缓存后,实例总容量 = 读缓存容量 + 写缓存容量。
实例费用:确定实例费用无误。实例费用将根据实例总容量计算。

Master 托管模式下,用户在 GooseFS 平台购买 Master 实例;Worker 节点需要由用户自己购买 CVM 实例作为节点,在完成集群创建后通过添加节点加入集群。在创建 Master 托管模式的 GooseFS 集群时,相关参数说明如下:



部署模式:选择 Master 托管。
Master 规格:可以选择 Medium 版、Large 版、XLarge 版。
不同 Master 机型的规格如下:
机型规格
文件数
Medium
1亿
Large
50亿 - 70亿
XLarge
100亿 - 120亿
实例类型:选择 CVM/EMR。
缓存配置
缓存路径:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
缓存容量:集群单个 Worker 节点数据容量大小。
管控面托管模式下,GooseFS 的 Master 和 Worker 节点均需要由用户自己购买 CVM 实例作为节点。在创建管控面托管模式的 GooseFS 集群时,相关参数说明如下:
部署模式:选择管控面托管。
类型:当前支持 CVM/EMR。
实例版本:GooseFS 版本号信息。
高可用模式:若启用高可用模式,则至少需要部署3个 Master 节点。
Master 节点:选择 Master 节点。若未启用高可用模式,则选择1个 Master 节点即可。
Worker 节点:选择 Worker 节点。
Master 格式化挂载:用于格式化磁盘并进行文件系统挂载点。用户自选是否进行格式化挂载。若未启用,则在创建流程时不需要设置数据盘挂载选项,可手动或者使用脚本挂载;若启用,则需要填写设备名称,格式化系统,挂载点等参数。
警告:
格式化磁盘可能造成原有数据丢失。在格式化挂载前请确保盘内无数据或已进行数据备份。
挂载设备名称:需要挂载的硬件设备,一般为特定的磁盘分区,需要登录到机器上查看,一般在/dev路径下。
格式化系统:Linux 文件系统类型。
挂载点:文件系统挂载点。
示例:
如果您需要将 /dev/vdb 这块设备格式化成 ext4,并挂载到 /var/lib/docker目录下,可以这样设置:设备名称/dev/vdb,格式化系统ext4,挂载点/var/lib/docker
Worker 格式化挂载:配置说明同上述 Master 格式化挂载。
缓存配置:主要用于配置 Worker 节点。
缓存路径:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
缓存存储容量:GooseFS 集群单个 Worker 节点数据容量大小。
挂载点配置:主要用于设置挂载点的详细配置信息,最关键的是单盘缓存容量。
Journal 路径:GooseFS 集群的 Journal 日志在宿主机上的存储路径。
Block 路径: GooseFS 集群的 Block 元数据在宿主机上的存储路径。
Metastore 路径:GooseFS 集群的元数据在宿主机上的存储路径。
6. 勾选服务条款。
7. 按需填入上述各项参数后,单击下一步,将开始检查节点状态。系统检查无误后,单击确定执行。
8. 进入集群创建流程,可在任务中心中查看集群部署的详细进展。

后续步骤

创建好 GooseFS 集群后,可以根据业务需要登录集群进行下一步的节点管理、命名空间管理、客户端管理、配置管理等操作。具体操作可以参考下述文档: