数据预热

最近更新时间:2026-07-10 11:25:30

我的收藏

创建数据预热单次任务

创建数据预热单次任务,是在 GooseFSx 目录与 COS 存储桶之间执行一次数据预热。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理后,选择数据流动 > 数据预热。

4. 单次任务页签下,单击创建单次任务。在弹出的对话框中,进行如下配置。

任务名称:输入易于识别的名称,创建后可修改。
GooseFSx 目录:即与 COS 建立数据流动规则的目录,在 管理数据流动规则 时可指定或者创建。
数据集:可通过目录或清单来指定需要传输的数据。例如通过目录指定 GooseFSx 目录的某个子目录或整个目录,或通过清单指定 GooseFSx 目录的某些文件;数据流动保持 GooseFSx 目录的数据与 COS 存储桶的数据一一对应,数据集也是指定流动 COS 存储桶的对应数据。
通过目录指定:目录路径请输入不以 “/” 开头的、以 “/” 结尾的路径,或不输入。示例如下:
不输入:指定 GooseFSx 目录(例如 goosefsx-bj-auto-test-1250000000)的所有数据。
bigfile/:指定 GooseFSx 目录下 bigfile/ 子目录的所有数据。
bigfile/pic/:指定 GooseFSx 目录下 bigfile/pic/ 子目录的所有数据。
通过清单指定:清单 URL 请输入清单文件的 COS 默认访问地址,不支持自定义域名,示例:https://fsx-bj-test-125xxx.cos.ap-beijing.myqcloud.com/list/test_list1.txt。
清单文件需要存放在与 GooseFSx 实例同地域的 COS 存储桶,并设置该文件的访问权限为公有读。
清单文件每一行是一个文件路径,文件路径是 GooseFSx 目录下的路径,不同文件路径用回车符换行。
如:需要传输该目录下的三个文件: test_dir1/test_file_1.data, test_dir2/test_file_2.data, test_dir3/test_file_3.data,清单将有三行,第一行是 test_dir1/test_file_1.data,第二行是 test_dir2/test_file_2.data,第三行是 test_dir3/test_file_3.data。
清单文件格式是 txt 文件。
任务类型
元数据预热:从 COS 存储桶仅预热元数据到 GooseFSx 目录。适用于初次读取性能不敏感等场景。
数据预热:从 COS 存储桶预热数据含元数据到 GooseFSx 目录。适用于高性能访问等场景。
5. 单击确定,后台将自动执行数据预热。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),数据集暂不支持通过清单指定,任务类型暂不支持数据预热。
若 GooseFSx 目录的数据流动模式是手动模式,任务类型不支持元数据预热。

删除数据预热单次任务

注意:
您可删除已完成或待执行的数据预热单次任务。但需要注意以下几点:
删除已完成的数据预热单次任务,您将无法查询该任务的相关信息。
删除待执行的数据预热单次任务,即取消该任务。
暂不支持删除执行中的数据预热单次任务。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务;或勾选多个任务,执行批量删除。


查询数据预热单次任务

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击详情,可查看详细信息。


复制数据预热单次任务

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击更多操作 > 复制任务操作。

5. 在弹出的对话框中,可对复制后的任务进行相应的修改。

创建数据预热周期任务

周期任务,周期性自动触发执行,例如,每间隔1小时自动预热,将从 COS 预热数据到 GooseFSx,适用于及时同步 COS 存储桶的数据变化等场景。
周期任务列表,可看到已创建的周期任务,可进行增加、删除、查询等管理操作。
周期任务触发的预热任务,将出现在单次任务的列表中,均以周期任务名称来命名,通过任务 ID 来区分。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热

4. 周期任务页面,单击创建周期任务。在弹出的对话框中,进行如下配置。

任务名称:输入易于识别的名称,创建后可修改。
触发周期
每小时:每间隔一小时执行一次。
每天:每间隔一天执行一次。
每周:每间隔一周执行一次。
每月:每间隔一月执行一次。
GooseFSx 目录:从已与 COS 建立数据流动规则的目录中选择,可前往实例详情页进行创建。
目标路径:指定需要预热的目录路径,例如,该 GooseFSx 目录、或该 GooseFSx 目录下的某个子目录。
任务类型
元数据预热:从 COS 存储桶仅预热元数据到 GooseFSx 目录。适用于初次读取性能不敏感等场景。
数据预热:从 COS 存储桶预热数据含元数据到 GooseFSx 目录。适用于高性能访问等场景。
5. 单击确定即可。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),暂不支持周期任务。
若 GooseFSx 目录的数据流动模式是手动模式,任务类型不支持元数据预热。

通过目录清单指定预热范围

GooseFSx 支持通过目录清单来批量指定预热范围。目录清单中每一行是一个目录路径,系统将自动遍历该目录下的所有文件并执行预热,适用于客户提供目录级批量预热需求的场景。目录清单还支持目录和文件混配,即同一清单文件中可以同时包含目录路径和文件路径,系统会分别处理。

目录清单文件格式

目录清单文件为 txt 格式,每行一条记录,每行为 COS 桶的目录路径,以 / 结尾。示例如下:
# COS 桶的目录路径
dir1/
dir2/dir21/

目录嵌套处理说明

目录清单中的目录路径不做嵌套去重处理:若清单中同时包含父目录和其子目录,两者均会被独立遍历执行,子目录的文件将被重复预热。
建议您在提交清单前自行检查目录是否存在嵌套关系,以避免重复预热产生额外资源消耗。
预热时依据数据一致性判定原则判断是否跳过:当源与目标目录中的文件内容一致时,跳过该文件;否则执行预热。

目录清单文件使用限制

项目
限制
清单文件格式
仅支持 .txt 格式
目录清单中的目录数量
上限1,000条
单次任务总文件数上限
1亿(若您有进一步需求,您可咨询 在线客服 联系我们)
清单文件存储位置
必须存放在与 GooseFSx 实例同地域的 COS 存储桶
清单文件访问权限
必须设置为公有读
嵌套目录
不做自动去重,父目录或子目录均会被独立遍历

操作步骤

1. 准备好目录清单文件(.txt 格式),每行一个目录路径,可选填目标前缀。
2. 将清单文件上传至与 GooseFSx 实例同地域的 COS 存储桶路径中,路径映射规则如下,并将该文件的访问权限设置为公有读
说明:
假设 GooseFSx 在主机上的挂载点为/goosefsx/x-c60-9s81ru8q/,若 COS 存储桶映射到 GooseFSx 路径是 dfrule/,(可在创建数据流动规则确定映射关系)。
COS 桶对象路径
文件系统路径
主机上的路径
dir1/
/dfrule/dir1/
/goosefsx/x-c60-9s81ru8q/dfrule/dir1/
dir2/dir21/
/dfrule/dir2/dir21/
/goosefsx/x-c60-9s81ru8q/dfrule/dir2/dir21/
3. 登录 数据加速器 GooseFS 控制台,进入目标实例详情页。
4. 选择数据流动 > 数据预热,在单次任务页签下,单击创建单次任务
5. 在弹出的对话框中,数据集选择通过清单指定,在清单 URL 中填写目录清单文件的 COS 默认访问地址(不支持自定义域名)。示例如下:
https://fsx-bj-test-125xxx.cos.ap-beijing.myqcloud.com/list/dir_list.txt
6. 完成其他配置后,单击确定,后台将自动解析目录清单并执行预热。