创建数据预热单次任务
创建数据预热单次任务,是在 GooseFSx 目录与 COS 存储桶之间执行一次数据预热。
前提条件
已 创建数据流动规则。
操作步骤
1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理后,选择数据流动 > 数据预热。

4. 在单次任务页签下,单击创建单次任务。在弹出的对话框中,进行如下配置。

任务名称:输入易于识别的名称,创建后可修改。
GooseFSx 目录:即与 COS 建立数据流动规则的目录,在 管理数据流动规则 时可指定或者创建。
数据集:可通过目录或清单来指定需要传输的数据。例如通过目录指定 GooseFSx 目录的某个子目录或整个目录,或通过清单指定 GooseFSx 目录的某些文件;数据流动保持 GooseFSx 目录的数据与 COS 存储桶的数据一一对应,数据集也是指定流动 COS 存储桶的对应数据。
通过目录指定:目录路径请输入不以 “/” 开头的、以 “/” 结尾的路径,或不输入。示例如下:
不输入:指定 GooseFSx 目录(例如 goosefsx-bj-auto-test-1250000000)的所有数据。
bigfile/:指定 GooseFSx 目录下 bigfile/ 子目录的所有数据。
bigfile/pic/:指定 GooseFSx 目录下 bigfile/pic/ 子目录的所有数据。
通过清单指定:清单 URL 请输入清单文件的 COS 默认访问地址,不支持自定义域名,示例:https://fsx-bj-test-125xxx.cos.ap-beijing.myqcloud.com/list/test_list1.txt。
清单文件需要存放在与 GooseFSx 实例同地域的 COS 存储桶,并设置该文件的访问权限为公有读。
清单文件每一行是一个文件路径,文件路径是 GooseFSx 目录下的路径,不同文件路径用回车符换行。
如:需要传输该目录下的三个文件: test_dir1/test_file_1.data, test_dir2/test_file_2.data, test_dir3/test_file_3.data,清单将有三行,第一行是 test_dir1/test_file_1.data,第二行是 test_dir2/test_file_2.data,第三行是 test_dir3/test_file_3.data。
清单文件格式是 txt 文件。
任务类型:
元数据预热:从 COS 存储桶仅预热元数据到 GooseFSx 目录。适用于初次读取性能不敏感等场景。
数据预热:从 COS 存储桶预热数据含元数据到 GooseFSx 目录。适用于高性能访问等场景。
5. 单击确定,后台将自动执行数据预热。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),数据集暂不支持通过清单指定,任务类型暂不支持数据预热。
若 GooseFSx 目录的数据流动模式是手动模式,任务类型不支持元数据预热。
删除数据预热单次任务
注意:
您可删除已完成或待执行的数据预热单次任务。但需要注意以下几点:
删除已完成的数据预热单次任务,您将无法查询该任务的相关信息。
删除待执行的数据预热单次任务,即取消该任务。
暂不支持删除执行中的数据预热单次任务。
前提条件
已 创建数据预热单次任务。
操作步骤
1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热。

4. 在单次任务列表,选择目标任务,或通过条件过滤筛选目标任务;或勾选多个任务,执行批量删除。

查询数据预热单次任务
前提条件
已 创建数据预热单次任务。
操作步骤
1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热。

4. 在单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击详情,可查看详细信息。

复制数据预热单次任务
前提条件
已 创建数据预热单次任务。
操作步骤
1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热。

4. 在单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击更多操作 > 复制任务操作。

5. 在弹出的对话框中,可对复制后的任务进行相应的修改。
创建数据预热周期任务
周期任务,周期性自动触发执行,例如,每间隔1小时自动预热,将从 COS 预热数据到 GooseFSx,适用于及时同步 COS 存储桶的数据变化等场景。
在周期任务列表,可看到已创建的周期任务,可进行增加、删除、查询等管理操作。
周期任务触发的预热任务,将出现在单次任务的列表中,均以周期任务名称来命名,通过任务 ID 来区分。
前提条件
已 创建数据流动规则。
操作步骤
1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据预热。

4. 在周期任务页面,单击创建周期任务。在弹出的对话框中,进行如下配置。

任务名称:输入易于识别的名称,创建后可修改。
触发周期:
每小时:每间隔一小时执行一次。
每天:每间隔一天执行一次。
每周:每间隔一周执行一次。
每月:每间隔一月执行一次。
GooseFSx 目录:从已与 COS 建立数据流动规则的目录中选择,可前往实例详情页进行创建。
目标路径:指定需要预热的目录路径,例如,该 GooseFSx 目录、或该 GooseFSx 目录下的某个子目录。
任务类型:
元数据预热:从 COS 存储桶仅预热元数据到 GooseFSx 目录。适用于初次读取性能不敏感等场景。
数据预热:从 COS 存储桶预热数据含元数据到 GooseFSx 目录。适用于高性能访问等场景。
5. 单击确定即可。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),暂不支持周期任务。
若 GooseFSx 目录的数据流动模式是手动模式,任务类型不支持元数据预热。
通过目录清单指定预热范围
GooseFSx 支持通过目录清单来批量指定预热范围。目录清单中每一行是一个目录路径,系统将自动遍历该目录下的所有文件并执行预热,适用于客户提供目录级批量预热需求的场景。目录清单还支持目录和文件混配,即同一清单文件中可以同时包含目录路径和文件路径,系统会分别处理。
目录清单文件格式
目录清单文件为 txt 格式,每行一条记录,每行为 COS 桶的目录路径,以
/ 结尾。示例如下:# COS 桶的目录路径dir1/dir2/dir21/
目录嵌套处理说明
目录清单中的目录路径不做嵌套去重处理:若清单中同时包含父目录和其子目录,两者均会被独立遍历执行,子目录的文件将被重复预热。
建议您在提交清单前自行检查目录是否存在嵌套关系,以避免重复预热产生额外资源消耗。
预热时依据数据一致性判定原则判断是否跳过:当源与目标目录中的文件内容一致时,跳过该文件;否则执行预热。
目录清单文件使用限制
项目 | 限制 |
清单文件格式 | 仅支持 .txt 格式 |
目录清单中的目录数量 | 上限1,000条 |
单次任务总文件数上限 | |
清单文件存储位置 | 必须存放在与 GooseFSx 实例同地域的 COS 存储桶 |
清单文件访问权限 | 必须设置为公有读 |
嵌套目录 | 不做自动去重,父目录或子目录均会被独立遍历 |
操作步骤
1. 准备好目录清单文件(
.txt 格式),每行一个目录路径,可选填目标前缀。2. 将清单文件上传至与 GooseFSx 实例同地域的 COS 存储桶路径中,路径映射规则如下,并将该文件的访问权限设置为公有读。
说明:
假设 GooseFSx 在主机上的挂载点为
/goosefsx/x-c60-9s81ru8q/,若 COS 存储桶映射到 GooseFSx 路径是 dfrule/,(可在创建数据流动规则确定映射关系)。COS 桶对象路径 | 文件系统路径 | 主机上的路径 |
dir1/ | /dfrule/dir1/ | /goosefsx/x-c60-9s81ru8q/dfrule/dir1/ |
dir2/dir21/ | /dfrule/dir2/dir21/ | /goosefsx/x-c60-9s81ru8q/dfrule/dir2/dir21/ |
3. 登录 数据加速器 GooseFS 控制台,进入目标实例详情页。
4. 选择数据流动 > 数据预热,在单次任务页签下,单击创建单次任务。
5. 在弹出的对话框中,数据集选择通过清单指定,在清单 URL 中填写目录清单文件的 COS 默认访问地址(不支持自定义域名)。示例如下:
https://fsx-bj-test-125xxx.cos.ap-beijing.myqcloud.com/list/dir_list.txt
6. 完成其他配置后,单击确定,后台将自动解析目录清单并执行预热。