功能介绍
腾讯云 EMR on CVM 提供异地数据备份与恢复能力，支持将符合开源协议架构的 Hadoop 集群（存算分离与存算一体）中的数据，按周期性策略备份至跨地域的腾讯云 COS。该服务提供完整的控制台界面与 API 接口，用户可在备份策略中自定义备份范围，并借助存储 TTL、数据加密、文件锁等机制，满足不同程度的审计需求。同时，服务支持全量备份、增量备份与按需备份等多种业务场景，并可将备份文件恢复至任意历史版本。
注意：
1. 仅支持 EMR on CVM 产品形态下的 Hadoop 集群类型。
2. 暂不支持 EMR on TKE 及全托管集群作为目标集群。
3. 暂不支持跨账号 COS 数据备份，仅支持同账号同地域内 COS 数据备份。
4. Kerberos集群不支持备份恢复，也不支持作为备份数据源。
5. 本功能通过白名单机制开放，覆盖新建集群与存量集群两类场景。
前提条件
1. 集群为 EMR on CVM 产品形态下的 Hadoop 集群。
2. 已具备 EMR 服务相关角色EMR_QCSLinkedRoleInApplicationDataAccess，用于访问对象存储（COS）资源和多模态智能数据湖 TCLake。
3. 已在目标地域准备好用于存储备份数据的 COS 存储桶；若备份路径数据存储在 COS，需确保集群已具备 COS 访问权限。
4. 若使用外部数据源（HDFS），需提前确认外部集群的 NameService ID、NameNode 节点 IP 及端口信息。
系统术语解释
1. 资源占用： 备份与恢复任务会占用集群大量 CPU、内存及网络带宽，可能导致业务响应延迟，建议在业务低峰期执行。
2. 跨地域传输： 跨地域备份/恢复依赖专线/公网传输，受网络带宽及 COS 限流影响，执行时间可能超出预期，请根据实际数据量合理规划执行窗口。
3. 配置变更： 所有策略配置修改仅对新生成的备份任务生效，历史已完成的备份数据不受影响。
4. TTL 与文件锁： 备份保留策略和文件锁天数仅支持延长（调大），不支持缩短（调小），以保障已备份数据的合规留存；文件锁有效期须小于等于备份保留策略时长。
5. 数据删除： 删除备份任务后，历史备份数据将一并删除且无法恢复，请谨慎操作。
6. 外部数据源： 修改外部数据源的存储介质（如 HDFS 切换为 COS）或数据源信息（如更换 COS 桶）可能导致关联备份任务执行失败；删除数据源前需先解绑所有关联的备份策略/任务。
操作步骤
数据备份与恢复模块入口位于 EMR 控制台左侧导航栏备份管理，包含数据备份恢复和外部数据源管理两个子菜单。
步骤一：注册外部数据源（可选）
说明：
如需备份自建集群数据，请先完成外部数据源注册；若仅备份当前集群数据，可跳过此步骤。
1. 在左侧导航栏选择备份管理 > 外部数据源管理。
2. 单击新建数据源集群，在弹窗中填写以下信息：
基础信息
字段名 | 说明 | 规则 |
名称 | 自定义数据源名称 | 长度 1–128 个字符，支持字母、数字、 -、_；创建后不可编辑 |
数据源 | 存储介质类型 | HDFS 或 COS，二选一；创建后不可编辑 |
选择 HDFS 时，还需填写：
字段名 | 说明 | 示例 |
NameService ID | dfs.nameservices 配置值 | HDFS1024731 |
NameNodes | dfs.ha.namenodes 配置值 | nn1,nn2 |
NameNode 节点 IP | 各节点 IP，多个以英文逗号分隔 | 172.16.16.61,172.16.16.101 |
NameNode 端口 | 各节点 RPC 通信端口，多个以逗号分隔（1–65535） | 4007,4007 |
选择 COS 时，还需填写：
字段名 | 说明 |
COS 存储桶 | 选择数据实际存储的 COS 桶（必填） |
3. （可选）单击测试连通，验证外部集群连接状态。
4. 单击确定，完成外部数据源注册，列表自动刷新。
说明：
存储介质仅支持全量 HDFS 或单个 COS 桶，不支持混合存储。
每个外部数据源仅允许一个 HDFS 集群或一个 COS 桶，不支持多源组合。
有绑定备份任务的数据源不可删除，需先解绑关联备份策略后再删除。
步骤二：创建备份策略
1. 在左侧导航栏选择备份管理 > 数据备份恢复，进入备份策略列表页。
2. 单击创建备份策略，在弹窗中按以下说明配置参数：
基础信息
字段名 | 说明 | 规则 |
策略名称 | 自定义策略名称 | 2–64 个字符，支持字母、数字、 _；创建后不可编辑 |
数据源 | 备份数据来源 | 当前集群（默认）或外部数据源；创建后不可编辑 |
外部数据源 | 关联已注册的外部集群 | 数据源选择"外部数据源"时可选 |
备份范围 | 备份文件路径 | 必填；多个路径以英文逗号或换行分隔；创建后不可编辑 |
备份策略
字段名 | 说明 | 可选值/默认值 |
备份用户 | 执行备份任务的系统用户 | 单选，默认 Hadoop 用户；范围为用户管理中的全量用户 |
执行方式 | 任务触发方式 | 立即执行（默认）/ 定期执行 |
执行周期 | 定时执行的周期（执行方式为"定期执行"时显示） | 每天 / 每周（多选）/ 每月（时间段） |
开始执行时间 | 任务首次执行时间 | 时间选择器，精度到分钟，默认 00:00 |
备份保留策略 | 备份数据的保留时长 | 永久保存（默认）/ 指定保留天数（1–36500 天） |
文件锁 | 为备份数据加锁，锁定期间数据不可改写/删除 | 默认关闭；开启后设置锁定天数，需 ≤ 备份保留策略时长 |
加密方式 | COS 服务端加密类型 | 不启用（默认）/启用（ 默认AES256） |
性能与资源控制（可选）
字段名 | 说明 | 默认值 |
带宽上限 | 每个 Map Task 的带宽上限，避免占用过多集群带宽 | 50 MB/s |
并发 Map 数 | 并发任务数，建议设置为集群可用 Map 槽位的 50%–70% | 5 |
列表线程数 | 构建文件列表的线程数，扫描大目录时可适当调高（最大 40） | 5 |
跳过 CRC 校验 | 关闭可确保数据一致性，测试场景可临时开启以提升速度 | 关闭 |
1. 勾选风险告知：我已了解上述风险提示，确认创建。
2. 单击确定，备份策略创建成功。若选择"立即执行"，策略创建后将立即发起备份任务。
说明：
所有策略配置修改仅对新生成的备份任务生效，历史已完成的备份数据不受影响；
备份保留策略和文件锁天数仅支持延长（调大），不支持缩短（调小）。
步骤三：查看与管理备份任务
1. 在备份策略列表页，单击备份任务标签，切换至备份任务列表。
2. 列表展示以下核心字段：
字段名 | 说明 |
备份策略 ID | 关联的备份策略唯一标识 |
数据源 | 当前集群 / 外部数据源名称，支持点击跳转至外部数据源管理页 |
作业 ID | 后台执行作业 ID，支持点击跳转查看作业详情 |
备份文件锁 | 开启/关闭 |
备份文件锁到期时间 | 文件锁的到期时间 |
备份日期 | 任务实际执行时间 |
备份到期日 | 根据保留策略计算的到期时间 |
状态 | 备份中 / 完成 / 失败 / 删除中 |
操作 | 查看详情 / 恢复 / 编辑 / 删除（视状态而定） |
操作列权限说明：
任务状态 | 可执行操作 |
备份中 / 删除中（过程态） | 不支持任何操作 |
完成 | 查看详情、恢复、编辑、删除 |
失败 | 查看详情、删除 |
查看任务详情
单击操作列查看详情，弹窗展示备份文件路径与版本信息，支持通过文本内容或版本号进行模糊搜索。
编辑任务
单击操作列编辑，可调整以下字段（仅支持调大，不支持缩小）：
字段名 | 说明 |
备份保留策略 | 永久保存 / 指定保留天数（仅可调大） |
文件锁天数 | 锁定天数（仅可调大） |
删除任务
单击操作列删除，在弹窗中手动输入确认文本"已知晓删除该备份执行记录后，历史备份数据也会一并删除，并确认删除"，验证通过后执行删除操作（不可恢复）。
步骤四：数据恢复
1. 在备份任务列表，找到状态为完成的目标备份任务，单击操作列恢复。
2. 在恢复弹窗中， 默认选项，恢复该备份任务下的全部数据；可按照具体恢复范围进行精细化选择。
3. 配置恢复参数：
字段名 | 说明 |
目标集群 | 数据恢复的目标集群，默认为源集群（单选） |
备份用户 | 执行恢复任务的用户，默认为原备份用户（单选） |
恢复路径 | 数据恢复的目标路径（输入框，填写唯一路径） |
4. 勾选风险告知，单击确认恢复，弹窗关闭并自动跳转至恢复任务列表页，可实时查看恢复任务状态。
步骤五：查看恢复任务
1. 在左侧导航栏选择备份管理 > 数据备份恢复，单击恢复任务标签。
2. 列表展示以下核心字段：
字段名 | 说明 |
恢复 ID | 恢复任务唯一标识 |
备份名称/ID | 关联的备份任务名称/ID，支持点击跳转至备份策略列表筛选展示 |
目标集群 | 数据恢复的目标集群 |
作业 ID | 后台执行作业 ID |
恢复路径 | 本次数据恢复的目标路径 |
恢复范围 | 本次恢复涉及的数据范围 |
版本号 | 本次恢复版本 |
恢复日期 | 任务执行时间 |
状态 | 成功 / 失败 / 未知 |
操作人 | 发起恢复操作的用户 |
操作 | 重试（仅失败状态）/ 查看详情 |
3. 恢复失败时，可单击重试重新发起恢复任务。
4. 单击查看详情，弹窗展示恢复的核心信息，结构与备份详情一致。
版本管理说明
每次备份任务执行时，系统会为每个待备份表生成唯一版本号，并按"表 + 版本号"组织底层 COS 存储结构。
功能 | 说明 |
版本查看 | 在备份任务详情弹窗中查看版本号、备份时间、TTL 剩余时间等信息 |
版本 TTL | 支持在备份策略中设置保留天数；到期后系统自动标记清理，恢复前校验版本是否过期，过期则拒绝恢复 |
版本调整 | 版本 TTL 仅支持延长，不支持缩短 |
版本删除 | 删除版本后先移至 trash，再由后台异步清理，操作不可恢复 |
数据安全说明
文件锁
备份策略开启文件锁后，所有备份分区数据在锁定期内不可改写/删除；
文件锁到期时间可延长，不可缩短；
在备份任务详情中可查看锁定状态及到期时间。
服务端加密
备份数据支持以下 COS 服务端加密方式，读取时自动解密，对用户无感知：
加密方式 | 说明 |
不启用 | 默认，不加密 |
AES256 | 标准 AES-256 服务端加密 |
操作日志
所有备份、恢复、外部数据源增删改查等操作均记录在操作日志中，便于审计和问题排查。
1. 在 EMR 控制台，单击目标集群 ID，进入集群详情页。
2. 在左侧导航栏选择操作日志，筛选操作对象为"集群"，可查看以下相关操作记录：
操作类型 | 安全级别 |
创建备份策略 | 一般 |
编辑备份策略 | 一般 |
删除备份策略 | 危险 |
新建外部数据源 | 一般 |
编辑外部数据源 | 一般 |
删除外部数据源 | 危险 |
执行恢复 | 高危 |
删除备份任务 | 危险 |
常见问题
创建备份策略时提示"权限不足"，如何处理？
请检查当前账号是否已绑定 EMR_QCSLinkedRoleInApplicationDataAccess服务角色。可在集群详情页查看集群 COS 服务角色，按照授权引导完成角色绑定后重试。
外部数据源测试连通失败，如何排查？
请确认以下几点：
1. 外部集群的 NameNode 节点 IP 和端口是否填写正确。
2. EMR 集群与外部集群之间的网络是否互通（如专线/VPN）。
3. 若数据源为 COS，确认集群已绑定具有 COS 访问权限的服务角色。
备份保留策略天数可以缩短吗？
不支持缩短。备份保留策略和文件锁天数仅支持延长（调大），以保障已备份数据的合规留存。
恢复任务失败如何处理？
在恢复任务列表中，找到失败任务，单击操作列的重试重新发起恢复；若持续失败，可单击查看详情查看错误信息，并根据提示排查网络连接、集群状态或存储权限问题。
删除外部数据源后，关联的备份策略会受影响吗？
是的，删除外部数据源后，关联的备份策略/任务将执行失败。建议先在备份策略列表中解绑或删除相关备份策略，再执行数据源删除操作。
