概述
腾讯云 COS 文件上传到表用于把已经存放在 COS 桶里的结构化或半结构化文件,直接 解析后落入 Catalog 下的目标表,省去先把文件下载到本地再上传的步骤。
适用场景
数据已沉淀在 COS :例如埋点日志、对账文件、第三方 SaaS 导出文件等已经定时落入 COS,希望快速建表做一次性分析。
跨账号、跨地域数据接入 :将其他 COS 桶(具备访问权限)中的文件接入当前 Workspace 的湖仓。
Avoid 大文件本地中转 :避免把数 GB 文件先下载再上传,直接在云上完成解析与建表。
前提条件
条件 | 说明 |
数据集成权限 | 当前账号在所属 Workspace 中拥有数据集成模块的操作权限 |
COS 访问授权 | 当前腾讯云账号已开通本模块所需的 COS 访问权限(CAM 授权) |
计算资源 | 已创建数据交互式集群 计算资源,用于解析与建表 |
操作步骤
步骤 1:进入 COS 文件上传到表
在控制台进入 数据集成 模块,确认在「接入方式」Tab,点击 腾讯云 COS 文件上传到表 卡片。系统在右侧打开「腾讯云 COS 文件上传到表」抽屉。
步骤 2:选择 COS 桶
参数 | 说明 |
选择 COS 桶 | 下拉列表展示当前账号有权限访问的 COS 桶 |
步骤 3:选择文件
选定桶后,列表展示桶根目录下的文件与文件夹。
行为 | 说明 |
浏览 | 点击文件夹名进入下一层;空文件夹不展示子项 |
选择 | 在文件名前的复选框中勾选;支持多选;至少选择 1 个 |
限制 |
如果列表显示「暂未拉取到 bucket 地址」或某桶显示「暂无数据」,请先到 COS 控制台确认桶与文件确实存在。
步骤 4:选择计算资源
步骤 5:数据预览
点击 预览表 进入数据预览。后续行为(解析推断、建表方式、字段编辑、高级设置)与本地上传到表完全一致:
解析与推断逻辑详见 文件解析与推断。
字段编辑、表名修改详见 预览与 Schema 编辑。
步骤 6:存储设置与建表
COS 授权流程
DataBuddy 通过腾讯云 CAM 体系访问 COS。如果当前账号尚未为 DataBuddy 开通 COS 访问权限,进入「选择 COS 桶」时会显示授权引导:
1. 页面展示当前腾讯云账号信息:
账户名称:当前腾讯云账户的用户名。
账户 ID:当前账号的 UIN。
需开通:本模块需要的 COS 权限项。
1. 点击 复制 图标可复制以上信息。
2. 点击 腾讯云访问管理 ,在新标签页跳转到 腾讯云 CAM 控制台。
3. 在 CAM 中按需为账号、角色添加 COS 相关权限策略后,回到 DataBuddy 页面点击 刷新 :
授权成功 → 「选择 COS 桶」展示可访问的桶列表。
仍无权限 → 仍显示引导页,请检查 CAM 策略是否生效。
常见问题
Q:选择 COS 桶后,文件列表显示「暂无数据」?
A:可能是该桶的根目录下确实为空,也可能是您选择的桶位于不同地域、不同子账号之下。请到 COS 控制台确认桶的实际情况。
Q:能否选择 COS 文件夹批量入表?
Q:COS 文件总容量超过 2 GB 怎么处理?
Q:是否支持跨地域 COS?
A:取决于当前 Workspace 与 COS 桶的网络可达性。具体可达地域请参见 DataBuddy 控制台中显示的支持地域列表。
相关文档
本地文件上传到表
对象存储 COS
访问管理 CAM