高性能存储桶(COS Rapid Bucket)是腾讯云对象存储(COS)推出的面向 AI / HPC 场景的全新存储桶类型,兼容对象存储协议,提供高并发、低延迟的存储读写服务。
在 AI 训练和高性能计算场景中,传统对象存储的吞吐和延迟往往成为数据流水线的瓶颈 —— GPU 集群空转等待 I/O,昂贵算力被白白浪费。高性能存储桶基于全 SSD 介质、单可用区就近部署架构,将计算节点与存储之间的网络路径缩至最短,提供百万级 IOPS、毫秒级时延和 TB/s 级吞吐能力。同时兼容 S3 协议,支持 COS SDK、AWS SDK 直连;兼容 POSIX 接口,提供 FUSE 文件系统挂载;兼容 HCFS 协议, 支撑大数据业务。上层应用仅需简单适配后即可接入。
核心概念
理解高性能存储桶,需要掌握以下几个核心概念:
高性能存储桶(Rapid Bucket):高性能存储桶是 COS 的全新存储桶类型,配备专属高性能数据通路和独立域名。高性能存储桶使用专有命名格式
<BucketName>-x--<APPID>,其中 -x- 是高性能存储桶的固定标识。例如:examplebucket-x--1250000000。对象(Object):对象是高性能存储桶中的基本存储单元,由数据和元数据组成,可理解为任何格式类型的数据,例如图片、文档、模型文件、Checkpoint 和数据集等。单次上传(PutObject)支持最大 5GB 的对象,更大的文件可通过分片上传(Multipart Upload)完成。
目录对象(Directory Object):与普通 COS 存储桶的"前缀模拟目录"不同,高性能存储桶提供原生目录结构,目录是一等实体对象,具备真正的层级命名空间语义,支持 rename、list dir 等文件语义操作。API 通过专用错误码(DirAlreadyExists、DirNotEmpty、DirectoryObjectContainsData)保证目录操作的安全性,避免误删非空目录等问题。
地域(Region):是腾讯云托管机房的分布地区,高性能存储桶的数据存放在这些地域的高性能存储集群中。高性能存储桶采用单可用区部署,计算与存储就近部署以获得更低的访问延迟。
产品优势
超高性能:基于全 SSD 介质构建,通过 Direct I/O 直写底层存储,提供百万级 IOPS、毫秒级平均时延和 TB/s 级吞吐能力。对于不超过 64KB 的小文件,数据直接内联存储于元数据中,一次 RPC 即完成写入,大幅提升海量小文件场景的性能表现。
单可用区就近部署:计算节点与存储节点部署在同一可用区内,网络路径最短,大幅降低读写延迟,为延迟敏感型业务提供更优的读写响应速度。
原生目录结构:提供真正的层级命名空间,目录是一等实体对象,原生支持 rename、list dir 等文件语义操作。训练数据集和 Checkpoint 的目录组织可直接映射,无需适配前缀模拟的"伪目录"。
生态兼容:兼容标准 S3 协议,签名方式与 COS 完全一致,支持 COS SDK、AWS SDK 直连。提供 POSIX 文件语义的挂载访问,应用像访问本地文件系统一样读写高性能存储桶。支持 HCFS 协议,上层大数据组件可直接访问。多种协议兼容,PyTorch、TensorFlow、Spark / Hadoop 等框架简单适配即可接入。
应用场景
高性能存储桶作为统一存储底座,可广泛应用于以下场景:
AI/ML 模型训练与加速
在大规模深度学习训练中,模型训练的效率高度依赖数据供给速度。传统对象存储的吞吐和延迟往往导致 GPU 频繁等待 I/O,昂贵的算力被白白浪费。
高性能存储桶通过单可用区就近部署架构,将训练数据集与 AI 加速器部署在同一物理区域内,网络路径缩至最短。TB/s 级聚合吞吐和毫秒级时延,确保数千张 GPU 同时读取海量随机样本时不再被存储拖慢,最大化 GPU 利用率(MFU),缩短训练周期,降低算力总成本。
快速模型 Checkpoint
在长时间训练过程中,需要定期保存模型权重和优化器状态(Checkpoint),以便在节点故障时快速恢复,避免从零开始。传统方案下,写一个大规模 Checkpoint 需要数十分钟,期间所有 GPU 完全空转。
高性能存储桶提供超高并发写入能力——数千个训练 Worker 同时写各自的分片(Shard),聚合吞吐可达 TB/s 级,配合毫秒级写入延迟,Checkpoint 耗时从分钟级降至秒级。训练团队可以更频繁地保存 Checkpoint(如每几分钟一次),故障恢复只需回退数分钟而非数小时。
高并发 AI 模型推理
在线推理服务需要应对高并发请求,快速加载模型权重、LoRA 适配器、Embedding 索引等大体积资产到 GPU 显存。在流量突增时,推理平台自动扩容拉起新节点,冷启动延迟直接影响用户体验。
高性能存储桶支持百万级 IOPS 和 TB/s 级吞吐,配合单可用区就近部署,模型加载时间从分钟级降至秒级,LoRA 适配器切换近乎实时。结合 Kubernetes 自动扩缩容,实现流量来了秒级拉起、秒级加载、立即推理,流量走了释放资源不浪费 GPU。
AI/ML 数据集预处理
在模型训练之前,原始数据需要经过清洗、分词(Tokenization)、格式转换等预处理流程。这些环节产生大量中间文件的密集读写,对存储的 IOPS 和吞吐都有很高要求。
高性能存储桶轻松承接高性能数据预处理框架的密集读写事务负载。数据预处理器可以超高速率完成数据摄入和输出,配合原生目录结构,训练数据集的目录组织可以直接映射,无需适配前缀模拟的"伪目录",简化数据管理流程。
批处理与流式分析
金融量化建模、HPC 仿真、实时日志 / IoT 遥测数据等场景,需要持续高速写入数据,并且新写入的数据需要立即可见供下游消费。传统方案往往需要叠加 Kafka / Redis 等多层中间件,架构复杂、运维成本高。
高性能存储桶支持百万级 QPS 持续写入,新写入数据可立即被读取端消费,无需额外中间件层。实时消费应用可以在数据持续写入的同时并发读取最新内容,将多套系统精简为一套存储,降低架构复杂度和运维负担。
访问域名
高性能存储桶提供独立的 VPC 内网访问域名,与普通 COS 存储桶隔离。高性能存储桶区分控制面域名和数据面域名。
控制面域名:
service.cosrapid.<Region>.myqcloud.com数据面域名:
<BucketName>-x--<APPID>.cosrapid.<Region>.myqcloud.com注意:
高性能存储桶仅支持 VPC 内网访问,暂不支持公网访问,请确保您的客户端部署在腾讯云 VPC 网络环境中。使用 SDK 或 API 接入时,请注意将 Endpoint 配置为高性能存储桶的专属域名(
cosrapid.<Region>.myqcloud.com),而非普通 COS 域名(cos.<Region>.myqcloud.com)。支持地域
高性能存储桶目前支持的地域列表如下,其他地域会陆续上线:
地域 | 地域简称 | 控制面域名 | 数据面域名 |
上海 | ap-shanghai | service.cosrapid.ap-shanghai.myqcloud.com | <BucketName>-x--<APPID>.cosrapid.ap-shanghai.myqcloud.com |
新加坡 | ap-singapore | service.cosrapid.ap-singapore.myqcloud.com | <BucketName>-x--<APPID>.cosrapid.ap-singapore.myqcloud.com |
说明: