eb级云存储关键技术 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Dropbox EB级云存储架构解析

本文聚焦Dropbox如何通过键值存储、异地多活架构及仅追加写技术，构建达到4个9可用性、11个9持久性的EB级对象存储系统。...阅读收获掌握EB级云存储系统的分层架构设计逻辑，理解键值存储与仅追加写技术的工程实践。学习通过纠删码、跨区域复制等手段实现数据高持久性（11个9）与可用性（4个9）。...Dropbox在全球范围内被广泛使用，并拥有庞大的用户基础和丰富的内容存储。 Note 类似于国内的百度云盘、阿里云盘等网盘存储服务。...二、在云存储架构中被应用的原因 • 像Twitter、Facebook等大规模Web应用程序都构建在键值存储之上，云存储架构可借鉴这种成功应用模式。...• 其特点满足云存储需求，如可变大小和数量的数据管理，有助于应对云存储中的数据多样性和大规模性。数据类型和术语图片定义了该存储系统中使用的一些关键数据类型和术语。

1.2K1 0

存储世界，不止如此： EB级存储引擎背后的技术

TFS存储家族总存储量突破1EB，相当于1亿部蓝光高清视频的数据总量，在这1EB的数据中，图片数突破万亿，文件数超过5000亿，从2007年1PB到2012年100PB，每一个存储量级的突破，都意味着不同的挑战...，下文阐述了由1PB到1EB的过程中，存储引擎背后的技术。...在新时代新存储矛盾的触发下，TFS家族由1.0升级到了2.0版本，从而应对降低存储成本以及新存储功能的需求。...验证是否解决等，以及对现网质量关键的保障一环就是模块开发完成后发布到现网前，还需要先过自动化测试这一环节，以便发现潜在的BUG；质量监控：我们的眼睛，时刻盯着数十万台服务器、成百上千个业务，一旦出现异常，最快秒级主动通知到负责人...4、结束语正是有了新TFS家族，定制的KV引擎，文件存储引擎，以及对业务数据的深度理解，多年来积累的现网运营经验，才确保了EB级的数据，安全稳定的运行。

3.7K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

刘金明：腾讯云 EB 级对象存储架构深度剖析及实践

演讲者：刘金明腾讯云存储业务中心副总监背景：5月23-24日，以“焕启”为主题的腾讯“云+未来”峰会在广州召开，广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展...腾讯云存储业务中心副总监-刘金明，在云+未来峰会上做了主题为《腾讯云 EB 级对象存储架构深度剖析及实践》的分享，以下内容整理自演讲。 1.png 刘金明：大家好。...我是来自腾讯云存储业务中心的副总裁刘金明。...到了2015年的时候，我们把整个接口标准化，并且在整个数据层面已经到了EB级别。...腾讯云EB级对象存储架构剖析及实践.pptx

2.4K14 8

微信、QQ都在用的腾讯云EB级对象存储架构剖析

来自腾讯TEG技术工程事业群架构平台部的刘金明在腾讯“云+未来”峰会的「开发者专场」做了主题为“腾讯云EB级对象存储架构剖析及实践”的技术内容分享。...关于对象存储，我们先从腾讯存储平台TFS开始说起，早在2016年腾讯推出了自研的云存储平台TFS，几年间为相册、QQ、微信、微云、腾讯视频等腾讯内部产品提供了优质的存储服务。 ?...2013年，腾讯云把存储能力包装之后开始对外开放。 2014年，腾讯存储突破500PB，数据量达到万亿级别。 2015年，引擎升级商用标准化，数据量达到EB级别。...成本方面，除了前面提到的图片、视频等可以采用压缩转码等技术实现成本优化外，COS本身提供了标准、低频、归档三级存储产品，客户可以按自身的业务特点，选择自己的存储级别，同时可以通过生命周期在不同级别之间灵活的调度数据...除了上文提到的几个基本功能以外，腾讯云COS也在陆续推出一些高级功能。生命周期：客户只需在COS控制台配置一个规则就可以很方便的让数据在各级存储之间流动和删除。

5.8K1 0

EB级别云存储是如何涨成的？

作者：腾讯云存储产品中心雷伟前言腾讯云存储服务，从开放至今，已支撑EB级存储规模。面对存储规模快速增长、应用数据多样化等挑战如何应对？...早在2006年，腾讯分布式存储系统平台TFS，就开始为腾讯集团所有的业务提供数据存储的服务。至2015年，规模已达EB级、用户数已达数十亿级别。...云存储的发展历程虽然腾讯云存储对外提供服务时，已历经数十亿用户访问高并发、规模海量、业务多样化的考验，但不同的时代对云存储的诉求会有所不同。...对于用户已有源站的情况下，如何将源站内容快速迁移到云存储，也应生出“回源设置”的功能。即当发现数据在云存储缺失时，返回HTTP状态码302重定向到源站，同时，将源站数据拷贝云存储中。...所幸的是，腾讯云存储基于自身对应用的深入理解，为方便用户更好的使用，已针对各种场景推出完整的方案：如智能安防监控方案、大数据方案、企业云盘方案、混合云存储方案、数据备份方案、视频直播点播方案、医疗影像云存储方案

4.4K5 3

YTsaurus：EB 级存储和处理系统现已开源

动态 K-V 存储表实际上，MapReduce 范式不适合构建响应时间低于秒级的交互式计算管道。问题不仅在于如何处理数据，还在于如何存储数据。...在 YTsaurus 生态系统中，CHYT 提供了以下功能：在 YT 中对静态表进行快速分析查询，延迟只有亚秒级。...从这个意义上讲，YTsaurus 集群于我们内部的 CHYT 集群而言是一朵计算云。...这使得不同的用户或用户团队可以在单个 YT 集群上运行多个 CHYT 集群，彼此完全隔离，用和云类似的方式解决资源隔离问题。...这使得用户可以显式指定所需的 GPU 模型，并使用存储在 YTsaurus 中的数据。目前，YTsaurus 动态表存储的数据达 PB 级，大量的交互服务都以它们为基础构建。

1.1K2 0

腾讯云 AIGC 存储方案：通过百 EB 级扩展与 TB 级吞吐解决大模型训练瓶颈

容量天花板：大模型数据集呈指数级增长，传统存储系统缺乏百 EB 级的弹性扩展能力，无法构建统一数据湖。...构建全链路存储产品矩阵腾讯云 AIGC 存储解决方案通过多产品组合，覆盖从数据采集到智理的全流程：数据底座：采用对象存储 COS（底层基于自研 Yotta Store 引擎）与高性能并行文件存储...COS 数据可用性 99.995% 对象存储 COS 训练吞吐能力 TB 级吞吐，支持万卡级集群样本读取；集群带宽达 20-50GB/s CFS Turbo Checkpoint 性能 10s 内完成...自动驾驶平台：通过公有云 COS 与私有化 TStor 构建混合云存储池，结合 GooseFS 解决海量小文件访问难题，实现数据智能预热与就近高性能访问。...技术领先性与架构优势选择腾讯云的核心在于其针对高压力环境的深度优化与全协议支持：极致弹性： COS 支持单集群百 EB 级规模，存储空间无容量上限，满足模型持续迭代需求。

3961 0

腾讯云对象存储解决方案：以EB级智能存储与多级加速破解AI时代数据管理瓶颈

第一章识别行业共性瓶颈与战略困境当前全球数据量呈指数级增长，非结构化数据占比突破80%（来源：PART 02 腾讯云存储Data Platform数据平台解决方案【行业简介】），AI技术革命（AIGC...第二章提供针对性技术解决方案腾讯云推出存储Data Platform数据平台解决方案，以“存储+加速+治理”三位一体架构破解上述瓶颈，核心产品与能力如下：对象存储COS：EB级多模态统一存储池...，采用自研Yotta存储架构（单集群管理百EB级数据），支持智能分层（标准/低频/归档），提供99.999999999%数据持久性（来源：产品能力介绍-对象存储COS【产品特性】）；数据加速器GooseFS...案例4：某大型互联云原生数仓平台（存算分离）背景：ClickHouse存算强绑定致扩容难、资源利用率低（来源：客户成功故事-某大型互联云原生数仓平台【客户背景】）；方案：COS作为存储底座，ITAS...第五章选择腾讯云的核心优势技术领先性自研存储架构：Yotta存储架构支撑单集群百EB级数据管理，性能与成本平衡（来源：PART 02【方案价值】）；多级加速引擎：GooseFS通过“缓存+协议转换

4821 0

快手EB级HDFS挑战与实践

从最初的千台规模，目前已经发展成拥有几万台服务器、几EB数据的超大规模存储系统。 1....集群规模作为数据平台中最底层的存储系统，目前也是整个快手中机器规模和数据规模最大的分布式存储系统，单个HDFS集群拥有：几万台服务器几EB数据规模、几百PB的EC数据量每天拥有几百PB的数据吞吐...NameNode分级保障功能我们深度定制了NameNode Rpc框架，将队列拆分成优先级队列，Handler依据资源配比依次处理不同优先级队列请求。...当磁盘资源达到上限后，高优先级请求到来时，会强占低优先级资源。除此之外，我们还添加了阈值调整模块，实时感知相关指标，动态调整磁盘限速器阈值，来控制单盘压力。 ? 5....04 结尾快手HDFS 经历了3年的发展，从最初的几百台节点支持PB级数据量的小规模集群，到现在的拥有几万台节点支持EB级数据量的超大规模集群。

1.1K3 0

突破百EB级大模型存储瓶颈：基于腾讯云AIGC全流程数据的提效实践

数据湖扩展性触顶：随着原始数据集与处理后数据的激增，传统存储架构难以支撑，企业急需百 EB 级弹性可扩展的底层数据湖能力。...构建端到端智能存储底座：整合自研引擎与多协议加速架构为解决算力节点闲置与数据供给迟滞的冲突，腾讯云构建了覆盖“采集、清洗、训练、推理、智理”全流程的并行存储矩阵。...赋能数据密集型高压应用：自动驾驶与 HPDA 场景落地解析该架构已在多个数据密集型、高并发、强时效性的高存储压力应用（HPDA）中实现深度验证：自动驾驶（混合云架构）：采用“公有云 COS + 私有化...TStor 对象存储”构建混合云存储池，实现海量数据低成本沉淀；同时结合 GooseFS 加速存储访问，彻底解决海量小文件和 HDFS 文件的读取瓶颈，实现数据智能预热和就近高性能访问。...确立 AI 时代底层数据资产优势：全栈自研与千万核生态印证腾讯云 AIGC 存储方案的核心壁垒在于其底层技术的自主可控与极端场景下的规模化验证。

2931 0

Dropbox存储架构：扩展至EB级别的实践

随着规模逐渐扩大，我们需要建立专有的存储架构，这个项目被命名为“魔力口袋”（Magic Pocket）。两年半之后，如今我们很高兴地宣布：我们的自定义架构将提供90%的用户数据存储及服务。 ?...我们使用了混合云架构，将元数据与我们的 web 服务放在自行管理的数据中心，而将文件内容存储在 Amazon 之上 —— 我们是 Amazon S3 的早期用户之一，也正是它使得我们能快速可靠地进行扩展...其次，作为全世界领先的云服务提供商之一，我们的块状存储用例是独一无二的，修改后我们可以利用自身规模及特殊用例来自定义硬件与软件，从而在单位经济效益上有所提高。...我们明了：自己想要打造全世界仅有数个的 EB 级存储系统，因此从一开始就很明显，由于在开源社区中并没有能用于 Dropbox 这样规模的内容，我们必须从零开始。...今年晚些时候，我们会拓展与 AWS 的关系，以便在德国存储欧洲企业级用户的数据。为信任我们的用户保护及保存他们的数据，是我们贯彻始终的首要任务。

1.8K6 0

使用EFSS规避消费级云存储风险

许多使用消费级云存储产品的公司都面临着不同程度的安全风险，因此企业可以尝试采用IT部门和普通员工都能够接受的企业级文件同步和共享解决方案。...简单易用的特性吸引很多企业员工开始使用消费级云存储应用程序。在任何移动办公和终端计算领域，都不能低估用户体验(UX)的重要性，但是企业需要在面临数据风险的情况下牺牲部分用户体验。...但是如果IT部门不仔细监控和规范数据存储方式，那么企业员工就会使用像Dropbox和Google Drive这样的消费级云产品来存储企业敏感信息。...云存储解决方案提供商CTERA在2015年对300位IT专家进行了调查，其中83%的受访者制订了相关策略，限制或者完全禁止使用某些软件提供文件共享服务。...尽管存在某些安全风险，但是相关厂商已经考虑到企业IT部门的顾虑，市场上的很多消费级云储存产品已经综合考虑了其易用性和安全性。

1.2K6 0

腾讯云对象存储：基于Yotta架构的EB级数据底座与AI算力加速引擎

YottaStore分布式存储引擎，单集群支持PB至EB级可用容量，单桶对象数可达万亿级。...采用COS+GooseFS方案后，实现Tbps级带宽的高并发写入；预处理环节90%+以上数据命中Cache，整体预处理性能提高30%；通过智能降冷与存储架构优化，百PB级存储成本降低 40%。...某大型互联网云原生数仓平台 (ClickHouse)：实施存算分离改造，底层接入COS对象存储。...依托自研Yotta引擎与多项权威安全认证保障业务连续性腾讯云对象存储不仅仅是容量的堆砌，更是建立在极高系统稳定性和国际级合规标准之上的企业数据金库：极致的系统可靠性：基于多中心冗余备份与自研Yotta...国际权威机构认可：在Gartner报告中被评为“生成式 AI 云基础设施”新兴领导者；获沙利文（Frost & Sullivan）“中国云存储解决方案市场报告”测评第一。

5541 0

云计算——云计算关键技术

座右铭：低头赶路，敬事如仪个人主页：网络豆的主页 ---- 前言本章将会讲解云计算中所需要的关键技术。...一.云计算关键技术 1.虚拟化技术虚拟化是一种能够更有效地利用物理计算机硬件的过程，是云计算的基础。虚拟化，将各种IT实体资源抽象，转换成另一种形式的技术都是虚拟化。...云计算常用分布式数据存储的技术，将数据存储于不同物理设备中，不仅摆脱物理设备的限制，扩展性更好，满足快速响应用户需求的变化。 ---- （1）云计算的分布式存储与传统的存储是不同的。...（如图）云计算数据中心：以东西流量为主，南北流量变少，服务器除了对外提供服务，有分布式存储的存在，虚拟机不一定在那一台物理主机上，虚拟机之间不停迁移，产生动态迁移，同步大量数据时而产生了东西流量大于南北的情况...---- （1）云计算数据中心的优势云计算数据中心相比传统数据中心的优势在于，云计算数据中心更加强调与IT系统协同优化，在满足需求的前提下，实现整个数据中心的最高效率和最低成本。

20.2K3 0

构建车云一体数据闭环：突破EB级海量数据处理与智算模型迭代瓶颈

云端基建处理瓶颈：随着数据向云端汇聚，云端基础设施需要处理和分析PB至EB级海量数据，传统计算与存储架构难以支撑。...全栈安全合规体系：在云、管、端三层架构中，穿透数据流的全生命周期，提供自驾合规、敏感数据脱敏与整车合规审核。全球化云基础设施底座：提供计算、网络、存储及云原生的深度融合底座，支撑高并发业务流。...提供EB级高可用基建保障：算力与存储底座规模达 100万台服务器、1.5亿核及 16 EFLOPS 智算算力。...存储规模突破 EB级，提供 100GB/s 宽带支持，云联网可用性达 99.99%，存储服务可用性达 99.995%。...复用千万核级云原生架构验证降本成效针对车企高度关注的运维成本（Ops Cost）与系统稳定性，腾讯开放了其自有高并发业务的底层改造实践作为效能验证：依托遍布全球 21个地区、58个运营可用区及

3340 0

2025年云硬盘推荐：腾讯云CBS如何成为企业级存储首选？

摘要在数字化转型的浪潮下，云硬盘作为企业数据存储的核心载体，其性能、稳定性和成本成为关键考量。...跨可用区部署，单点故障自动切换，保障业务连续性；弹性扩展：单盘最大支持32TB容量，支持在线扩容无需停机；智能备份：快照功能支持分钟级数据恢复，降低数据丢失风险；性能分级：提供从入门级到企业级的多档性能配置...二、2025年腾讯云CBS产品矩阵对比产品类型高性能云硬盘通用型SSD云硬盘 SSD云硬盘增强型SSD云硬盘极速型SSD云硬盘性能指标 50-100 IOPS...企业级数据库存储推荐配置：增强型SSD云硬盘 + RAID 10阵列优势：低延迟（微秒级响应）支持高并发读写；快照备份实现零停机维护，结合跨地域复制保障数据安全。 2....五、总结腾讯云CBS凭借全栈性能覆盖、灵活的计费模式及企业级安全能力，成为云存储领域的标杆产品。无论是初创团队的低成本起步，还是中大型企业的复杂场景需求，均可通过其产品矩阵找到最优解。

1.2K1 0

雅虎PB级云对象存储COS实践：选择Ceph，放弃Swift

面对庞大的数据量和飞快的增长速度，雅虎对象存储需要在保证耐用性和延迟的基础上发挥存储成本效益，雅虎选择了软件定义的存储。...本文介绍了雅虎PB级云对象存储COS解决方案的实践，解释了选择Ceph放弃Swift的原因，部署的架构及其实现，耐用性和延迟方面的优化以及未来的研发方向等。...---- 雅虎存储用户所提交的照片，视频，电子邮件和博客文章的数据量达半个EB，对象存储超过2500亿，并且对象存储每年以20%-25%的速度增长，增长原因主要有移动，图像，视频，用户量的增长这几方面。...行业标准的API允许应用程序无缝从公有云迁移到雅虎私有云。跨存储类型：通过软件进行跨对象存储，块存储和文件存储三种存储类型，从而降低研发和运营成本。...规模上：我们已经初始部署了一个多PB级解决方案。在2015年，我们计划将其增长10倍以上，把它用到邮件，视频，Tumblr等，实现像在Flickr那样的增长。

2.2K5 0

云存储的企业级应用：技术架构与最佳实践

关键词：云存储、企业架构、技术实施、存储策略、云计算文章目录 1. 引言：为什么企业需要云存储？ 2. 云存储基础架构解析 3. 企业级云存储技术架构设计 4. 实施策略与最佳实践 5....引言：为什么企业需要云存储？还记得那些被硬盘故障搞得焦头烂额的日子吗？或者为了扩容存储空间而不得不停机维护的痛苦经历？云存储的出现，就像是给企业IT部门送来了一剂强心针。...云存储基础架构解析 2.1 云存储服务类型 2.2 云存储核心特性特性传统存储云存储可扩展性受硬件限制几乎无限扩展可用性 99.9% 99.999% 访问方式本地/VPN 全球任意地点...企业级云存储技术架构设计 3.1 整体架构概览 3.2 数据生命周期管理 3.3 多云存储架构 4....AI驱动的智能存储管理无服务器存储架构量子加密技术应用业务趋势数据价值化进程加速混合云策略成为主流绿色存储环保要求法规合规要求提升 8.3 行动建议对于正在考虑云存储的企业，建议：

5421 0

企业级存储详解

近年来，云计算、大数据、人工智能、物联网等信息技术与产业快速发展，信息技术与传统产业的融合也不断加深，快速发展的数字经济已经成为我国产业转型升级和经济高质量发展的重要驱动因素。...Memory，DRAM）、本地二级存储（HDD、SSD）以及由 DAS、NAS、SAN、分布式存储等组成的外部存储组成。...从存储介质的角度进行划分，企业级存储可以划分为磁性存储、半导体存储、光学存储三大类，各类存储的详细信息如下。...（1）半导体存储：利用半导体特性完成存储，主要包括 SSD，相对于磁性存储和光学存储，半导体存储在读写速度、设备体积等方面优势明显，是当前整个存储产业发展的重点。...（2）磁性存储：利用磁性介质进行数据存储，主要包括机械硬盘、磁带、软盘等，机械硬盘一直以来都是企业级存储的重要选择，目前仍占据较大的市场份额。

2.7K4 0

混合云关键技术能力和发展趋势

合云多云管理能力一般体现在以下几方面：资源管理：将物理上分散的资源构建成逻辑上统一的云资源池，进行计算、存储及网络资源统一管理和监控。...2 ---数据和应用安全在存储、备份和传输过程中应该对数据进行加密，防止数据被篡改、窃听或者伪造；通过数字签名、时间戳等密码技术保证数据完整性，并在检测到完整性被破坏时采取必要的恢复措施；使用安全接口和权限控制等手段对数据访问权限进行管理...混合云数据层面打通主要包括三个打通：帐户打通、网络打通、存储打通。帐户打通：使用一套帐户管理公有云和私有云，如对接HR 系统使用同一套账户，或对接4A 服务器实现账户统一管理。...存储打通：用户的业务数据能够在私有云和公有云之间自由迁移，如虚拟机或容器的镜像能够在不同的云之间迁移、灾备数据能够在不同的云之间备份。...统一资源管理：提供统一的计算、存储、网络资源的抽象，支持镜像和快照的统一管理、租户的统一管理。统一运维管理：提供统一的运维手段监控和维护各个资源池。

1.7K3 0

点击加载更多

Dropbox EB级云存储架构解析

存储世界，不止如此： EB级存储引擎背后的技术

刘金明：腾讯云 EB 级对象存储架构深度剖析及实践

微信、QQ都在用的腾讯云EB级对象存储架构剖析

EB级别云存储是如何涨成的？

YTsaurus：EB 级存储和处理系统现已开源

腾讯云 AIGC 存储方案：通过百 EB 级扩展与 TB 级吞吐解决大模型训练瓶颈

腾讯云对象存储解决方案：以EB级智能存储与多级加速破解AI时代数据管理瓶颈

快手EB级HDFS挑战与实践

突破百EB级大模型存储瓶颈：基于腾讯云AIGC全流程数据的提效实践

Dropbox存储架构：扩展至EB级别的实践

使用EFSS规避消费级云存储风险

腾讯云对象存储：基于Yotta架构的EB级数据底座与AI算力加速引擎

云计算——云计算关键技术

构建车云一体数据闭环：突破EB级海量数据处理与智算模型迭代瓶颈

2025年云硬盘推荐：腾讯云CBS如何成为企业级存储首选？

雅虎PB级云对象存储COS实践：选择Ceph，放弃Swift

云存储的企业级应用：技术架构与最佳实践

企业级存储详解

混合云关键技术能力和发展趋势

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐