常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式，在虚拟机中可以看到存储卷/dev/vd*，就是Frondend驱动识别出来的虚拟卷设备； 硬件虚拟化，让PCIe设备支持SR-IOV，虚拟化为多个设备...，这种工作方式常见于网卡(NIC)，对于存储设备很少见。...我们刚才提到，在KVM虚拟出的虚拟机中，挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制，读取Frontend驱动向队列中写入的SCSi命令字，并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景，有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢？ 请看下回分解。
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。...出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。...这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。...因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。...用户只需要在腾讯云上购买一台云主机，就可以方便的使用腾讯云硬盘。 如何实现云硬盘（弹性块存储）系统？...它由接入系统和存储系统两个分布式集群组成；而腾讯云硬盘是个存储系统，接入是为了支撑存储的存在而存在的。...Chunk，提供3副本存储的存储引擎。 Master，总控节点，多机互备提供高可用性。 两层架构的CBS3.0的技术难题？ 一、数据组织：数据按什么样的数据结构存在后台分布式系统中。
然而，由于大家不可能实时监测到群里所有图片，因此，大家打算众筹开发一个小程序，利用机器视觉（CV）来识别偶像和呕像，并委托方老师搞定运行小程序的云资源。...X博：“若想训练电脑识别人脸，需要多给神经网络喂素材……” 原来，CV训练的过程，需要GPU集群做以下的事情： 读取海量的图片素材； 将训练的模型持久化存储； 回到1，迭代模型； 最后，将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地，在云上运行这个应用，需要云提供以下的存储资源： 1、可高效访问海量的图片的存储； 2、可快速迭代的神经网络权重模型的持久化存储； 3、高性能随机读写的数据库存储； 那么，用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。
上回说到，勤劳勇敢的中国人民，受到《康熙字典》中古老的智慧启发，在对象存储中引入了索引，帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到，对象存储的metadata，实际上就是key-value的键值对形式的数据。 让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》，打算把它保存在对象存储里面。...实际上，绝大部分IaaS云服务提供商实现的对象存储，都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例，可以设定用户自定义的x-cos-meta-[自定义后缀]，来存储用户自行设定的metadata，并可以通过sql等方式查询metadata...当然，如果我们想把对象存储用于生产业务，仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能，还是不够的。 请看下回分解。
先回答在《云存储硬核技术内幕——小结(上)》最后留下的三个问题： Q1、对于大量的小文件的存储，使用什么样的方案合适？ A1、可以利用对象存储的热数据存储解决，使用三副本甚至五副本保证性能。...在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的IO请求，因此，需要构建分布式的存储系统，利用分布式的存储节点扛住海量的并发存储请求...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。...操作需要从用户态切换到内核态，造成昂贵的CPU时间用在等待中，Intel发布了SPDK (Storage Performance Develop Kit)，以类似DPDK的机制，提供用户态驱动，轮询机制，内存零拷贝技术等机制...而在远端的分布式存储上，工程师们又利用NVMe Over Fabric技术，特别是NVMe Over RoCE的实现，将NVMe盘的性能发挥到极致。
在前段时间，我们介绍了云存储的基本知识和Ceph的实现，在这里做一个小结： 在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储，客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里： 云存储硬核技术内幕——开篇 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 云存储硬核技术内幕——(4) 记忆的行囊 云存储硬核技术内幕——(5) 七月上，不负勇往 云存储硬核技术内幕——(6) 面壁十年 邃密群科 云存储硬核技术内幕...——(7) 正趣果上果 云存储硬核技术内幕——(8) 只缘身在此山中 云存储硬核技术内幕——(9) 相见时难别亦难 云存储硬核技术内幕——(10) 大叔的迷惑行为 云存储硬核技术内幕——(11) 女子会所的秘密
首先，本书立体地展示了云存储的技术、产品和业务，既详实地阐述了存储关键技术和关键组件，也介绍了多种类型的云存储产品，以及云存储的典型行业和场景应用的解决方案。...专家亲笔书评 本书系统地讲解了与存储相关的技术体系和技术细节，以及阿里云存储的关键技术与组件，还对云存储的未来进行了展望。...——孙凝晖 中国工程院院士，中国科学院计算技术研究所研究员 本书并不是一本仅讲述阿里云存储技术细节的书，它还对云存储技术的发展有着总体把握和深刻思考。...其中对数字经济底层范式和云存储技术脉络的梳理，对数据“引力效应”的描述，对数据价值的分析，以及对云存储技术未来走向的分析等内容，都会给读者带来启发和思考。...希望此书能帮助读者更好地了解和把握云存储的发展历程和未来趋势，同时感知阿里云存储技术发展背后蕴藏的重大意义。
私有云项目中，将面临选择存储方案，在业内常见有四种方案，也相应针对四种不同的应用场景。我们从简单到复杂，为大家再次介绍一下。...一、本地磁盘（DAS存储） 我们直接在云服务器（物理机中）通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘，为本地磁盘。在接口中，以SCSI存储协议为主要的通信协议。...在云环境中，本地磁盘主要有两个用途：1、为云宿主机安装linux宿主机操作系统及云管软件（Xen、Kvm等）。2、为要求高性能的应用提供底层存储，如oracle。...四、ServerSAN ServerSAN也叫分布式存储，将若干个存储服务器形成集群，对外提供SAN服务。 ServerSAN在目前的公有云环境中，有得特别多。...目前在公有云环境中，块存储实际就是采用该存储方案。如果用户在原私有云采用挂SAN的LUN方式进行存储，到公有云后仍建议客户采用块存储方式解决存储需求。 ?
随着云计算、移动通信、IoT的发展，传统的块设备和文件系统的方式访问面临着越来越多的局限，对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...其次，由于对象存储的分布式存储的特点，天然地适合于大规模非结构化数据的存储的应用场景，如备份、归档、文件共享等。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的云存储集群。 构建之前 在进行正式的设计和构建之前，一定要清楚存储系统的使用场景并且明晰存储的需求。...目前云存储主要适用于以下场景： 提供企业内部使用的云盘及文件共享等服务； 备份和归档 作为公有云厂商提供云存储服务 作为私有云的一部分，提供存储 针对具体的场景，我们可以从以下两个方面考虑具体的需求：...1）服务器选型 一个典型的Swift存储集群中，至少包含两种节点：存储节点和代理节点。选择服务器无非考虑硬盘、CPU、内存及网卡。
在上期，我们提到了，在kubernetes中，静态PV/PVC的存储分配方式，会在造成资源浪费的同时，很大一部分Pod的存储需求得不到满足。...StorageClass是一种对存储资源的抽象定义，提供了存储资源的动态供给模式。 让我们再看看前文中的栗子。...有3个Pod，叫做Pod A，Pod B和Pod C，分别通过PVC申请了3GiB, 2GiB和 5GiB的存储，并指定存储卷分别来自AWS-ebs(AWS提供的块存储服务)，RBD(前文提到过的Ceph...)等数十种存储提供者。...但是，如果其他云存储系统不支持这一参数呢？ 这个问题将留到后面解答。 另外一个问题是，如果我们期望把不在上述列表中的存储提供者也接入storageclass，有没有办法实现呢?
在上期提到，对象存储作为低成本，接口通用开放，可远程访问的一种新型云存储形式，得到了广泛的应用，而AWS的S3(Simple Storage Service)也成为了对象存储的事实标准。...然而，AWS的对象存储，并不能部署在私有化环境中。对于安全要求高的系统，如医院PACS影像系统等，就不适合使用AWS的公有对象存储服务。 怎么办呢？...鲁迅说过，对于难以解决的技术问题，可以跟随方老师读一段诗或者散文，就可以解决了。 极乐鸟 传说中有一种极乐的鸟， 它用尽一生唱出最美的歌； 歌声穿过大海飞呀飞， 给人们带来清新与欢乐。...解决方案A：市场上高端FC SAN存储一般也支持S3协议，可以购置昂贵的集中式专用存储设备，通过开历史倒车的方式解决这个问题； 解决方案B：顺应历史潮流，使用分布式存储来实现对象存储。...Swift是一个高效的，安全的和低成本的分布式对象存储系统。
在前三期，我们借鉴社会生产力与生产关系的发展历史，小结了一下存储技术的发展： 内置磁盘存储（原始社会）-> DAS存储（奴隶制社会）-> SAN存储（封建社会）-> NAS存储（资本主义社会）-> 基于以太网...+IP的分布式存储 （社会主义社会）-> NVMe固态+SPDK （共产主义社会） 附上前三期链接： 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史...(中) 云存储硬核技术内幕——(3) 马克思主义存储社会发展极简史 (下) 方老师有个迷妹叫子虚，喜欢研究云计算技术，创作歌曲和去旅行。...原来，想让云上的虚拟机带着持久化记忆自由迁移，需要把持久化存储盘放到共享的云资源池中，再把云资源池上的LUN挂载到虚拟机上，当VM发生迁移的时候，在新的宿主机上仍然可以挂载LUN。...由于云计算技术演进到社会主义时代的水平扩容需求，FC SAN Switch显然无法满足数百台宿主机节点的要求——光纤导向器没那么多物理端口，集中式FC SAN存储也没有那么高性能。
改用混合云存储模式有助于应对安全和合规方面的问题，但随之带来了诸如数据同步和广域网延迟之类的问题。 数据安全和合规问题帮助促使企业对混合云而不是纯公有云或纯私有云解决方案产生兴趣。...在这种混合模式下，公司的一部分数据驻留在私有云上，一部分数据驻留在公有云上，而大部分数据驻留在私有云和公有云上。 然而，混合云存储方案也有其问题。虽然它确实有助于应对合规问题，但是无法消除合规问题。...压缩和缓存的好处取决于具体的使用场合，但通常而言压缩可以实现耗用带宽缩减约6倍(云端的存储数据也可以缩减约6倍)，同时缓存通常可以将流量减少约4倍。...主机托管的私有存储可以在一定程度上缓解广域网带宽问题，存储池位于电信公司的设施，并由专用链路连接到公有云。但是通向私有云的连接仍然速度偏慢，所以光纤到电信公司的连接依然是个问题。...在某个时刻，纯公有云解决方案很吸引人。从技术的角度来看，最合适的主机托管就是放在公有云提供商的内部，而这有可能连接纯公有云解决方案。
今天，我们也给大家运用马克思主义方法论，剖析存储系统从原始社会到社会主义社会的进化。 中国古代著名文学作品《金瓶梅》开篇提到，天下大势，分久必合，合久必分。 计算机的存储设备也是这样。...由于磁盘阵列直接连接到主机，这种外置存储被称为DAS(Direct Access Storage)。...DAS打破了存储容量受制于机框物理尺寸的限制，但由于DAS的限制，并不能解决多主机共用存储系统的问题。 如果系统内部有多台主机，而又需要共享完全一致的文件，能不能让多台主机分享存储呢？...这种系统叫做存储网络SAN (Storage Area Network)。...欲知TCP/IP如何在存储领域解放生产力，请看下期分解。
这篇文章也是，谈谈云存储的时候，再来聊聊其他的一些想法。 云计算 云计算已经遍地开花，各种层面的运维已经漫地都是。。。IAAS层的运维，PAAS层的运维，SAAS层的运维。。。...而当使用所谓的申请虚拟机的时候，是否需要持久化存储，是否需要云存储？数据存储在哪里？分布式存储。。。 云上。。。。最重要的莫过于云存储！！！...云存储 心到处流浪，无处安放总是不好的，所以总要找一个人，寻一座城，进行持久化存储。。。这就是云存储的由来。。。 为啥需要云存储？...云存储的好处太多，但是在底层基本都是分布式存储，其实云存储也就是分布式存储，只不过进行了一层封装，这就是为什么那么多人需要打扮的花枝招展，不然怎么招蜂引蝶。。。...需要存储哪些数据？ 大数据。。。存储在云存储中。 虚拟机VM的快照备份信息。。。存储在云存储中。 数据库的备份binlog信息。。。存储在云存储中。
云存储基础 使用uniCloud的云存储，无需再像传统模式那样单独去购买存储空间、CDN映射、流量采购等； 文件上传至云存储有3种方式： uniCloud Web控制台：点击云存储，通过web界面进行文件上传...由于安全原因暂时禁止云存储内上传html文件。 在uniCloud由阿里云提供的云空间里，云存储总文件量上限为10GB，单文件大小限制为100MB，自带CDN并且完全免费。...，不能删除云存储中的文件。...，再由云函数上传到云存储，应该在客户端直传云存储。...云存储常用文件处理 在访问云存储中的图片或视频文件时，我们可以通过追加一些参数来即时处理文件。
1、云存储的官方定义 云存储是一个以数据存储和管理为核心的云计算系统 即是指通过集群应用、网格技术或分布式文机房集中监控系统件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，...云存储设备横向扩展的方式让存储系统具有了无限扩展的能力，能够实现控制器与硬盘的同时扩展，即性能与容量可以同时实现线性扩展，云存储一般可以分为私有云存储、公有云存储。...，云存储领域也必须正面和直视这个问题！...3、云存储与云计算的关系 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统...，小存量文件也可以存储到自己的邮箱内 5、企业用户云存储云计算技术如何保障数据安全 云存储的一大优势在于其弹性，其实更准确说最初云存储产品的安全性是产品的附加属性。
前言 后端常用数据库做数据存储，譬如MySql、MongoDB，缓存技术存储数据，如Redis、Memcached； 前端存储数据目前常用的是Cookie、Storage、IndexedDB Cookie...分类 Cookie总是保存在客户端中（早期Java中经常会将Cookie与Session作为存储技术进行比较，Session是将数据保存在服务器端，大量的数据存储会增加服务器的负担），按在客户端中的存储位置...Cookie的大小限制在4KB左右，对于复杂的存储需求来说是不够用的。...、修改或删除存储的数据项。...后记 浏览器存储技术目前流行的基本就上面介绍的三种，之前出现的webSql由于用方言SQLlite导致无法统一，也就是说这是一个废弃的标准。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
