首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存储系统架构如何设计?

    一、存储系统的优势 存储系统底层存储基于对象存储存储资源 存储资源访问完全兼容原有老图库访问规则 图片访问资源转换规则服务,基于动态弹性扩缩容相关部署,避免大流量访问带来的服务器压力 存储访问资源...CDN资源子域名共享CDN缓存 二、存储系统相关功能 三、存储适用的场景 1.块存储 传统的文件系统,是直接访问存储数据的硬件介质的。...使用场景:你的计算机、手机、移动硬盘、U盘、NAS、NFS存储系统、FTP 开源的文件系统:FastDFS,TFS 3.对象存储 对象存储其实介于块存储和文件存储之间。...适用场景:各大公有存储系统及网盘(OSS、S3、COS、七牛对象存储),专业的存储系统,对存储量要求较高的大型存储系统,对高可用要求较高的存储系统,专业的企业网盘 目前开源的对象存储系统:MinIO

    2.1K20

    ProxmoxVE系列:Ubuntu服务器版系统安装(附视频)

    之前小编聊过在PVE上创建虚拟机的方法,小编这里给大家带来的是Ubuntu服务器版本的安装教程。...服务器版安装到服务器上,以当成服务器操作系统来使用。 图形界面不同: 桌面版:具有GUI图形界面,便于用户操作。 服务器版:没有GUI图形界面,所有操作使用命令行语句来执行。...软件安装情况不同: 桌面版:默认安装办公软件、媒体播放软件、浏览器等等。 服务器版:包含了所有需要启动托管站点的软件。...5.configure Ubuntuu archive mirror(软件源的地址):建议修改为http://mirrors.aliyun.com/ubuntu,选择阿里的镜像源,选择Done然后按Enter...11.Installing system(系统开始安装):然后等待让他安装,当Cancel update and reboot变成reboot 说明已经安装完成,点击重启后说明安装成功。

    4.3K20

    硬盘存储系统容量管理实践

    摘要 如果说计算拼的就是运维的话,那么公有的运维拼的就是容量管理。公有上容量管理(以下容量管理特指公有上容量管理)就是要保障有充足的资源可对外售卖,即“有货可卖”。...当资源供应不足,用户无法购买需要的计算资源时,就产生了所谓的“售罄”事件。售罄问题对公有口碑影响很大,影响用户体验的同时甚至会造成用户的流失。...本文主要对容量管理相关问题进行总结和分析,同时介绍硬盘存储系统容量管理实践方案。...另外一方面,目前腾讯有众多可用区,同时有多种硬盘产品,不同产品使用不同的机型;如果只考虑整体资源,而不考虑不同可用区不同盘产品的售卖情况的话,很容易出现资源不均衡的情况,即部分可用区/盘产品售罄的同时其他可用区.../盘产品却资源过剩。

    5.4K20

    CubeFS - 新一代原生存储系统

    CubeFS 是一种新一代原生存储系统,支持 S3、HDFS 和 POSIX 等访问协议,支持多副本与纠删码两种存储引擎,为用户提供多租户、 多 AZ 部署以及跨区域复制等多种特性。...数据库&中间件:为数据库应用如 MySQL、ElasticSearch、ClickHouse 提供高并发、低时延盘服务,实现彻底的存算分离。...传统 NAS 上:替换线下传统本地存储及 NAS,助力 IT 业务上。...原生 基于 CSI 插件可以快速地在 Kubernetes 上使用 CubeFS。...安装 CubeFS 的安装方式有很多,包括 Docker、YUM 等等,由于我们这里直接直接在 Kubernetes 上使用,因此我们可以通过 Helm 来安装 CubeFS,各组件会直接使用宿主机网络

    62610

    邹方明:看腾讯如何架构海量存储系统

    回首腾讯存储十年的历程,腾讯存储业务中心总监邹方明将其划分为四个阶段:萌芽时代、图片时代、视频时代和时代。 腾讯存储面临的第一个大挑战正是在UGC图片时代兴起之初。...为了便于磁盘的自动回收,腾讯存储将磁盘分成同等大小的空间并进行分片分头的整理,留存出10%到15%的冗余利用率,解决了当时的问题。...当腾讯存储的数据储存增长量在四年时间内从100P到1000P,腾讯存储接到的需求也不断增多。...同时,腾讯存储通过设计纠删码的方式,为文件留出3—4份纠删冗余并分别存在多台设备里,最终使文件存储大小压缩到1.3—1.4份,极大的减少了原先存储的设备量。...点击下载演讲资料: 邹方明:看腾讯如何架构海量存储系统.pdf 邹方明:看腾讯如何架构海量存储系统.zip

    4K146

    分布式文件存储系统FastDFS从安装到入门

    [root@server01 ~]# cd /usr/local/src 组件下载与安装 下面的步骤安装切换到安装目录下cd /usr/local/src进行开始。.../make.sh install #编译安装 安装FastDFS cd ../ #返回上一级目录 git clone https://github.com/happyfish100/fastdfs.git...按照上面的命令就可用安装好相应的各个组件,那么下面来进行单机部署的配置。...分布式部署 分布式部署拓扑 分别在两台服务器都安装上Tacker以及Storage服务,在第一台服务安装Nginx进行下载服务的反向代理。...按照前面的步骤对两台服务器进行安装安装完毕之后,下面来进行分布式配置。 tracker配置 配置每台服务器的tracker配置,都按照以下配置进行。

    52720

    DCache 分布式存储系统安装部署与应用创建

    随着微服务与的发展,分布式架构的需求变得越来越普遍,Web 上的数据类型不再单一,数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步, NoSQL 便出现了。...本文将对 DCache 的安装和应用创建方式进行介绍。...简介 SQL 与 NoSQL DCache 安装 DCache 环境依赖 编译构建 部署 创建 DCache 应用 总结 随着移动互联网和的发展,用户量不断增长,业务访问量与日俱增,光靠资源的扩容已经无法解决所有的问题...DCache DCache 是一个基于 TARS 框架开发的分布式 NoSQL 存储系统,数据采用内存存储,同时支持连接后端 DB 实现数据持久化,结合了 NoSQL 和 SQL 的优势,具备以下特点...环境依赖 DCache 基于 TARS 开发,因此编译安装之前,需要先安装 TARS 框架,具体安装步骤可以参考 TARS 框架部署文档(文末附链接)。

    95840

    原生时代需要什么样的存储系统

    原生场景下的存储系统 存储系统一直以来都是基础设施软件中的核心之一。无论业务采用什么样的运行环境和架构,都离不开存储系统的支撑。...原生存储系统可以良好的运行在各种不同服务商提供的公有环境或私有环境,并且为运维人员提供相同接口和运维方式。原生存储系统可以极大的降低运维团队的负担。...如何选择原生存储 原生存储也是存储系统,所以存储系统所必备的可靠性,性能,高可用等等特点都是必不可少的。 除此之外,“原生”对存储系统提出了更高的要求。...原生生态:原生存储系统应该可以很好地和原生的运维生态系统结合,包括监控、报警、日志处理等待。 原生存储系统的性能对比 性能是评判存储系统是否能够支撑核心业务的关键指标。...与此同时,数据库以及存储系统自身也受到了原生架构的影响,逐渐发展出原生数据库和原生存储系统。未来可以看到越来越多的原生数据库和原生存储出现在数据中心中,成为被广泛使用的技术。

    71640

    在CentOS 7上安装分布式存储系统Ceph

    Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统,最初是奔着高性能分布式文件系统去的,结果计算风口一来,Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object...Ceph 现在是计算、虚拟机部署的最火开源存储解决方案,据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage....ADM 服务器硬件配置比较随意,用1台低配置的虚拟机就可以了,只是用来操作和管理 Ceph; MON 服务器2块硬盘做成 RAID1,用来安装操作系统; OSD 服务器上用10块 4TB 硬盘做 Ceph...安装完 CentOS 后我们需要在每个节点上(包括 ceph-adm 哦)做一点基本配置,比如关闭 SELINUX、打开防火墙端口、同步时间等: 在每台 osd 服务器上我们需要对10块 SAS 硬盘分区...ceph-cluster 目录下生成 ceph.conf, ceph.log, ceph.mon.keyring 等相关文件: 在每个 Ceph 节点上都安装 Ceph: 初始化监控节点: 查看一下

    1.6K70

    解密腾讯分布式块存储系统 : HCBS实现机制

    [1502177262557_639_1502177262854.png] 作者介绍:gavinliao(廖晶贵),腾讯研发工程师,隶属于腾讯TEG-基础架构部-CBS存储研发团队,主要负责分布式存储系统研发与运营工作...导语 分布式存储一直是个经久不衰的话题,在当前竞争激烈的市场,存储系统的性能与稳定性一直是用户考量存储产品的重要指标,为适应用户需求与市场发展,腾讯CBS团队一直在不断打磨存储产品,推出了一款新的分布式块存储系统...1、背景 块存储是上不可或缺的一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘的身影,但随着网络块存储的技术发展以及本地存储自身的缺陷,最终上将只存在盘而非本地盘。...)永远是要求苛刻的,因此团队适时推出一款同时满足IO性能与价格兼容的分布式存储系统,HCBS——高性能网络块存储系统。...用户就可以在本地如使用物理硬盘一样对逻辑卷进行格式化、分区、安装系统或其他应用等操作了。

    8.9K50

    腾讯自研数据库CynosDB存储系统如何实现即时恢复

    本文作者:许中清,腾讯自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。...CynosDB for PostgreSQL是腾讯自研的一款原生数据库,其主要核心思想来自于亚马逊的数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。...除此之外,每个Storage Node会自动将数据和日志持续地备份到腾讯对象存储服务COS上,用来实现PIT(Point In Time)功能。...CynosStore通过持续不断地将各个SG上的数据和日志备份到腾讯对象存储服务COS上。其中,基础数据的快照根据一定频率定期备份,而日志则从RAFT状态机中源源不断地向COS备份。...数据库MySQL年终特惠,新用户1元购买,新老用户热卖款型2.5折起,更有代金券免费领,立即围观:https://cloud.tencent.com/act/pro/mysql 更多数据库前沿技术可关注

    1.5K40
    领券