首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯弹性存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年存储经验,在弹性存储技术方面经验丰富,本文将其在TEG TALK上分享内容进行整理...用户只需要在腾讯上购买一台主机,就可以方便使用腾讯硬盘。 如何实现硬盘(弹性存储)系统?...首先是成本问题:成本是永恒主题,特别是互联网海量存储中,任何成本优化都会带来巨大经济收益,特别是规模快速增长阶段腾讯硬盘。...它由接入系统和存储系统两个分布式集群组成;而腾讯硬盘是个存储系统,接入是为了支撑存储存在而存在。...当然ceph也有很多值得我们借鉴东西:例如CBS是存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计,同时支持存储、文件存储和对象存储;CBS是镜像多副本存储,但是ceph

13.6K32

2020-07-23-kubernetes集群使用腾讯cbs存储

--- layout: "post" title: "2020-07-23-kubernetes集群使用腾讯cbs存储" date: "2020-07-23 10:00:00" category:...过去自己搭建过rook-ceph但是版本升级或者节点挂掉出现了各种问题,而且ceph规划什么 自己也掌握不好,正好有腾讯自己开源kubernetes-csi-tencentcloud组件 就准备使用他集成做...3.使用腾讯 API Credential 创建 kubernetes secret 参考示例 deploy/kubernetes/secret.yaml apiVersion: v1 kind:.../blob/master/deploy/cbs/examples/storageclass-examples.yaml) \* 如果您集群中节点存在多个可用区,那么您可以开启cbs存储拓扑感知调度...\* SSD 硬盘提供最小 100 GB 到最大 16000 GB 规格选择,单 SSD 硬盘最高可提供 24000 随机读写IOPS、260MB/s吞吐量存储性能。

1.7K22
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    解密腾讯分布式存储系统 : HCBS实现机制

    [1502177262557_639_1502177262854.png] 作者介绍:gavinliao(廖晶贵),腾讯研发工程师,隶属于腾讯TEG-基础架构部-CBS存储研发团队,主要负责分布式存储系统研发与运营工作...导语 分布式存储一直是个经久不衰的话题,在当前竞争激烈市场,存储系统性能与稳定性一直是用户考量存储产品重要指标,为适应用户需求与市场发展,腾讯CBS团队一直在不断打磨存储产品,推出了一款新分布式存储系统...1、背景 存储上不可或缺一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘身影,但随着网络存储技术发展以及本地存储自身缺陷,最终上将只存在盘而非本地盘。...腾讯云块存储在经历了从无到有,从性能波动到性能稳定发展,随着市场份额越来越大,原有的CBS(Cloud Block Storage)系统已经不足以适应市场需求,用户对IO性能以及价格(阿里云和腾讯已连续两轮降价...4、总结 HCBS对于是腾讯分布式存储具有里程碑式意义,其无论是在性能还是成本在市场都具有很大优势,以HCBS为基础衍生出了许多云产品如NCBS、FCBS、NAS等,HCBS同样支持快照功能。

    8.9K50

    腾讯文件存储妙用

    腾讯常用文件存储除了对象存储硬盘,还有一种文件存储,这个存储可以像硬盘一样挂载在内网任何服务器 也就是所有的服务器都可以共享一套存储,如前端负载均衡nginx可以后台挂相同图片、代码等等...但是我们说文件存储是另外一种用途,也就是把他用作数据库、网站备份上,我们以centos为例 第一步,先创建文件系统,选择和服务器在同一个分区 第二步,设置文件系统权限组,开放当前服务器有权限访问文件存储...第三步,在centos上做挂载,注意先要确定安装了NFS-Utils 示例如下: sudo mount -t nfs -o vers=4 192.168.1.7:/ /本地存储目录底子 第四步,修改.../etc/fstabs 确保重启后还会维持挂载 第五步,写备份脚本,将文件备份到文件存储 特别申明:文章由腾讯代理 - 蓝色航线 百分百原创,只发布在腾讯,不得做任何转载

    8.5K71

    混合存储打开正确姿势——腾讯存储网关 CSG

    腾讯存储网关 CSG 可以完美的解决这个问题,企业无需改变传统业务架构,整个上过程对用户现有的业务几乎没有任何影响,同时,用户可根据业务需要实现容量自动扩缩容,而且对于上数据,用户也可以利用对象存储...2、成本最优 CSG 会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据安全持久性,企业可以通过这种冷热分层机制以低成本享有高性能和高安全性兼备存储服务。...线下部署.png 用户利用现有的机房设备,在本地硬件服务器上部署 CSG 网关软件,用户能够继续以低延迟和高带宽直接内网访问本地服务,同时网关会自动将数据同步至腾讯 COS 中。...二、线上部署 对于已经将部分业务迁移至用户,通过购买一体化 CSG 存储网关,可以让数据更好接入整个对象存储 COS 生态中,以低成本挖掘数据价值,为业务赋能。...线上部署.png 线上部署模式,可以方便用户在不改变业务架构前提下,将上业务接入海量无上限对象存储 COS,进一步盘活业务体系,扩展更大潜在商机。

    13.6K10

    哪个服务最好用腾讯功能与优势

    很多用户在初次选择服务器商家时候,往往不知道怎么选择哪个服务商好,因为国内服务商众多,各有各特点,但是目前选择腾讯用户越来越多了,我们就来说说为什么上要首选阿里。...2.硬盘策略:提供三副本专业存储策略,消除单点故障,保证数据可靠性,让您可以放心将数据放在云端,无需担心数据丢失问题。 3.稳定网络架构:成熟网络虚拟化技术和网卡绑定技术保证网络高可用性。...4.专业团队,可靠保障 云安全是由具备多年安全经验与历练腾讯安全团队倾力打造,为服务用户提供专业安全服务,值得您信赖。...如果您已注册腾讯账户,您可以直接 登录 CVM 控制台 ,对您 CVM 进行操作。...2.腾讯 CVM 提供 API 体系,您可使用 API 便捷服务器与您内部监控、运营系统相结合,实现贴近业务需求、完全自动化业务运维体系。

    16K00

    如果,腾讯硬盘被抽出……

    根据存储需求不同,腾讯为用户准备了CBS(硬盘)、CFS(文件存储)、COS(对象存储)等多种服务来存储数据、运行业务。 ? 这些服务都使用多副本技术保障用户服务。...但服务不同,技术也不同: 一种是COS使用腾讯自研存储引擎YottaStore中采用纠删码冗余技术。 当用户写入1份数据时,YottaStore技术会将其均匀分成若干份数据、校验。...紧接着,会用纠删码等技术将其他组数据、校验重建丢失数据,并更新到其他硬盘当中。 ? 另一种是是腾讯自研存储产品CBS和CFS采用「三副本技术」。...为准确运维,腾讯硬盘都给拉手条设计LED指示灯,作为待运维硬盘位置指示,颜色和闪烁频率代表硬盘健康状态; 抽出硬盘对服务器整体几乎不会造成影响。...即便用户授权,腾讯也会通过权限划分确保权限最小化,所有额外权限均需要经过多级评审批准 ...... 现在,你知道为了保护一硬盘和其中数据,腾讯有多努力了吧! ? ?

    2.3K40

    免费对象存储——七牛还是腾讯

    七牛通信协议截图 其他免费对象存储 于是想看看其他免费对象存储,首先看阿里,发现是需要收费,虽然收费不是很高。 至于其他一些小公司免费,这里就不考虑,毕竟没有保障。...最后就是腾讯存储对象了,首先它有免费额度,额度还是比较客观腾讯对象存储免费额度 其次默认生成了域名且是HTTPS,省去了买域名,备案等痛苦。...最后,毕竟是腾讯爸爸,相对其他公司来说肯定有保障多了。对于有需求小伙伴可以考虑下腾讯对象存储「COS」。...使用方式就不累赘了,官方文档写得很详细,简单配置一下,轻松将数据迁移到腾讯上了 迁移数据源 后续问题 原本以为换到腾讯对象存储之后问题解决了,我可以继续开发小程序中生成海报功能了,可是相较于七牛来说...这就又有点尴尬了… 总结 没办法,只好还是使用七牛作为自己文章图床,同时挂了脚本定时同步七牛图片到腾讯上,就当备份了。生成海报头图还是从腾讯上取。

    37K72

    腾讯COS对象存储简单使用

    叮当哥之前买了一年腾讯服务器,昨日偶然发现腾讯送了叮当哥半年cos对象存储服务器,于是就撸起袖子传了几张珍藏大图上去,现将其上传简单使用步骤总结一波(其它操作参加官方SDK文档...cos服务器配置文件(tencent.properties) # 这些配置在腾讯控制台都可查到(使用时替换为你自己) # 腾讯SecretId(永久,可在控制台开启或关闭) tencent.SecretId...# 腾讯bucket (存储桶) tencent.bucket=dintalk-1228321366 # 腾讯region(bucket所在地区) tencent.region=ap-beijing...# 腾讯allowPrefix(允许上传路径) tencent.allowPrefix=* # 腾讯临时密钥时长(单位秒) tencent.durationSeconds=1800 # 腾讯访问基础链接...//腾讯bucket (存储桶) private static String bucket; //腾讯region(bucket所在地区) private static

    18.9K52

    腾讯存储专家深度解读基于Ceph对象存储混合机制

    背景   毫无疑问,乘着计算发展东风,Ceph已经是当今最火热软件定义存储开源项目。...如下图所示,它在同一底层平台之上可以对外提供三种存储接口,分别是文件存储、对象存储以及存储,本文主要关注是对象存储即radosgw。     ...中数据导出到支持s3协议公有对象存储平台,比如我们测试中使用腾讯COS,同Mulsite中其他插件一样,RGW Cloud Sync这个特性也是做成了一个全新同步插件(目前称之为aws sync...、删除等,考虑到同步大文件时候可能会造成内存爆炸问题,还实现了流式上传   对于Ceph社区即将在M版本发布这个公有同步特性,腾讯存储团队也在不断关注并进行了实际落地测试使用,并根据其中存在问题进行了反馈及开发...在实际测试过程中,我们搭建了如下所示运行环境:   其中,Cloud Zone内部包含一个公有同步插件,它被配置为只读zone,用以将Rgw Zone中写入数据跨地域同步至腾讯公有对象存储平台

    24.3K141

    【玩转腾讯】十一.轻松打造一款好用私有笔记

    最重要是它完全开源,我们可以通过在腾讯服务器去搭建属于自己私有的笔记~在任何地点,任何时间记录自己想记录笔记!...---- 【前期文章】 【玩转腾讯】一.半小时轻松搭建属于自己Discuz论坛 【玩转腾讯】二.基于CVM服务器轻松部署PostgreSQL数据库 【玩转腾讯】三.云端轻松构建部署WordPress...网站应用 【玩转腾讯】四.使用服务器CVM轻松部署Node.js 【玩转腾讯】五.手把手教你用VNC搭建Ubuntu可视化界面(一) 【玩转腾讯】六.3分钟打造个人专属盘,速度吊打某盘 【玩转腾讯...】七.基于CVM快速搭建部署属于自己维基百科 【玩转腾讯】八.一分钟快速上手搭建宝塔管理面板 【玩转腾讯】九.开发CloudBase快速搭建hexo博客 【玩转腾讯】十.通过Web浏览器对CVM...服务器运维管理 【玩转腾讯】十一.轻松打造一款好用私有笔记 ---- 操作步骤 一.创建CVM服务器 ①在CVM服务器面板中——实例——新建CVM服务器 ②选择自定义配置——计费模式为“按量付费

    27.9K2426

    腾讯对象存储COS新品发布——智能分层存储,自动优化您存储成本

    近日,腾讯正式发布对象存储新品——智能分层存储,能够根据用户数据访问模式,自动地转换数据冷热层级,为用户提供与标准存储一致低延迟和高吞吐产品体验,同时具有更低存储成本。...熟悉数据存储用户都知道,访问频度高数据为热数据,访问频度低数据为冷数据。热数据使用标准存储类型存储,可以得到更优访问体验;而冷数据一般用低频存储或归档存储类型,可以节省存储成本。...随着业务发展,热数据会降冷,冷数据也有回热可能性,虽然目前对象存储COS支持针对对象配置指定规则,实现数据冷热转换,但是通过生命周期沉降数据是单向,只允许从标准存储 > 低频存储 > 归档存储...智能分层存储作为一种存储类型,天然适配COSAPI、SDK、工具以及生态应用,方便用户按需管理存储数据。...目前COS已对外提供了标准存储、低频存储、智能分层存储等覆盖不同业务需求存储产品,后续还会持续迭代,推出更多产品和功能,为用户提供业界内性价比最高存储服务。

    2.1K170

    腾讯轻量对象存储“用户实践”征文】腾讯轻量对象存储LighthouseCOS 实践体验:简单高效数据存储解决方案

    腾讯作为计算领域领导者,推出了轻量对象存储(LighthouseCOS)服务,为用户提供了一种简单高效、简单易用数据存储平台。...关于LighthouseCOS 根据腾讯官方介绍,轻量对象存储 LighthouseCOS 是腾讯 Lighthouse 服务基于对象存储 COS 服务提供易用、稳定、支持海量存储分布式存储服务...、创建存储桶:在腾讯控制台上创建一个存储桶,用于存储对象数据。...具体技术实践建议如下所示:挂载存储桶:在腾讯控制台上,选择合适轻量应用服务器实例,并在创建实例时将存储桶与之关联。...1、使用前准备工作使用LighthouseCOS前,需要做一些准备工作,比如没有腾讯账号需要先去注册申请,然后是对腾讯账号进行实名认证,这里就不再过多赘述。

    23432

    Kafka 分级存储腾讯实践与演进

    导语 腾讯消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储腾讯实践与演进》精彩分享,从 Kafka 架构遇到问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯落地与实践四个方面详细分享了...Kafka 分级存储腾讯实践与演进。...腾讯在线上环境部署 Kafka 集群时候,都是基于 Zookeeper 或者 Kraft 作为元数据存储,然后使用物理机或者 VM 作为计算资源,本地磁盘作为存储介质来构建集群。...存储层可以用到多模存储,比如 HDFS、腾讯 COS、亚马逊 S3 等。 这个架构优势比较明显,可以看到计算资源跟存储资源是完全解耦,扩容时候有以下优势: 节点扩容无需进行数据迁移。...这是目前腾讯线上正在使用一套产品架构,但是这个产品架构之前也说到了是有缺陷

    53610

    【玩转腾讯】对象存储COS权限管理分析

    一、需求概述 随着互联网和公有发展,越来越多企业把数据放到公有上,COS(Cloud Object Storage)作为腾讯对象存储产品,提供了高容量、高可靠、低成本存储解决方案,也使得客户把越来越多业务数据放到了...Bucket Policy权限使用 JSON 语言描述,支持向匿名身份或腾讯任何CAM账户授予对存储桶、存储桶操作、对象或对象操作权限。...主账号: 用户申请腾讯账号时,系统会创建一个用于登录腾讯服务主账号身份 主账号默认拥有其名下所拥有的资源完全访问权限 子账号: 子账号是由主账号创建实体,有确定身份 ID 和身份凭证,拥有登录腾讯控制台权限...目前腾讯支持 角色载体 类型为: 腾讯账号 支持角色腾讯服务 从上面的描述可以看出,角色主要是用在以下两种场景: 1)授权资源访问权限给其他腾讯主账号,而又不期望把永久访问密钥直接给对方,...角色绑定载体信息,可以看出角色授权给了哪个腾讯主账号 或 腾讯服务;

    16.2K9240

    轻松入门腾讯存储:对象存储COS基本功能详解

    腾讯是全球领先计算服务商之一,将腾讯集团在QQ、微信、QQ空间等业务中积累海量互联网服务能力,开放给各行各业,并不断输出计算机视觉、智能语音、大数据分析、安全防护、音视频等业界领先智能科技,为政务...http://cloud.tencent.com/act/pro/voucherslist 腾讯服务器安全可靠高性能,多种配置供您选择 http://cloud.tencent.com/act/pro.../voucherslist 腾讯对象存储COS基本功能详解 [1620] 首先小编和你介绍一下什么是对象存储COS。...腾讯对象存储(Cloud Object Storage,COS),专门为企业和开发者们提供能够存储海量数据分布式存储服务,用户可随时通过互联网对大量数据进行批量存储和处理,在任意位置存储和检索任意大小数据...接下来,咱们迅速过一下腾讯对象存储COS具备什么样功能呢? 1、对象管理,就是用COS可以帮你好好管理你内容,总结3要点。

    3.5K20

    腾讯1001种玩法】如何腾讯存储上搭建一个hexo博客

    目前有4个选择:1.IaaS,2.Paas,3.虚拟空间,4具有静态网站功能存储(比如腾讯对象存储COS)。...于是乎最好莫过于存储,以腾讯对象存储COS为例,支持静态网站,支持域名绑定,支持相对目录下默认首页(index.html),这点很重要,例如你访问http://www.abc.com/sub/...文章写好后运行: hexo g 代码解释:生成了整个静态博客了,生成在public目录。 三.上传到腾讯存储 前置要求:已经配置好了腾讯对象存储。...3.1拥有一个存储 这个一笔带过,在腾讯对象存储中新建一个Bucket(桶),在桶基础配置中开启静态网站访问,在域名管理中设置自定义域名并在你dns解析中做好相应设置。...这个就是我寄放在腾讯博客: http://www.lixin.me 相关推荐 【腾讯1001种玩法】利用腾讯搭建个人博客 腾讯服务器免费体验 【腾讯1001种玩法】如何使用腾讯做博客

    4K10

    腾讯智慧零售正确打开方式,了解一下~

    当我们谈论智慧零售时候, 我们在讨论和探索,或者说我们在期待, 是什么样图景? 腾讯智慧零售联合三位标杆客户, 呈现全方位不同维度智慧零售打开方式。...让我们来开启了解第一步, 看看腾讯智慧零售探索了哪些方向。 传统商超如何在数字化零售大时代, 依然保持竞争力? 腾讯智慧零售 X 永辉 ? 商场人来人往,如何了解顾客需求?...如何让他们获得最佳购物体验? 腾讯智慧零售 X 百丽 ? 如何为顾客提供更有趣、更有温度用餐体验? 腾讯智慧零售 X 必胜客 ? 想了解精彩案例分享?...5月24日下午14:00-17:00 “+未来”峰会腾讯智慧零售分论坛首秀广州 请点击阅读原文,观看直播 ? 更多精彩不容错过,敬请关注本公众号

    6.6K42

    腾讯 CFS 文件存储函数 SCF 带来业务新场景

    但是在实际使用过程中,函数作为计算形态产品,提供了计算高度弹性扩缩容,但是在存储方面仍然有很多限制或不便之处。...长期以来,函数中文件相关操作,由于受到如上一些限制,通常仅能通过使用对象存储来解决。...文件存储 CFS + 函数 SCF 优势 通过 CFS 提供共享文件存储服务,可以为函数解决在实际使用过程中碰到存储方面的问题,并进一步扩展函数可以支持使用场景。...文件存储 CFS 给函数带来业务新场景 通过 CFS 文件存储产品获得优势,可以改善和扩展现有函数所实现一些场景,也可以带来很多新场景。...通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多扩展使用场景,除了上面提到 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到存储问题

    2.6K53
    领券