在上一期，我们提到，我们如果期望让对象存储具备跨AZ的高可用功能，就需要让对象存储把副本存储到两个不同的AZ。但是，对于3副本的情况，总会有一个AZ里面只有单副本。这样，当另一个AZ整体不可用时，用户的数据将处于十分危险的状态。
在上期，我们提到，如果我们想把对象存储用在生产环境，仅仅在单AZ内部实现三副本只能保证数据99.9999999%的持久性。如果我们还期望业务的可用性达到99.999%以上，还需要实现对象存储的跨AZ部署，也就是所谓的“同城双活”。
MongoDB是一个开源的分布式文档形数据库，文档是一个键值对组成的数据结构，类似JSON，字段的值可以是数组或者字典（可以理解为嵌套的文档），例如
根据云存储服务商Backblaze发布的2021年硬盘“质量报告”，现有存储硬件设备的可靠性无法完全保证，我们需要在软件层面通过一些机制来实现可靠存储。一个分布式软件的常用设计原则就是面向失效的设计。
纠删码概述 存储节点或者存储介质失效已经成为经常的事情，提高存储可靠性以及保障数据可用性已经变得非常重要，纠删码具有高存储效率和高容错能力。在体量非常大的存储中纠删码存储方式相比副本方式存在编码开销，又由于其特有的IO访问路径，其改进空间比较大 保障数据可用性的常用方法就是数据冗余，传统的数据冗余方式就是副本和纠删码方式，副本是将每个原始数据分块都镜像复制到其他设备上来保证原始数据丢失或者失效时有副本可恢复；副本方式不涉及数据变换，而纠删码会对数据进行变换和运算，得到支持数据冗余的编码数据,比如k+r(k个
三台副本集机器，设置好各自的端口：27017，27018，27019 我这边先用单节点三副本配置: 其余的配置文件改成对应端口和目录即可
Fayson在前面的文章中对Hadoop3的新特性之一纠删码进行过介绍，参考《什么是HDFS的纠删码》，后面又对纠删码的使用进行了实操，参考《如何在CDH6.0中使用纠删码》。但我们知道，在HDFS的三副本年代，Hadoop为了最大限度保证数据可用性，HDFS本身还有一个机架感知策略。这里先温习一下：
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
这些年来，云计算的概念非常火热，但是普通大众对云平台其实没有太清晰的概念，所以有很多厂商打着云计算的旗帜，对外提供所谓的云资源服务，其实说到底，就是用VMware或KVM等虚拟化技术虚拟出来的VPS（Virtual Private Server，虚拟专有服务器）。
[导语] EC(Erasure Coding, 纠删码) 是现代分布式存储系统一个重要的能力。它可以保证在相同数据持久度的基础上大幅提高存储空间利用率，对降低存储成本有极为重要的意义。腾讯大数据存储团队全程参与了 Ozone 社区 EC 的设计与开发，并先于社区在内部完成了 EC offline recovery 的开发和测试。本文主要讲解 EC 在 Ozone 中的设计与实现，并讨论其中的利弊权衡。 0.引言 Apache Ozone 做为 Hadoop 生态的下一代分布式存储系统，是 Hadoop 生态
图-10中，三副本中若有两个以上完成处理，写即可认为成功。若三副本中只有一个完成写入，会怎样？到底几个副本完成才能认为写成功？
校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。
[1502177262557_639_1502177262854.png] 作者介绍：gavinliao(廖晶贵)，腾讯云研发工程师，隶属于腾讯TEG-基础架构部-CBS云存储研发团队，主要负责分布
最近小编老是会被问：如果抽出一块正常工作的服务器硬盘，结果会怎样？ 数据会不会丢？ 业务会不会受影响？ 答案是，不会丢！不受影响！ 保护“使命重大”的硬盘，分两步走： 先判断硬盘状态，看看数据丢没丢 如果一块正常工作的硬盘被抽出，服务器首先会做出反应。 服务器在硬盘读写数据时，设有特殊校验节点进行定时检查。 校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。 如果抽出的硬盘重新插入后，服务器发现节点正常，就会判断数
随着各行各业数字化转型的加速，数据呈指数式增长，公有云已成为许多用户的选择。但出于兼容性、数据私密、法规要求等方面的考虑，并非所有数据都能上云，显然混合云模式能完美解决这些问题，混合云存储也将会成为主流的存储模式。 日前，腾讯云发布了面向混合云存储场景的对象存储一体机产品TStor，并详细介绍了Tstor一体机的云特性和软硬件能力。今天我们再来详细介绍下，Tstor一体机的产品特性和应用场景。 Tstor一体机不仅具备传统本地存储设备的全部功能，还集成了腾讯云的云存储服务。Tstor内置了公有云备份功能，可
最近，经常有市场一线同事问：“我们向客户销售了云主机后，客户究竟可以用来做什么”？ 一般的回答是网站，除了以后，好像脑袋里一片空白，核心是因为我们对客户了解不够或者自己的IT专业技能缺乏。我们今天简单聊一聊云主机的客户场景化用途。
编辑｜邓艳琴 完整 PPT 下载： https://qcon.infoq.cn/2023/guangzhou/presentation/5269 JuiceFS GitHub 地址： https://github.com/juicedata/juicefs
开始前先说个事，半个月前有读者通过本博客的收款码进行打赏，数额不多，却是这个博客开通将近一年收到的第一笔打赏，在此表示感谢，很多读者反馈这个博客干货很多，看了有收获，这是我莫大的荣幸，接下来我也会一如既往地走干货路线，希望大家继续多多支持，也希望多点赠人玫瑰手有余香的行动，让我更有动力坚持下去
单主、多主复制思路都是：客户端向一个主节点发写请求，而DB系统负责将写请求复制到其他副本。主节点决定写顺序，从节点按相同顺序应用主节点发送的写日志。
目前OpenStack后端存储广泛使用Ceph，而且一般使用的都是三副本，以空间换可靠性来保证存储数据的安全，由于数据冗余，真实可用容量最多也只能达到集群的1/3。不仅如此，Ceph集群有一个木桶效应，当某一个OSD容量达到full，会导致整个集群只能读不能写，此时Ceph集群的容量可能只使用了60%，系统已经提示不能再写入数据了。L版之后好像已经把影响范围缩小到pool级别。
随着各行各业数字化转型的加速，数据呈指数式增长，公有云已成为许多用户的选择。但出于兼容性、数据私密、法规要求等方面的考虑，并非所有数据都能上云，显然混合云模式能完美解决这些问题，混合云存储也将会成为主流的存储模式。
网上有很多Kafka的文章，但大多写得千篇一律，要么偏理论化，无实战数据参考。要么写了发现的某个问题的解决方案，对于想在实际环境上搭建真实的Kafka环境，参考意义并不大。
随着Big Data、 AI、IoT等业务的迅猛发展，传统的存储面临着越来越多的挑战。首先，横向扩展能力有待提升。近些年，需要IT基础设施进行处理和存储的数据量以指数级的速度增长。而传统存储的Scale-up的扩展能力越来越难以满足快速增长的数据的存储需求。其次，存储系统管理复杂。传统的SAN需要专门的FC传输协议，以及每个SAN厂商有自己独有的管理与运维方式，导致需要专门的存储运维人员。第三，无业务中断地运维能力弱。现在大量的应用要求7*24*365无中断的运行，几乎没有留给运维的时间窗口，因此需要存储系统具有业务无中断地运维能力。
Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
Fayson在前面的文章中介绍过CDH6，参考《Cloudera Enterprise 6正式发布》和《如何在Redhat7.4安装CDH6.0》。CDH6主要集成打包了Hadoop3，包括Hadoop3的一些新特性的官方支持，比如NameNode联邦，纠删码等。纠删码可以将HDFS的存储开销降低约50%，同时与三分本策略一样，还可以保证数据的可用性。本文Fayson主要介绍纠删码的工作原理。
ORACLE数据库既能跑OLTP业务，也能跑OLAP业务，能力是商业数据库中数一数二的。支持IBM小机和x86 PC服务器，支持多种OS。同时有多种数据库架构方案供选择，成本收益风险也各不相同。
原作者：Bane Radulovic 译者： 魏兴华 审核： 魏兴华 ASM Allocation Units 在ASM磁盘组中，最基本空间分配单位是allocation unit，简称AU，每个ASM的磁盘在初始化后都会被切割成一个一个的AU。 当磁盘组创建时，可以通过设置AU_SIZE的属性值，来指定AU的大小（在11.1版本以后），AU的大小可以是1，2，4，8，16，32，64MB，如果不指定AU的大小，默认值是1MB（Exadata下为4MB）。 AU size是磁盘组的属性（不是磁盘
一、虚拟机如果通过iSCSI方式挂载块存储(云盘)，由于所有的iSCSI操作需要涉及虚拟机的虚拟网卡，以及宿主机上的vSwitch，这种操作方式会对宿主机造成较大的压力；
分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施，并在其上构建很多服务，分布式文件系统通常采用三副本的策略来保证数据的可靠性，但随着应用数据量的不断膨胀，三副本策略为可靠性牺牲的存储空间也越来越大，如何在不降低数据可靠性的基础上，进一步降低存储空间成本？ Facebook将erasure code应用到内部HDFS集群中，该方案使用erasure code代替传统的三副本策略，在保持集群可用性不变的情况下，节省了数PB的存储空间，Facebook的实现方案(HDFS RAID)目前已贡献给开源社区。
1，首先要先了解下什么是rack（机架）集群，一个集群有多个机架，一个机架有多个机器，一个机器一个datanode或namenode节点。通常一个机架内的机器之间的网络速度会高于跨机架机器之间的网络速度。 2，但是要同时保持副本存储策略的容错性和高效性，第一副本：放置在上传文件的DN上（就是执行‘hadoop fs -put 文件名’上传文件命令的机器上，本地文件上传到同一台机器自然要快一点），如果是集群外提交，则随机挑选一台；第二副本：放置在第一副本不同机架的不同节点上；第三副本，放置在第二副本相同机架的不同节点上；其他更多副本：随机放置在节点中。 3，在高效性方面，一个大文件被分成多个分片，也就是多个map任务分别在多个datanode节点上处理，这里就牵扯到任务粒度。如果有m个map任务，不一定会在m个datanode 节点上并行运行。因为可能存在一个datanode上有多个分片\数据块\map任务,所以应该准确的说m个map任务在n个datanode节点上并行运行（注意是并行运行，这样同时处理才会快）。 4，本地计算，在2中也存在野种思想，就是把在哪天DN上传的文件就把次DN作为第一副本；再者就是数据存储在那台机器就由哪台机器负责进行这部分数据的计算，这样可以减少数据在网络上的传输，数据在哪里我就在哪里计算，做到不移动数据，在业界把这形容为“移动计算比移动数据更经济”。
云服务器、云数据库特惠，服务更稳，速度更快，价格更优 前往地址> 云服务器年付3折起 所有机型免费分配公网IP，50G高性能云硬盘（系统盘） 。 英特尔Ⓡ至强处理器 CPU负载无限制，利用率最高为100% 搭配网络增强，包转发能力最高可达30w 个人建站，轻量APP，企业用户等各应用场景均可适用 云数据库年付3折起 MySQL高可用版 提供备份，恢复，监控，数据迁移等产品功能 双机热备，自动容灾 采用高性能SSD硬盘 按需使用，弹性扩展 Redis 提供备份，恢复，监控，按需升级等产品功能 适用所用高
本文由微众银行数据库负责人胡盼盼撰写，介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进，以及 TiDB 在微众银行核心批量场景的应用。
在前几期，我们介绍了对象存储的对外接口规范、内部存储池分配以及快速根据标签查找到对象的实现。但是，这对于实现企业级和运营级SLA，还需要跨越一道鸿沟……
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一
前文我们搭建MongoDB三成员副本集，了解集群基本特性，今天我们围绕下图聊一聊背后的细节。
本文已被USENIX'17年度技术大会录用，此处为中文简译版。 阅读英文论文完整版请点击：Speculative Partial Writes in Erasure-Coded Systems 。 前言 多副本和纠删码（EC，Erasure Code）是存储系统中常见的两种数据可靠性方法。与多副本冗余不同，EC将m个原始数据块编码生成k个检验块，形成一个EC组，之后系统可最多容忍任意k个原始数据块或校验块损坏，都不会产生数据丢失。纠删码可将数据存储的冗余度降低50%以上，大大降低了存储成本，在许多大规模分
数据存储容灾建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢？举个例子，业务数据存储在COS，如果该地域出现地震等极端灾难，COS所在机房被外力摧毁导致业务数据全部丢失，属于数据可靠性范畴；同样如果COS机房网络出现波动或者机器出现负载，导致客户端请求数据出现延时高或者中断，属于业务稳定性范畴；从而两者区别是数据是否丢失。
ZNBase 是浪潮开源的 NewSQL 分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍 ZNBase 在面对高负载存储过程中采用的负载均衡策略。
可用性指的是系统服务的可用性。一般按全年可用时间除以全年时间来衡量可用性的好坏，平常我们说的 SLA指标就是可用性指标，这里就不展开细说。
我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题，比如Bucket的权限管理，上传文件的xss问题、AK\SK的保护。如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。在底层所承载的分布式存储系统是盘古系统，技术实现类似于HDFS，分为Master、Client、Chunk Server，基本的产品矩阵如下：
在上期说到，虽然Ceph作为分布式存储系统，应用于生产环境会出现很多问题，但其他开源分布式存储系统更不适用于云计算的生产环境。
上回说到，Ceph可以为虚拟机提供块存储，而块存储又是将块虚拟为一个image，image作为Ceph的一个对象而存在的。
shard：每个分片是分片数据的子集。从MongoDB 3.6开始，必须将分片部署为副本集。
《E往无前》系列将着重展现腾讯云ES在持续深入优化客户所关心的「省！快！稳！」诉求，能够在低成本的同时兼顾高可用、高性能、高稳定等特性，可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。 E往无前 | 人人在用的微信支付，腾讯云大数据ES如何让它低成本高可用？ 导语：微信支付是国家重要的关键信息基础设施，服务于几千万商户和上亿国民，可用性要求高于5个9。本案例重点介绍了ES在微信支付服务中满足金融账单数据需求的同时，如何进一步降低成本，提高可用性。 Elasticsearch（下文简称为ES）经
MongoDB基础请参考：http://blog.51cto.com/kaliarch/2044423
私有云项目中，将面临选择存储方案，在业内常见有四种方案，也相应针对四种不同的应用场景。我们从简单到复杂，为大家再次介绍一下。
在上期，我们提到，Ceph集群使用多副本的情况下，整体读性能可达所有物理磁盘读性能的总和，但由于写入的机制为只写入主副本，然后向另外两个副本同步，因此，以三副本为例，写性能只能达到所有磁盘写性能总和的三分之一。以SATA大盘单盘，100 IOPS写性能计，6节点72大盘的总写IOPS性能只能到2400 IOPS。这是难以满足高性能数据库需求的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
