在上期，我们提到，如果我们想把对象存储用在生产环境，仅仅在单AZ内部实现三副本只能保证数据99.9999999%的持久性。如果我们还期望业务的可用性达到99.999%以上，还需要实现对象存储的跨AZ部署，也就是所谓的“同城双活”。
在上一期，我们提到，我们如果期望让对象存储具备跨AZ的高可用功能，就需要让对象存储把副本存储到两个不同的AZ。但是，对于3副本的情况，总会有一个AZ里面只有单副本。这样，当另一个AZ整体不可用时，用户的数据将处于十分危险的状态。
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构，通过和阿里云合作，深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
近年来，云计算已成为主流，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台，业务迁移涉及到数据的迁移。正好 JuiceFS 已经对接了各种对象存储的 API ，也实现了数据同步的逻辑，让我们来了解下 JuiceFS 的 sync 命令。
在当今数字化时代，数据量不断增长，对于存储系统提出了更高的要求。传统的存储方式已经难以满足大规模数据的存储和管理需求，因此，对象存储（Object Storage）应运而生。对象存储是一种面向海量数据的存储架构，以其高扩展性、弹性存储、高性能和简单管理等特点，成为了云计算、大数据分析和企业数据管理中的重要组成部分。
随着数据量的爆发式增长，数字化转型称为了整个IT行业的热点，数据也开始需要更深度的价值挖掘，因此需要确保数据中保留的原始信息不丢失，从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求情况，于是业界也开始进行不断的产生的计算引擎，以便应对数据时代的到来。在此背景下，数据湖的概念被越来越多的人提起，希望能有一套系统在保留数据的原始信息情况下，又能够快速对接多种不同的计算平台，从而在数据时代占比的先机。
在前几期，我们介绍了对象存储的对外接口规范、内部存储池分配以及快速根据标签查找到对象的实现。但是，这对于实现企业级和运营级SLA，还需要跨越一道鸿沟……
我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题，比如Bucket的权限管理，上传文件的xss问题、AK\SK的保护。如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。在底层所承载的分布式存储系统是盘古系统，技术实现类似于HDFS，分为Master、Client、Chunk Server，基本的产品矩阵如下：
HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。
用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶，也可能来自本地或第三方云存储(例如腾讯云COS)。等等，HTTP等。
上回说到，Ceph可以为虚拟机提供块存储，而块存储又是将块虚拟为一个image，image作为Ceph的一个对象而存在的。
保存像图片、音视频这类大文件就是对象存储。不仅有很好的大文件读写性能，还可通过水平扩展实现近乎无限容量，并兼顾服务高可用、数据高可靠。
随着各行各业数字化转型的加速，数据呈指数式增长，公有云已成为许多用户的选择。但出于兼容性、数据私密、法规要求等方面的考虑，并非所有数据都能上云，显然混合云模式能完美解决这些问题，混合云存储也将会成为主流的存储模式。
随着各行各业数字化转型的加速，数据呈指数式增长，公有云已成为许多用户的选择。但出于兼容性、数据私密、法规要求等方面的考虑，并非所有数据都能上云，显然混合云模式能完美解决这些问题，混合云存储也将会成为主流的存储模式。 日前，腾讯云发布了面向混合云存储场景的对象存储一体机产品TStor，并详细介绍了Tstor一体机的云特性和软硬件能力。今天我们再来详细介绍下，Tstor一体机的产品特性和应用场景。 Tstor一体机不仅具备传统本地存储设备的全部功能，还集成了腾讯云的云存储服务。Tstor内置了公有云备份功能，可
Unlimited Capacity：公有云的存储服务具有易扩展的特性，用户可以非常方便的根据其存储容量需求，对其已有的存储服务的容量进行扩展，因此从用户角度来说，公有云的存储服务具有无限容量的特点。
在数字化时代，数据已经成为各行各业的核心资产，需要以一种高效、可扩展和高可靠性的方式进行存储和管理。对象存储是一种以对象为中心的存储方式，将数据存储为对象而不是文件，它具有高度可靠性、高扩展性和高性能等优点。
我在之前的博文《Elasticsearch引入可搜索快照（searchable snapshot）》中介绍过Searchable snapshot这个功能，简单来说，通过这个功能，我们能够解锁对象存储简单用作快照备份的功能，实现：
与日志记录和可观察性一样，分布式追踪是保持服务健康和可预测的关键功能。与日志和可观察性（显示服务上发生了什么）相反，追踪允许开发人员和操作人员遵循特定的请求，以及它如何调用不同的服务和依赖关系。它是围绕微服务架构设计的，而微服务架构不同于单体架构，它使用许多小型服务来运行一个平台。这些服务彼此通信，也与外部服务通信，以提供和存储用户请求的信息。
前面介绍了 Prometheus AlertManager、Alertmanager 配置实现钉钉告警、Pushgateway、基于K8S服务发现、监控常见服务、配置 Grafana 展示与报警、高可用集群方案相关的知识点，今天我将详细的为大家介绍Prometheus 高可用架构 Thanos相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发朋友圈支持一波！！！
校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。
数据存储容灾建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢？举个例子，业务数据存储在COS，如果该地域出现地震等极端灾难，COS所在机房被外力摧毁导致业务数据全部丢失，属于数据可靠性范畴；同样如果COS机房网络出现波动或者机器出现负载，导致客户端请求数据出现延时高或者中断，属于业务稳定性范畴；从而两者区别是数据是否丢失。
导读| 如何让功能缺陷修复快速上线？版本发出问题时怎样快速回退？效率提升后质量掉队？为解决这些常让运维工程师头疼的事情，本栏目特邀腾讯知名运维工程师袁旭东，讲述对象存储COS的发布演进过程，为各位开发者提供业务通用的高效高质变更方法。该业务通过提升灰度自测能力、优化流转时间和并发策略等方法实现提效，同时提出措施保障质量，并设置了一套可度量体系保障持续监控、调优，最终带动发布变更水平上新台阶。 背景 1）背景诉求 现网发布变更对运维开发工程师来说是最繁重的工作。发布变更的概念、节奏等已经是老生
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
最近小编老是会被问：如果抽出一块正常工作的服务器硬盘，结果会怎样？ 数据会不会丢？ 业务会不会受影响？ 答案是，不会丢！不受影响！ 保护“使命重大”的硬盘，分两步走： 先判断硬盘状态，看看数据丢没丢 如果一块正常工作的硬盘被抽出，服务器首先会做出反应。 服务器在硬盘读写数据时，设有特殊校验节点进行定时检查。 校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。 如果抽出的硬盘重新插入后，服务器发现节点正常，就会判断数
作者简介 妙成，携程云原生研发工程师，主要从事Elasticsearch、JuiceFS的研发运维，关注分布式数据库、NoSQL。 小峰， 携程云原生研发工程师，主要专注于数据库容器化领域，对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+，包括备份数据、图片语音训练数据和日志数据等，存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点： GlusterFS 在单目录下文件众多时，ls命令速度很慢； 受疫情期间机器采购周期的制约，无法灵活地根据实际需求弹性扩缩容
上一篇 Thanos 架构详解 我们深入理解了 thanos 的架构设计与实现原理，现在我们来聊聊实战，分享一下如何部署和使用 Thanos。
开始前先说个事，半个月前有读者通过本博客的收款码进行打赏，数额不多，却是这个博客开通将近一年收到的第一笔打赏，在此表示感谢，很多读者反馈这个博客干货很多，看了有收获，这是我莫大的荣幸，接下来我也会一如既往地走干货路线，希望大家继续多多支持，也希望多点赠人玫瑰手有余香的行动，让我更有动力坚持下去
ceph 客户端从ceph monitor获取cluster map,然后执行在pool中的pg执行IO操作。cursh ruleset和pg的数量是决定数据对象放在哪里的核心因素。获取到最新的cluster map，ceph客户端是不知道数据对象在哪里。
Ceph项目是加州大学圣克鲁兹分校的 Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了 Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法 CRUSH。2015年5月发布的 Linux内核2.6.34已开始支持Ceph。Weil也成立了IntTank公司，专注于Ceph的开发。2014年5月，该公司被 RedHat收购。Ceph同时支持３种存储访问接口,因此被广泛应用于开源私有云计算平台中，为云计算平台提供虚拟机存储和对象访问能力。
得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展，日志场景逐步产生了一些新需求，主要表现在：应用数量逐步增多，研发需要打印更多的日志定位业务问题，安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛，我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse，以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估，本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
过去的相当长的一段时间里，商用对象存储占据了市场上的大量的份额。国外的Amazon S3，国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖（包括结构化和非结构化数据）已经成为了越来越多公司的目标。那么Hadoop还能满足我们的要求吗？还是我们需要更多的选择？
本文主要讲解企业级OSS对象存储服务Spring Boot Starter制作，开箱即用，为项目进行赋能。基于AmazonS3协议，适配市面上的对象存储服务如：阿里云OSS、腾讯COS、七牛云OSS、MInio等等 什么是OSS? OSS（Object Storage Service），对象存储服务，对象存储服务是一种使用HTTP API存储和检索对象的工具。就是将系统所要用的文件上传到云硬盘上，该云硬盘提供了文件下载、上传、预览等一系列服务，具备版本，权限控制能力，具备数据生命周期管理能力这样的服务以及技术可以统称为OSS OSS在项目中的使用 OSS对象存储在目前大部分项目中必不可少的存在，如下图所示。
文件服务器是一个应用必要的组件之一。最早我搞过FTP，然后又用过FastDFS，接私活的时候我用MongoDB也凑合凑合。现如今时代不同了，开始流行起了OSS。
导语 近几年，大型公有云故障引发的生产业务事故案例时有发生。由于很多开发者默认大型公有云的服务是一直可用的，在开发时没有针对公有云服务进行容错设计，在公有云故障时，就出现了业务的异常。可见，由于大型公有云实际上已经成为了全社会共同拥有的IT基础设施，其业务的高可用也已经成为了企业社会责任的一部分。腾讯云是如何通过完备的高可用设计，来保证云服务的业务连续性和数据持久性，从而承担大厂应有的社会责任的呢？ 这篇来自腾讯专有云的架构师方天戟的万字长文为您揭开腾讯专有云高可用设计的内幕。 一. IT 业务高可用的
在早前这篇文章中 《ClickHouse已支撑S3和HDFS存储的零拷贝复制》，我介绍过 ClickHouse 为了更好的适应当前云原生的发展，利用多层存储的机制，打通了 S3 这样的对象存储。
存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。
Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的 数据编排技术 。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。
可用性指的是系统服务的可用性。一般按全年可用时间除以全年时间来衡量可用性的好坏，平常我们说的 SLA指标就是可用性指标，这里就不展开细说。
在公网对对象存储进行读取，有公有读和私有读两个方式，但是由于CDN无法进行验证，导致如果非同一厂商支持内网验证的CDN环境下，必须使用公有读才可以正常从外网访问。 最近腾讯云CDN的源站多了一个新选项第三方对象存储，控制台对此的注释是AWS S3和阿里云OSS。 言下之意，就是腾讯云CDN支持私有访问第三方存储桶了。
事故的发生是量的积累的结果，任何事情都没有表面看起来那么简单，在软件运行的过程中，随着用户量的增加，不考虑高可用，迟早有一天会发生故障，不得事先考虑高可用设计，而高可用是一门庞大的学问。
该文是 [Delta Lake 数据源](https://docs.byzer.org/#/byzer-lang/zh-cn/datasource/dw/delta_lake) 一个补充。
在上一篇文章中（Elastic Searchable snapshot功能初探），我们已经做了可搜索快照的简单演示。在总结中，我们提到：
最近的几年中，HTAP 数据库成为了一个时髦词汇，言必称 HTAP 也成了很多数据库领域从业者的风潮。如何打造一款 HTAP 数据库，从架构层面出发，去应对未来的变化，拥抱变化，也是很多数据库公司所一直在探索的。
导语：随着云存储业务蓬勃发展，节点数不断扩展。在数十万节点的庞大系统中，如何做到一周内完成全区域覆盖，并杜绝版本发布中的人为失误？文章围绕对象存储(以下简称COS)整体的发布演进，从发布效率的极致提升，平台发布标准化外包化上展开，讲解COS发布成熟度如何提升（当前level2+），希望提供业务通用的高质量变更模式与提效参考。
RAID 是 "Redundant Array of Independent Disk" 的缩写，中文意思是独立冗余磁盘阵列 是一种古老的磁盘冗余备份技术，也许你从未了解其中的原理，但肯定也听说过它的大名。简单地解释，就是将N台硬盘通过RAID Controller（分Hardware，Software）结合成虚拟单台大容量的硬盘使用，其特色是N台硬盘同时读取速度加快及提供容错性.
首先我们搭建一个简单的演示工程（演示工程使用的gradle，Maven项目也同样添加以下依赖），本次使用的是Hadoop最新的3.2.1。
Kubernetes（简称K8S） 是Google开源的分布式的容器管理平台，方便我们在服务器集群中管理我们容器化应用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
