12月16日，以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开，腾讯云存储凭借车载斗量的存储规模及用户量，在一众企业中脱颖而出，荣获“分布式存储运营领袖奖”。 因此，在2021 GDCC 全球分布式云大会现场中，由主办方发起了分布式奖项评选，通过初步遴选和网络投票以及业内最权威技术专家组最终评估，对腾讯云存储进行全方位的评定，最终评定腾讯云存储荣获“分布式存储运营领袖奖”，并在现场进行了奖项颁发。 获奖理由 腾讯云存储全球加速节点数覆盖五大洲50多个国家地区，中国第一家带宽峰
12月16日，以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开，腾讯云存储凭借车载斗量的存储规模及用户量，在一众企业中脱颖而出，荣获“分布式存储运营领袖奖”。
将磁盘使用scsi或sata母线直接与主板相连给系统提供存储的一种方式，如我们的笔记本默认就是这种方式。
etcd在架构的世界是知名度并不低。但少有人知道etcd也是CNCF云计算开源项目的已毕业成员之一。
传统存储经过这些年的发展，目前已经进入逐步沦落为烂大街的现象；而这几年分布式存储在如火如荼的发展中，尤其是在X86服务器作为存储硬件的事实标准下大大降低了存储的准入门槛，引发了无数的新兴创业公司涌入存储领域，逼迫传统存储厂商不得不做出一些变革和技术创新。
在众多postgresql 高可用模式中，主要的参与者有两位， Patroni VS repmgr 基于这二者的功能优点以及缺点相信大部分人都不是太明确，下面将根据两篇翻译的文字合并，来对两个高可用的程序来做一个比较， cons and pros。
在数字化时代，数据已经成为各行各业的核心资产，需要以一种高效、可扩展和高可靠性的方式进行存储和管理。对象存储是一种以对象为中心的存储方式，将数据存储为对象而不是文件，它具有高度可靠性、高扩展性和高性能等优点。
分布式存储系统HDFS（ Hadoop Distributed File System）
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
**分布式存储：**通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。
MapReduce作业是独立于其他作业，输入与输出目录通过分布式存储系统串联。MapReduce作业的存在相互的依赖关系，前后相互依赖的作业需要将后面作业的输入目录配置为与之前作业的输出目录，工作流调度器必须在第一个作业完成后才开始第二个作业。
Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了Redis 分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用
Ceph使用C++语言开发，Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企业版。
大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流的核心组件，供参考。
在分布式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。
存储资源盘活系统(HBlock)通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。它是纯软件的存储控制器，能够安装在任意Linux服务器上，可以把各服务器中分散的磁盘整合成高性能的存储资源池，通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性；通过完善的控制台、命令行与API来统一调度管理所有存储资源；通过强大的兼容性和独特的硬件异构特性充分利用全部存储资源。
最近的调查研究表明，多达50%的企业表示希望将业务从云计算迁移回数据中心，虽然这种回旋效应有很多原因，但缺乏数据一致性是最主要的原因之一。 最近的调查研究表明，多达50%的企业表示希望将业务从云计算迁
在实现分布式服务协调方案时，有许多出色的系统，如 Apache ZooKeeper，etcd，consul 和 Hazelcast。如果您还没有听说过分布式协调，请参阅我的这篇关于分布式协调的文章，文章介绍了什么是分布式协调以及为什么需要它。
Redis 是一个高性能的键值存储系统，经常被用于缓存和会话管理等场景。在分布式存储方面，Redis 提供了多种解决方案，主要包括主从模式、哨兵模式和集群模式。下面我将用通俗易懂的语言解释这三种模式的特点和适用场景。
近日，有关存储系统选型的问题在微信群里讨论的火热，CSDN在这里稍微将各位专家的问答总结了一下，分享给大家。 文章内容来源大数据基础设施微信群，参与讨论的专家有中国科学院软件研究所工程师，C3核心成员李明宇，国防科学技术大学教授，CCF大数据专家委员会委员李东升，云人科技联合创始人兼CEO吴朱华，Memblaze技术顾问刘爱贵等等。 以下是问答实录： Q：有一个场景：每天有近百GB数据增加，数据内容有WORD文档和图像等多种类型。用什么存储或文件系统比较合适？ A: HDFS、HBase、Hive不太适合存
NoSQL并非字面的“不是SQL”或者“非SQL”，而是NoSQL=Not Only SQL，即“不仅仅是SQL”，是对不同于传统的关系型数据库的数据库管理系统的统称。
在虚拟化及云计算技术大规模应用于企业数据中心的科技浪潮中，存储性能无疑是决定企业核心应用是否能被虚拟化、云化的关键考量指标之一。传统的做法是升级存储设备，从低端、中端到高端存储，但这没解决根本问题，性能和容量仍不能兼顾，并且不能很好的解决异构设备利旧和架构扩展的问题。因此，企业需要一种大规模分布式存储管理软件，能够充分利用已有的硬件资源，在可控成本范围内提供最佳的存储性能，并能根据业务需求变化，从容量和性能两方面同时快速横向扩展。这也是当今软件定义存储兴起的现实基础。
容器总是存在一个镜像中心，而一个镜像中心的存在主要是为了保存所有的镜像image，而在使用的时候，总是要追求高可用，从而会有不同的架构。
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop
分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？今天我就给大家讲解这两个问题。
过去十年里，数字经济的蓬勃发展，不仅带来了数据爆炸性增长，也让数据的重要性日渐突显。
https://blog.csdn.net/qq_28289405/article/details/80576614
在数据库的世界里，我们经常面对的一个现实就是：分久必合，合久必分。大多数企业都在这样一个轮回中不断革新。比如国内的银行，早期多数是按省市分布式布局，随着技术发展进步，慢慢建立了区域中心、全国中心，将数
比如海量数据，单机存储不下，需要多机，以集群的方式存储，即为数据的分布式存储，数据存储的分布式一般涉及如下几个方面
StatefulSet 通过为每一个 pod 分配有粘性的 ID，并且在 pod 发生变更时，维持 ID 的稳定，从而保证了网络状态下不对等关系的各个 Pod 在启动、删除和重建过程中能够始终保持稳定。
近年来，随着云、大数据、AI、区块链等技术的发展，分布式架构在IT市场持续火热，在存储领域，分布式存储蓬勃发展。 其中在AI应用最火热的汽车自动驾驶研发领域，每个车企都需要对数百PB数据进行采集、存储、分析训练、仿真。 根据预测，到2025年全球数据将增长到175ZB，其中非结构化数据占比将超过80%，分布式存储凭借高扩展性和易管理能力，成为承载海量数据的重要选择。同时，在政府、运营商、金融等大规模云化数据中心，各大云厂商、分布式存储厂商都在积极推动分布式存储更广泛地应用，替代部分传统存储阵列。 种种迹象
自诞生以来，分布式存储就被视为存储的未来，被万众期待。然而分布式存储起步于寒门，最早应用于互联网日志、企业备份归档、开发测试等场景，追求极致成本，性能和可靠性却不敢恭维。但它还算争气，凭借多年的打怪练级，越来越多地开始承载自动驾驶研发、超高清编辑、运营商5G网络云等企业的关键业务，走上变成高富帅、赢取白富美的道路。
据IDC预测，未来五年软件定义存储市场的复合增长率将达到23.4%，到2025年分布式存储的市场空间将达到325亿美元。
分布式的概念很早就有了，然而真正在企业中得以广泛应用却是最近几年的事情。互联网的深入深化及大数据应用的兴起，对于IT系统的处理能力及效率都提出了更高的要求。通过松散耦合将多台物理服务器组成一个集群，提供更大的计算能力，这是分布式的核心作用，也是其得以广泛应用的主要原因。 我们邀请数人云王璞老师，为我们分享他在分布式计算方面的深刻理解和独到见解。 遇见未来 未来数据中心的建设战略之分布式 1 作者及其团队介绍 王璞，数人云CEO及创始人，为美国George Mason大学计算机博士，擅长分布式计算、大规模机
近日，权威调研机构Gartner公布2021二季度全球存储市场报告。报告显示，全球存储市场开始回暖，市场规模同比增长3.5%，其中以分布式存储为代表的第二存储市场增速最高，同比增长5.5%。全球第二存储市场，浪潮分布式存储增长强劲，市场份额保持全球前三。
1 数据中心向整合化和绿色节能方向发展 目前传统数据中心的建设正面临异构网络、静态资源、管理复杂、能耗高等方面问题，云计算数据中心与传统数据中心有所不同，它既要解决如何在短时间内快速、高效完成企业级数据中心的扩容部署问题，同时要兼顾绿色节能和高可靠性要求。高利用率、一体化、低功耗、自动化管理成为云计算数据中心建设的关注点，整合、绿色节能成为云计算数据中心构建技术的发展特点。 数据中心的整合首先是物理环境的整合，包括供配电和精密制冷等，主要是解决数据中心基础设施的可靠性和可用性问题。进一步的整合是构建针对基础
从去年11月份到今年春节前后，华为存储研发骨干曹长斌几乎每天都夜不能寐，因为他参与的FusionStorage 8.0 研发项目遇到各种棘手难题。那段时间，曹长斌甚至连吃饭、跑步都会想着如何解决研发面临的问题。
区块链是通过分布式节点的存储资源，对全网全节点进行存储同步，并通过相应的共识技术保证内部节点对存储内容更改的有效性，维护一个完整的可查找的数据库。在此系统中，存储的都是链内生成账户之间余额的更改或者总剩余，当然，更完善的一些系统功能也包括存储了多个账户对数据库中子账目的数据状态维护。
目前，您可以使用 Longhorn UI 操作 Longhorn。同时，您可以使用 Python 访问 Longhorn API，如下所示。
我们在面试中，除了怕并发编程以外，还有个就是分布式技术，尤其是相关算法之类的，理解起来还是有些难度的。
公司技术分为浓重，在众多的兴趣小组里面有一个分布式数据库的小组，本周五需要进分享，是在是惭愧，作为这个小组的 specialist, 啥都没有做，所以赶紧弄弄，要不说啥。
Hadoop作为大数据主流的基础架构选择，至今仍然占据着重要的地位，而基于Hadoop的分布式文件系统HDFS，也在大数据存储环节发挥着重要的支撑作用。今天的大数据入门分享，我们就主要来讲讲HDFS分布式文件管理系统。
首先对我来说，我觉得能够开发数据库，而且能够有很深的技术情结，真是一件很cool的事情，我比较欣赏极客精神，同时满足了业务，也在技术上的价值得以体现，这种模式值得很多开源项目参考借鉴。
继青云科技（QingCloud）上市以来，旗下分布式存储品牌QingStor近日也官宣了新的品牌征程：
很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师，经常有困惑，就是“一名分布式存储工程师的技能树是怎样的？”
与集中式存储相反，分布式存储通常采用存储单元集群的形式，并具有在集群节点之间进行数据同步和协调的机制。分布式存储最初是由Google提出的，其目的是通过廉价服务器解决大规模，高并发情况下的Web访问问题。
Ceph 是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。 Ceph 项目最早起源于Sage就读博士期间的工作（最早的成果于 2004 年发表），并随后贡献给开源社区， 遵循 LGPL 协议 （LESSER GENERAL PUBLIC LICENSE 的简写，中文译为 “ 较宽松公共许可证 ” ）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack 、 CloudStack 、 OpenNebula 、 Hadoop ）的支持并被广泛应用。
以下文章转载于SmartX知乎博客，不同与国内的很多公司，SmartX完全自主开发了分布式块存储－ZBS，整个系统从架构到实现充分考虑了超融合系统的特点，以下内容进行了充分阐述。
传统上，无论是基于 MapReduce 的数据流，还是基于 Spark/Flink 的流水线，其数据的来源和最终落脚点都可以是分布式存储（比如 GFS、HDFS、S3）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
