硬件基础 分布式存储系统是运行在通用计算机硬件体系结构上的底层系统，熟悉各种硬件的性能，能帮助我们更好的调整架构，最大限度地发挥硬件的价值。 基础参数 常见硬件的大致性能参数如下： 类别性能访问L1 Cache0.5ns分支预测失败5ns访问L2 Cache7nsMutex加锁/解锁100ns内存访问100ns千兆网络每秒100MB从内存顺序读取数据每秒4GB(同机房)网络来回RTT0.5ms(同城跨机房)网络来回RTT1~2ms(不同城跨机房)网络来回RTT300~100msSATA磁盘寻道10msSAT
问题导读： 为什么不能远少于64MB(或128MB或256MB) ? 为什么不能远大于64MB(或128MB或256MB)？ 为什么不能远少于64MB(或128MB或256MB) ?
在解释磁盘读写慢之前，我们首先要了解它底层到底是个什么东西，数据到底是如何存储在物理设备上面，是以一个什么的形式存在。所以我们先来了解一下：磁盘究竟是什么，是用什么介质来存储数据的，数据在介质中的形式是什么样的？
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
I/O设备，包括磁盘、键盘、显示器、各种网络传输设备、及各种驱动程序等。计算机系统参与I/O的外设大体分为三类：
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
计算机是处理数据的机器，而数据就需要有地方存放。在计算机中，可供数据存放的地方并不太多，除了内存之外，最主要的存储数据的媒介就是磁盘。对于大多数计算机领域的人来说，磁盘通常被看做是一种外部设备。可是，对于现代操作系统来说，磁盘是不可或缺的。虽然早期的操作系统可以基于磁带，但由于操作系统复杂性和性能的不断提升，用磁带作为操作系统的载体已经不合时宜，取而代之的是磁盘。由于操作系统需要存放在磁盘上，且操作系统内的文件系统也是基于磁盘，所以，从某种程度来说，磁盘是操作系统不可分割的一部分，理解磁盘将对理解操作系统的原理具有重要的意义。
大家都知道硬盘的随机IO很慢，但是比顺序IO慢多少呢，不知道你是否有过数字上的直接对比。今天我来实际压测对比一下磁盘在顺序IO和随机IO不同场景下的性能数据表现。通过今天的实验数据，你将能深刻理解数据库事务中为什么要用日志的方式来实现，为什么索引中要用节点更大的B+树。
记得十几年前还在用早期 Windows 系统的时候，每用一段时间系统都会变得很卡顿，这时候需要打开系统提供的下面的磁盘碎片整理程序，当碎片整理完成后会感觉到系统变得稍微流畅了一些。
在Scale Out Camp上，Jared Rosoff以其简明、有效、富有趣味性且令人信服的方式，进行了一场关于MongoDB扩展的8分钟教程。这些策略不仅适用于MongoDB，对大多数数据库都同样有效：优化查询、了解工作集大小、调整文件系统、选择合适的磁盘以及分片。以下是对这五种策略的详细解析：
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
一个典型的坏扇区事务处理可能如下： ·操作系统试图访问逻辑块87。 ·控制器计算ECC的值，发现该块是坏的，它将此结果通知操作系统。 ·下次操作系统重启时，可以运行一个特殊程序以告诉SCSI控制器用备用块替代坏块。 ·之后，每当系统试图访问逻辑块87时，这一请求就转换成控制器所替代的扇区的地址。 12.6 交换空间管理 12.7 RAID结构（磁盘冗余阵列） 一个系统拥有了大量磁盘，它就有机会改善数据读写速度（因为磁盘操作可并行进行）。而且，这种设置也使系统有机会改善数据存储的可靠性，因为可在多个磁
前面讲解了平衡查找树中的2-3树以及其实现红黑树。2-3树种，一个节点最多有2个key，而红黑树则使用染色的方式来标识这两个key。
上世纪90年代，伯克利的Jhon Ousterhout带领一个小组开发了一个新的文件系统来尝试解决文件系统的性能问题，这个研究的成果就是Log-structured File System(LFS)，然而多年以来它并没有得到业界的采纳，直到固态硬盘（Solid State Drive)兴起后，LFS才终于大放异彩。
IO体系结构是计算机系统和外部的接口，同时也是操作系统中设计最难的部分，因为存在许多不同的设备和它们的应用，难有统一一致的解决方案。 IO体系结构的设计目标是提供一种系统化方法来控制与外部的交互，并且给操作系统提供有效管理IO所需的信息。
盘可以说是硬件里面比较简单的构造了，同时也是最重要的。下面我们从盘谈起，聊聊它的物理构造
硬盘的种类主要是SCSI 、IDE 、以及现在流行的SATA等；任何一种硬盘的生产都要一定的标准；随着相应的标准的升级，硬盘生产技术也在升级；比如 SCSI标准已经经历了SCSI-1 、SCSI-2、SCSI-3；其中目前咱们经常在服务器网站看到的 Ultral-160就是基于SCSI-3标准的；IDE 遵循的是ATA标准，而目前流行的SATA，是ATA标准的升级版本；IDE是并口设备，而SATA是串口，SATA的发展目的是替换IDE；
摘要
IO是输入输出指令，操作系统向存储控制器下发一个读或者写数据的操作指令，控制器下发地址和数据给存储设备，并返回结果给存储控制器，最后到达操作系统。操作系统的一个IO可能会产生多个实际的存储设备IO。一般可以分为：
按文件性质和用途分类（UNIX），一般分为普通文件、目录文件、特殊文件（设备文件）、管道文件、套接字
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
由于存储介质的特性，磁盘本身存取就比主存慢，再加上机械运动耗费，磁盘的存取速度往往是主存的几百分之一甚至几千分支一
本文作者系Scott（中文名陈晓辉），现任大连华信资深分析师 ，ORACLE数据库专家，曾就职于甲骨文中国。个人主页：segmentfault.com/u/db_perf ，经其本人授权发布。
概述 盘片（platter） 磁头（head） 磁道（track） 扇区（sector） 柱面（cylinder） 盘片 片面 和 磁头 硬盘中一般会有多个盘片组成，每个盘片包含两个面，每个盘面都对应
云豆贴心提醒，本文阅读时间7分钟 现在MySQL运行的大部分环境都是在Linux上的，如何在Linux操作系统上根据MySQL进行优化，我们这里给出一些通用简单的策略。这些方法都有助于改进MySQL的性能。 闲话少说，进入正题。 一、CPU 首先从CPU说起。 你仔细检查的话，有些服务器上会有的一个有趣的现象： 你cat /proc/cpuinfo时，会发现CPU的频率竟然跟它标称的频率不一样： 这个是Intel E5-2620的CPU，他是2.00G * 24的CPU，但是，我们发现第5颗C
首先，让我们看一下硬盘的发展史： 1956年9月13日，IBM的IBM 350 RAMAC(Random Access Method of Accounting and Control)是现代硬盘的雏形，整个硬盘需要50个直径为24英寸表面涂有磁浆的盘片，它相当于两个冰箱的体积，不过其存储容量只有5MB。 1971年，IBM开始采用一种名叫Merlin的技术生产硬盘，这种技术据称能使硬盘头更好地在盘片上索引。 1973年，IBM 3340问世，主流采用采用红色。这个大家伙每平方英寸存储1.7MB的数据，在当
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。 HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过
前面两讲我们介绍了B-/+树的特性对比，数据库系统普遍采用B-/+树作为索引结构。
当前计算机系统会根据访问速度，介质成本，介质可靠性等，搭配多种不同的存储介质，有代表性的可用存储介质包括。
图2-1可以说是标准的生产库环境，处处体现了冗余，有效防止了单点故障。这就是HA（高可用）
Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失 kafka主要使用了以下几个方式实现了超高的吞吐率 顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能 顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写 Kafka官方给出了测试数据(Raid-5，7200rpm)： 顺序 I/O: 600MB/
能够使文件系统工作是一回事，能够使文件系统高效、稳定的工作是另一回事，下面我们就来探讨一下文件系统的管理和优化。
第一类，机械磁盘，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。磁盘有多个盘片，每个盘片双面存储。磁道（Track）磁头（Head）在盘片上画出的不同半径的同心圆。柱面（Cylinder）全部盘片相同磁道组成的圆柱侧面。柱面是从0开始编号，由外向内。柱面越靠外，吞吐量越大。（因为越靠外转动的线速度越大。扇区（Sector）盘片上的扇形区域。每个扇区512字节。是硬盘的基本单位。从1开始编号。每个扇区中的数据作为一个单元同时读出或写入。硬盘的0柱面0磁头1扇区是系统启动时首先读取的扇区。
为了提高为文件分配空闲空间的效率，我们需要通过空闲空间管理来维护好现有的空闲空间，避免每次为文件分配空间时去扫描整个磁盘。
可以看出buff/cache占用的内存份额很大，有时候程序运行结束后，大量内存仍位于buff/cache中，有时运行程序会导致内存不足，因此需要将这部分内存释放出来。
服务器使用事务日志来持久化事务。在接受一个提案之前，服务器（Follower和Leader)需要将提案中的事务持久化到事务日志中。事务日志是服务器本地磁盘的一个文件。事务按顺序附加到这个文件。服务器时不时的会关闭当前文件，创建一个新文件来滚动(Roll Over)日志 (这篇文章是Flavio Junqueria和Benjamin Reed的Zookeeper书的第9章中Local Storage/Logs and Disk use的翻译) 。
为了更好的管理服务，最好显示的去设置页面缓存和堆大小参数，否则Neo4j在启动时将根据可用资源计算默认值。
计算机体系结构分类— Flynn CISC与RISC 层细化存储结构 Cache - 概念 Cache的功能：提高CPU数据输入输出的速率，突破冯.诺依曼瓶颈，即CPU与存 储系统间数据传送带宽限制。
编辑手记：本文主要讲解Linux IO调度层的三种模式：cfp、deadline和noop，并给出各自的优化和适用场景建议。 作者简介： 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
RAID5的空间利用率高、读出速度快、安全性高、不需要专门的校验码磁盘，而且解决了写入速度相对较慢的问题。尽管优点很多但还是会有出现故障的情况，当遇到RAID-5磁盘阵列的两块盘掉线，表现为两块硬盘亮黄灯应该怎么办呢？
操作系统是直接控制和管理计算机硬件、软件资源，合理地对各类作业进行调度，以方便用户使用的程序集合。
国内，随着互联网的高速发展，因为各大通信公司的政策，造成了南电信北联通互通有局限性，再加上大小且质量参差不齐的运营商，在这特殊的氛围的互联互通下号称“八线合一”的机房开始崭露头角。互联网的广泛性使得网民分散在全国各地，由于全国地区的经济发展和互联网建设的不平衡，实际网民的体验往往受限于最后一公里的速度。在技术大喷井的年代，一些无聊或者有目的黑客攻击也开始涌现，无论是渗透还是DDoS攻击都非常频繁，时刻威胁着网站的安全…… 上述种种问题，作为应用服务提供商，我们要如何解决此类问题呢？归根结底就是要充分利用好C
硬盘中一般会有多个盘片组成，每个盘片包含两个面，每个盘面都对应地有一个读/写磁头。受到硬盘整体体积和生产成本的限制，盘片数量都受到限制，一般都在5片以内。盘片的编号自下向上从0开始，如最下边的盘片有0面和1面，再上一个盘片就编号为2面和3面。
大家好，我是 cxuan，我之前汇总了一下关于操作系统的面试题，最近又重新翻阅了一下发现不是很全，现在也到了面试季了，所以我又花了一周的时间修订整理了一下这份面试题，这份面试题可以吊打市面上所有的操作系统面试题了，不是我说，是因为我系统查过，如果有不相信的大佬，欢迎狠狠的打我脸。
想自己组建一个nas,但是看到一直有人说pmr垂直式硬盘与smr叠瓦式硬盘，还有人一直鄙视叠瓦式硬盘，我就好奇了，有什么区别吗？
2.hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。
关于B树的原理和实现方法，我也是研究了好久才看明白的，没明白之前感觉一脸懵逼，看懂后才发现原来也很简单。所以同学们要是发现很难看懂的情况下，不要烦躁着急，可以先冷静冷静的思考一下，然后多看几篇文章，我也是看了好几篇的文章才看懂的，要是大家看完之后还是不大懂的话，可以再文章最后联系我，加油！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
