由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。
索引可以说是每个工程师的必备技能点，明白索引的原理对于写出高质量的 SQL 至关重要，今天我们就从 0 到 1 来理解下索引的原理，相信大家看完不光对索引还会对 MySQL 中 InnoDB 存储引擎的最小存储单位「页」会有更深刻的认识
文章的起源是一位网友的评论，问的问题比较犀利且分散。借着这个机会研究下这些问题，分别作答一下。
磁盘IO问题可能是运维过程中比较常见的一个场景，技术社群的这篇文章《第02问：怎么模仿磁盘 IO 慢的情况？》给我们讲解了通过一些技术手段模拟磁盘IO慢的操作，借鉴学习一下。
使用Statspack类似的工具对数据库响应时间分析之后，已经表明与IO相关的等待事件限制了系统性能，有许多的方法可以判断这种问题。
线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
由于CPU和内存的速度远远高于外设的速度，所以，在IO编程中，就存在速度严重不匹配的问题。举个例子来说，比如要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘要接收这100M数据可能需要10秒，怎么办呢？有两种办法：
索引的本质：通过不断地缩⼩想要获取数据的范围来筛选出最终想要的结果，同时把随机的事件变成顺序的事件，也就是说，有了这种索引机制，我们可以总是⽤同⼀种查找⽅式来锁定数据。磁盘中数据的存取
前文我们介绍了如何使用 Node Exporter 监控 Linux 主机的 CPU 使用率，接下来我们来介绍如何监控 Linux 的磁盘空间、磁盘 IO、网络 IO 等方面。
云计算不仅仅代表着近乎无限的资源，我们也需要了解其中可能存在的种种性能问题。 以Amazon AWS与微软Azure为代表的公有云服务属于基于控制台的编排方案，它们能够帮助用户运转并管理必需的基础设施。此外，它们还提供大量功能与插件，从而构建起各类极具吸引力的最终解决方案。 在多数情况下，由于拥有强大的可扩展能力，这些云方案似乎能够提供无穷无尽的计算资源，我们几乎永远不可能触及其性能瓶颈。 然而作为用户时常面对的性能问题之一，磁盘或者说存储性能始终困扰着我们每位云服务支持者。 经过一系列测试，AWS以及Az
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
mysql的"双1验证"指的是innodb_flush_log_at_trx_commit和sync_binlog两个参数设置，这两个是是控制MySQL 磁盘写入策略以及数据安全性的关键参数。下面从参数含义，性能，安全角度阐述两个参数为不同的值时对db 性能,数据的影响。
在 CPU 看来内存好慢啊，看我跑的多快；在内存看来磁盘你好慢啊，看我比你还快点；磁盘…
“磁盘”这个词，对于程序员来说并不陌生，我们知道它是一种存储介质，主要用来存储数据的，可以说常用的中间件基本上都离不开它，比如我们常用的MySQL数据库、kafka消息引擎，甚至redis缓存都离不开磁盘。
vmstat 命令用于虚拟内存统计。vmstat 报告有关进程，内存，分页，块IO，陷阱，磁盘和CPU活动的信息。
将块设备 /dev/loop3 映射成带延迟的设备（对于读操作和写操作都延迟 100ms）
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
监控系统状态 vmstat 命令，监控系统状态 用法 vmstat 1 关键的几列：r ，b，swpd，si，so，bi，us，wa vmstat命令 用 w 命令查看系统的负载，当系统的负载值偏高时， 比如：数值大于CPU核数，那说明CPU不够用了，就需要去思考是什么原因导致的？我的进程在干什么？有哪些任务在使用CPU呢？ vmstat 命令，可以查看到CPU、内存、虚拟磁盘交换分区、I/O（就是你的磁盘）、系统进程等 格式 ： vmstat 1 表示每一秒动态显示一次 数字1表示：每
vmstat（Virtual Memory Statistics）命令用于报告虚拟内存状态的统计信息。
当前分布式数据库架构有不少，但是总体架构相差不大，主要组件都包含协调节点、数据分片、元数据节点、全局时钟。一种常见的分布式架构如下图：
块是文件系统的抽象，而非磁盘的属性，一般是 Sector Size 的倍数；扇区大小则是磁盘的物理属性，它是磁盘设备寻址的最小单元。另外，内核中要求 Block_Size = Sector_Size * (2的n次方)，且 Block_Size <= 内存的 Page_Size (页大小)。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
大家都知道硬盘的随机IO很慢，但是比顺序IO慢多少呢，不知道你是否有过数字上的直接对比。今天我来实际压测对比一下磁盘在顺序IO和随机IO不同场景下的性能数据表现。通过今天的实验数据，你将能深刻理解数据库事务中为什么要用日志的方式来实现，为什么索引中要用节点更大的B+树。
随着公司站点的发展，用户和访问量日益增加，经常会出现数据库主从出现延迟的情况，例如，用户在点击充值页进行充值时，经常会出现充值不到账的情况，针对这个问题，对数据库进行排查，发现，磁盘IO极不稳定，iowait也很高，%util一直在90左右，这说明产生的I/O请求很多，IO已经满负荷，磁盘IO存在瓶颈。所以需要加一块SSD盘，来提高IO处理速度。
etcd 是一个分布式一致性键值存储。其主要功能有服务注册与发现、消息发布与订阅、负载均衡、分布式通知与协调、分布式锁、分布式队列、集群监控与leader 选举等。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
Linux中，%iowait 过高可能是个问题，严重的时候，它能使服务停止， 但问题是，多高才算高？ 什么时候应该担心呢？
Master Thread是非常核心的后台线程，主要负责脏页的刷新,合并插入缓冲,UNDO页回收等。
IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。
基本上来说，大部分项目都需要跟数据库做交互，那么，数据库连接池的大小设置成多大合适呢？
iostat命令是Linux系统上查看I/O性能最基本的工具，其全称为 I/O statistics。iostat能统计磁盘活动情况，也能统计CPU使用情况。 iostat属于sysstat软件包，可以通过命令进行安装：
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
创作不易，如果您觉得这篇文章对你有帮助，不妨给我点个赞，这将是我继续分享优质内容的动力。
架构鹅结合TencentOS团队在混部方面的落地实战经验，重点推送了TencentOS Server大规模容器集群混部服务器QoS产品“如意”相关内容。
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
通过采用ICMP协议的ping命令对计算机进行ping测试，通过表示主机为开启并联网，不通则代表主机宕机或断网
平平淡淡的接受这本就属于我的人生，每天不会想太多杞人忧天的事情，累了倒头就睡，醒了就接着继续自己没有走完的路，不再去过多的关注自己的结果，用心感受当下的每一天，感受自己走过的和正在走的路，不颓废，不折磨自己，真好！ ---知乎(三冬三夏)
现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。
网上找了很多关于Innodb B+树索引原理的文章，但都不尽如意。基本都是列出了最后的结果，没有说清楚B+树的推理过程，让人看的云里雾里。本文会由浅入深的讲解B+树的推理过程，毕竟，知其然才能知其所以然。
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
概述 什么是性能？ 性能最通俗的衡量指标就是“时间”，CPU的使用率指的是CPU用于计算的时间占比，磁盘使用率指的是磁盘操作的时间占比，当CPU使用率100%时，意味着有部分请求来不及计算，响应时间
导言：运维工作中除了要维持平台的稳定运行以外，还得对服务器的性能进行优化，让服务器发挥出良好的工作性能是稳定运行的基础。腾讯互娱DBA团队的汪伟（simon）在这一领域里整理出了一套性能优化的资料为大家在性能优化提供充足的方向。
iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。
当使⽤reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作的时候，会发⽣shuffle操作。Spark在DAG调度阶段将job划分成多个stage，上游stage做map操作，下游stage做reduce操作，其本质还是MR计算架 构。Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到reduce的输⼊，这期间涉及到序列化和反序列化、跨节点⽹络IO和磁盘读写IO等，所以说shuffle是整个应⽤过程特别昂贵的阶段。
登录该服务器后通过iostat -x 1 10查看了相关磁盘使用信息。相关截图如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
