Linux中，%iowait 过高可能是个问题，严重的时候，它能使服务停止， 但问题是，多高才算高？ 什么时候应该担心呢？
这是 Linux 性能分析系列的第三篇，前两篇分别讲了 CPU 和 内存，本篇来看 IO。
在我之前的文章：《探讨 Linux 的磁盘 I/O》中，我谈到了 Linux 磁盘 I/O 的工作原理，我们了解到 Linux 存储系统 I/O 栈由文件系统层（file system layer）、通用块层（ general block layer）和设备层（device layer）构成。
以较低的硬件成本扩展我们的数据基础设施，同时保持高性能和服务可靠性并非易事。为了适应 Uber 数据存储和分析计算的指数级增长，数据基础设施团队通过结合硬件重新设计软件层，以扩展 Apache Hadoop® HDFS ：
磁盘性能对数据库的读写能力影响很大，如何从多个角度监控数据库的写性能就变得至关重要，当写性能成为瓶颈时我们又该如何调优呢？
双十一即将来临，做电商的大佬们都准备好了各种应急预案了么。。。例如服务降级，流量控制，扩容方案。。。又快到了一年一度的剁手大会了，不过这个时候，应该是运维最繁忙的时候了吧。。。使用率百分百？用流量打爆。。。Emmm，这很酷
快速检查单（Quick Reference Handbook，QRH）是飞行员在飞行过程中依赖的重要指导性文件。
以更低的硬件成本扩展我们的数据基础设施，同时保持高性能和服务可靠性并非易事。为了适应Uber数据存储和分析计算的指数级增长，数据基础设施团队通过重新架构软件层和硬件重新设计，对Apache Hadoop数据文件系统(HDFS)的扩展方法进行了大规模改革
在Linux系统中，经常会因为负载过高导致各种性能问题。那么如何进行排查，其实是有迹可循，而且模式固定。
Ubuntu是一个以桌面应用为主的Linux操作系统。作为Linux发行版中的后起之秀，Ubuntu Linux在短短几年时间里就成长为从Linux初学者到资深专家都十分青睐的发行版。Ubuntu Linux是开放源代码的自由软件，用户可以登录Ubuntu Linux的官方网址免费下载该软件的安装包。Ubuntu提供了一个健壮、功能丰富的计算环境，既适合家庭使用又适用于商业环境。
从上面可以看到，服务器有 2 个 CPU（分别为0、1），每个 CPU 核的资源使用情况，也能很清晰的展示。
之所以写这篇文章也是因为前几天出的一个问题，当时业务感觉到卡顿，并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加，部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见，系统的硬件环境对数据库整体性能的影响也是非常大的，MySQL在运行环境中并不是孤立存在的，它的整体性能往往受限于系统最薄弱的环节，今天想和大家分享下，都有哪些系统指标会对数据库的整体性能产生影响，我们又如何进行分析。
在数据库层获得底层系统的信息是一个对DBA，友好的功能，在数据库内部通过命令获得底层系统的性能信息，对于数据库监控也是一个好的获取数据库的方式，可以直接将这些信息插入到数据库表内等等。
CPU使用率：CPU的使用率 平均负载：单位时间内的活跃线程数 用户时间：CPU在用户进程上的实际百分比 系统时间：CPU在内核上花费的实际百分比 空闲时间：系统处于在等待IO操作上的时间总和 等待：CPU花费在等待IO操作上的时间总和 Nice时间：CPU优先执行的时间百分比
负载均衡：在动态负载均衡器上设置动态分发负载的机制后，如果发现某个应用服务器上的硬件资源已经达到极限，动态负载均衡器会将后续请求发送到其他负载较轻的应用服务器上。此时若发现动态负载均衡器没有起到作用，则可以认为是网络瓶颈；
今天要讲的是POSTGRESQL I/O系统的及周边一些系统的学习sharing .
一谈到Linux系统分析，大多数开发觉得不了解也没有关系，但是了解了可以帮你走的更远。从开发的角度了解CPU，MEMORY，IO，NETWORK。在日常工作中我们也会遇到一些Linux系统性能的问题，
如果Linux服务器突然访问卡顿变慢，负载暴增，如何在最短时间内找出Linux性能问题所在？
缓冲I/O是指通过标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。带缓存I/O也叫标准I/O，它符合ANSI C的标准I/O处理，是不依赖系统内核的，所以移植性是比较强的，在使用标准I/O操作的时候为了减少对read()、write()系统调用次数，带缓存I/O就是在用户层再建立一个缓存区，这个缓存区的分配和优化长度等细节都是标准I/O库处理好的，用户不用去关心。
在做性能测试需要收集操作系统一些指标方便分析，如果是多台linux系统我们怎么用一个命令启动nmon收集指标，不妨这样试一试,其实有很多方法比如用python、java等等工具，这边文章有最原始ant命令执行命令与下载文件清除文件。
有时候，有些应用莫名其妙启动不了了，或者说没反应，或者web界面进不去了，这时候就得看一下机器资源是否够用，这里就来介绍下常用的检查命令吧。
作者简介：许庆伟，Linux Kernel Security Researcher & Performance Developer 众所周知，Linux内核和CPU处理器负责将虚拟内存映射到物理内存。为了提高效率，在一个称为页的内存组中创建一个内存映射，其中每个页的大小根据处理器的实际情况而来。尽管大多数处理器也支持更大的页，但默认通常是4 KB,。内核可以从页空闲列表中为物理内存页的申请提供分配，并且为了提高效率，为每个DRAM组和CPU均设计了维护这些请求的方案。内核程序可以通过分配器(比如slab分配
当你发现 Linux 服务器上的系统性能问题，在最开始的 1 分钟时间里，你会查看哪些系统指标呢? Netflix 在 AWS 上有着大规模的 EC2 集群，以及各种各样的性能分析和监控工具。 比如我
性能分析的目标是改善用户体验、降低运行成本。性能分析的方法论可以指导你进行这些选择，告诉你从哪里开始，一步步分析，最后在哪里结束。 本文选自《BPF之巅：洞悉Linux系统和应用性能》一书，将向你介绍一个 Linux 下的 60 秒分析的检查清单，你在做日常性能分析工作时可以首先使用它~它能直接帮助你快速定位性能问题，或者至少提供进一步使用哪些 BPF 工具进行分析的线索。 60秒清单 这个清单适用于任何性能问题的分析工作，也反映了笔者在实际工作中，当登录到一台表现不佳的 Linux 系统中后，在最初 60
在我的文章《使用开源工具识别 Linux 性能瓶颈》中，我解释了一些使用开源的图形用户界面（GUI）工具监测 Linux 性能的简单方法。我的重点是识别 性能瓶颈，即硬件资源达到极限并阻碍你的 PC 性能的情况。
iostat命令被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。
最近碰到一个Oracle DG备库延迟的问题，经过排查，定位是磁盘性能问题，用的是普通磁盘，而不是SSD，且性能较差，存在读写等待。
只要业务逻辑代码写正确，处理好业务状态在多线程的并发问题，很少会有调优方面的需求。最多就是在性能监控平台发现某些接口的调用耗时偏高，然后再发现某一SQL或第三方接口执行超时之类的。如果你是负责中间件或IM通讯相关项目开发，或许就需要偏向CPU、磁盘、网络及内存方面的问题排查及调优技能
计算机的文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易，文件系统使用文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据实际保存在硬盘（或者光盘）的地址为多少的数据块上，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。
Nmon (Nigel’s Monitor)是由IBM 提供、免费监控 AIX 系统与 Linux 系统资源的工具。该工具可将服务器系统资源耗用情况收集起来并输出一个特定的文件,并可利用 excel 分析工具（nmon analyser）进行数据的统计分析。
当你发现 Linux 服务器上的系统性能问题，在最开始的 1 分钟时间里，你会查看哪些系统指标呢? Netflix 在 AWS 上有着大规模的 EC2 集群，以及各种各样的性能分析和监控工具。比如我们
本文介绍了多线程和并发的基本概念，以及常见的多线程服务器方案，如基于循环的迭代服务器、基于协程的并发服务器、基于事件驱动的非阻塞服务器和异步I/O服务器。作者还列举了一些常见的服务器应用场景，并给出了muduo库和Boost.Asio库的示例代码。
Written by 王磊(bluestn). Summary SRS支持将直播录制为VoD文件，在压测时，如果流路数很多，会出现CPU消耗很多的问题。 原因是写入较小视频包时，SRS使用了write，由于没有缓冲能力，导致频繁的系统调用和磁盘繁忙。 优化方案，可以选择fwrite(v5.0.133+)，或者老版本用内存盘方案，可将DVR性能提升一倍以上。 Environments SRS服务器配置如下： • CPU：INTEL Xeon 4110 双路16和32线程 • 内存：32G • 网卡：10Gb
性能压测场景 1、本次需要对查询接口进行100、200、500并发逐渐递增方式进行性能压测 2、在压测过程中，100、200并发响应时间、吞吐量、报错率为0，满足性能需求 3、当并发用户为500时，报错率达到22%，此时经过监控服务器，发现服务器cpu、内存、硬盘、网络、应用服务gc情况未出现异常，满足指标 4、经过排查，本次应用服务使用的是Dubbo服务，通过修改jmeter断言，返回响应结果提示threadpool is exhausted ,detail msg:Thread poo
前30年是raid占主流；这几年随着互联网的发展，应用层和raid应用场景基本持平
在前期文章中讲解了服务端压力测试的方法及分布式平台搭建，但是对于压力测试结果的分析没有一个系统的思路，在压力测试结果不符合性能指标时无从下手，也无法向开发提出有效的优化性能的方法。在对多个项目分析后，总结出一个通用的分析思路，可以快速定位性能瓶颈。
https://www.cnblogs.com/poloyy/category/1806772.html
可以看到满屏的cannot remove报错，由于是个刚装完的系统，都是系统本身的文件，没有引入外界的文件，很快命令执行完毕。
注：系统 CentOS release 6.9 (Final) 以下总结的目录仅供参考，不保证完全正确，如有问题，可以告诉我，共同学习，谢谢！ / 系统根目录，存放系统相关的程序 /bin 命令二进制文件的存放目录binary /boot Linux的内核及系统引导程序所需的文件目录 /home 普通用户的家目录，存放用户的数据 /root root用户的家目录 /
傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。--------王小波
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
源自 Linux Performance and Tuning Guidelines.pdf
这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。这些数据可以让我们对系统资源使用有一个宏观的了解。
最近用华为鲲鹏跑了一段时间服务后，出现了系统负载40多居高不下的情况，一排查发现是kworker进程占用CPU很高，而且还杀不掉。
注：本文主要参考InfoQ文章用十条命令在一分钟内检查Linux服务器性能，在此基础上对涉及的Linux命令进行整理而成。
vmstat命令可以显示关于系统各种资源之间相关性能的简要信息，这里主要用它来看CPU的一个负载情况。
“技术的创新始终是要服务于商业模式的创新，最有价值的技术创新是工程化的应用技术，如何真正做出通用化的技术，将其规模化非常关键。”
本篇文章是为不知道技术的HR老师们如何问问题的时候方便搜索，不会面试直接看这篇文章就够了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
