Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
扯淡 首先说明这篇博客是文不对题的。起这个名字想法来源自韩寒的《我所理解的生活》，之前看过一个关于这本书的视频，感觉巨牛X，于是就想写一篇《我所理解的性能测试》。虽然是文不对题的，但我就是想用这个名字，在这个残忍的社会，给自己博客文章起个名字这点权利还是有的。 下面我要贴出来的是zee大神的《性能测试面试问题列表》中列出来的性能测试与操作系统方面问题与我自己整理的回答。回答的不一定对，也懒得去改了。就用这些问题与回答来记录我这段时间的努力，来记录我所理解的性能测试吧。 性能测试 1.如何理解TPS 性能指
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
原文 | https://segmentfault.com/a/1190000009713245
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
• 相同内核 • 相同标准 • Linux Standard Base标准 • File system Hierarchy Standard目录架构标准 • 不同管理工具 • 不同套件管理模式
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。
这是一篇关于如何通过一些常用的命令，显示 CentOS 或 RedHat 中的 Linux 目录大小，以及哪些文件夹占用的空间最大的教程。
linux系统的启动过程 在介绍破解Linux系统root密码之前先了解一下linux系统的启动过程： 1 开机自检（POST），初始化部分硬件 2 搜素可用于引导的启动设备（如磁盘的MBR） 3 读取并将控制权交给系统启动加载器（grub2） 4 启动加载器加载器配置，显示可用配置菜单 5 启动加载器加载内核及initramfs，置入内存 6 启动加载器将控制权交给内核 7 由内核查找initramfs中的硬件驱动，作为PID=1从initramfs执行/sbin/init （在RHEL
只要业务逻辑代码写正确，处理好业务状态在多线程的并发问题，很少会有调优方面的需求。最多就是在性能监控平台发现某些接口的调用耗时偏高，然后再发现某一SQL或第三方接口执行超时之类的。如果你是负责中间件或IM通讯相关项目开发，或许就需要偏向CPU、磁盘、网络及内存方面的问题排查及调优技能
一、通常服务器的性能会卡在三个地方： cpu 网络IO 磁盘IO 二、在优化性能的时候，首先要判断性能的瓶颈在上述的哪个地方。然后对症下药，按照下面的方法来优化： 1、提高CPU性能的方法 并发。利用多线程、进程。老的线程库效率太低，需要升级用nptl 。进（线）程数不要大于cpu个数 （请参考：http://www.ibm.com/developerworks/cn/linux/l-threading.html） 谨慎用锁。改善架构，尽量不用锁。 慎用字符串操作，比如sprintf,snprintf，因为
Linux系统是一种开源操作系统，常用于服务器和工作站。它使用命令行界面，因此对于新用户来说可能有些陌生。下面是一些常用的Linux命令和它们的用法。
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
由于在命令行界面无法显示具体文件夹图标，因此所有的目录都是采用文本模式显示，学习Linux 最难的地方在于熟悉 Linux 系统的目录结构，目录结构是整个 Linux 操作的核心，几乎每一次操作都涉及到目录结构，因此，必须熟悉 Linux 的目录结构。否则经常会遇到“command not found”或者“no such file or directory”的问题。
在Linux系统中，磁盘是一种用于存储数据的物理设备，可以是传统的硬盘驱动器（HDD）或固态硬盘（SSD）。Linux将磁盘设备视为块设备，它们通常以文件形式表示在 /dev 目录下。
Linux 内核最初的源码不足一万行 , 当前的 Linux 内核源码已经有两千万行 ;
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。
Linux系统启动过程：内核的引导 、运行init、系统初始化、建立终端、用户登录系统
CPU使用率：CPU的使用率 平均负载：单位时间内的活跃线程数 用户时间：CPU在用户进程上的实际百分比 系统时间：CPU在内核上花费的实际百分比 空闲时间：系统处于在等待IO操作上的时间总和 等待：CPU花费在等待IO操作上的时间总和 Nice时间：CPU优先执行的时间百分比
（2）零拷贝完全依赖操作系统，操作系统提供了就是提供了，没有提供就没有提供，java本身做不了任何事情
在计算机操作系统中，所谓的I/O就是 输入（Input）和输出（Output），也可以理解为读（Read）和写（Write)，针对不同的对象，I/O模式可以划分为磁盘IO模型和网络IO模型。
计算机打开电源后，首先是BIOS开机自检，按照BIOS中设置的启动设备（通常是硬盘）来启动。操作系统接管硬件后，首先读入/boot目录下的文件。
零拷贝技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现CPU的零参与，彻底消除CPU的负载。
存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
今天挂载磁盘的时候遇到一个问题，挂载完磁盘之后重启服务器挂载的盘丢失了... 丢失了... 丢失了... ，安装的软件重新安装吧，没办法，重新挂载安装，以下是我的挂载步骤，仅供学习:
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
目录 Core Linux折腾（一）[一] Core Linux折腾（一）[二] Core Linux折腾（二） Core Linux折腾（三） Core Linux 操作文档（一） Ti
DMA 的全称叫直接存储器访问（Direct Memory Access），是一种允许外围设备（硬件子系统）直接访问系统主内存的机制。
作者：kevineluo，腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备。 但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个
内存： 大脑中的记忆区块，将皮肤、眼睛等所收集到的信息记录起来的地方，以供CPU进行判断。
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
下面以最常用的 read() 和 write() 函数来介绍 Linux 的 I/O 处理流程。
大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能
磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存 10 倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接 I/O、异步 I/O 等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区，可以有效的减少磁盘的访问次数。
这本书是个人看过的讲操作系统底层里面讲的最通俗易懂的了，但是200多页的内容确实讲不了多深的内容，所以不要对这本书抱有过高期待，当一个入门书了解即可。
性能问题的本质就是系统资源已经到达瓶颈，但请求的处理还不够快，无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈，设法去避免或缓解它们。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
