上一次我们说了传统的IO操作是如何是实现的,最后引出了零拷贝技术,这次我们看看有那些零开拷贝技术.(如果不使用零拷贝技术，普通的IO操作在OS层面是如何执行的)
在前一章节中，我们了解了DMA技术在文件传输中的重要性，并简要介绍了零拷贝技术。为了提高文件传输的性能，我们需要减少用户态与内核态之间的上下文切换次数以及内存拷贝次数。本章将深入探讨零拷贝技术的优化方法，让我们一起走进零拷贝的优化之路！
Kafka之所以那么快，其中一个很大的原因就是零拷贝（Zero-copy）技术，零拷贝不是kafka的专利，而是操作系统的升级，又比如Netty，也用到了零拷贝。下面我就画图讲解零拷贝，如果对你有帮助请点个赞支持。
我们以用户通过网络读取一个本地磁盘上文件为例，在说零拷贝之前，我们先要说说一个普通的IO操作是怎样做的
传统的WEB服务器在收到请求后，从磁盘读取数据，然后将数据写到网卡，通过网卡发送给客户端，这一读一写的过程中就涉及数据的拷贝：
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
本文讲解 Linux 的零拷贝技术，云计算是一门很庞大的技术学科，融合了很多技术，Linux 算是比较基础的技术，所以，学好 Linux 对于云计算的学习会有比较大的帮助。
mmap是linux中提高文件读写效率的一种手段，这里简单整理一下mmap的原理和使用。
传统IO的工作方式是，数据读取和写入是从用户空间和内核空间来回复制，内核空间的数据时通过操作系统层面的IO接口从磁盘读取或写入。
主要是驱动设备的初始化(binder_init)，打开 (binder_open)，映射(binder_mmap)，数据操作(binder_ioctl)。
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
维基百科中有介绍，在传统的方式里面，读取并通过网络发送一个文件在每次读或者写时都需要两次数据拷贝和两次上下文切换。其中的一次数据拷贝是通过CPU来完成的。通过zero-copy来传送文件可以将上下文切换减少到两次并且 可以消除所有的cpu数据拷贝。原文如下:
在介绍零拷贝的IO模式之前，我们先简单了解下传统的IO模式是怎么样的？
现在只要涉及到存储，涉及到和文件相关的开源框架，几乎都不约而同的会使用零拷贝技术，因为零拷贝技术可以让速度变快。零拷贝技术并不是说完全不拷贝，而是尽可能的减少拷贝。
众所周知，在fork时，属于进程private的内存页将会进行COW机制。所谓COW，就是一个资源如果需要值拷贝，在读时不创建出副本，仅当写时再创建。这样的话，就可以方便地判断出什么资源需要真的进行拷贝，而能够共享则无需拷贝，从而减少了复制的开销。
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。
个人名言：“同一条河里淹死两次的人，是傻子，淹死三次及三次以上的人是超人”。经历过上次悲催的面试，决定沉下心来，好好的补充一下基础知识点。本文是这一系列第一篇：进程间通讯之mmap。
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。因此本文将跟大家一起来学习零拷贝原理。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享
执行该程序，输出mmap方法返回的内存地址，同时使用pmap命令输出该程序执行mmap之前以及之后的内存使用情况。
1.DMA(Direct Memory Access，直接内存拷贝，即经过CPU的拷贝)等待数据准备好，把磁盘数据读取到操作系统内核缓冲区； 2.用户进程，将内核缓冲区的数据copy到用户空间。 3.读取文件，再用socket发送出去，再将用户空间的数据copy到socket网络发送缓冲区(属于操作系统内核的缓冲区)； 4.将socket buffer的数据，copy到网卡，由网卡进行网络传输。
mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数，但是并没有深入理解mmap在操作系统内部是如何实现的，原理是什么。
公众号《鲁大猿》 ，寻精品资料，帮你构建Java全栈知识体系 http://www.jiagoujishu.cn
用户态进程通过write()系统调用切到内核态将用户进程缓冲区中的HTTP报文数据通过Tcp Process处理程序为HTTP报文添加TcpHeader，并进行CPU copy写入套接字发送缓冲区，每个套接字会分别对应一个Send-Q(发送缓冲区队列)、Recv-Q(接收缓冲区队列)，可以通过ss -nt语句获取当前的套接字缓冲区的状态；
基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝。
mmap（memory map）即内存映射，用于将一个文件或设备映射到进程的地址空间，或者创建匿名的内存映射。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
最近有粉丝收到来美团的面试邀请，面试前也没怎么准备，一面直接挂了。面试官问他什么是零拷贝，他没答出来。希望我能给他推荐一些资料看看，本文就是给他推荐的面试资料之一，主要来讲清楚，零拷贝到底是怎么一回事！
本章还是关于NIO的概念铺底，有关NIO相关的代码，我还是希望大家闲余时间取网上找一下有关使用JDK NIO开发服务端、客户端的代码，我会取写这些，但是具体的代码我不会很详细的取介绍，下一章的话可能就要上代码了，具体的规划如下：
本文探讨Linux中 主要的几种零拷贝技术 以及零拷贝技术 适用的场景 。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
这段代码就是读取一个文件，然后再把它写出去，看起来就几行代码，其实涉及到多次拷贝，其流程如下：
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
常规文件操作为了提高读写效率和保护磁盘，使用了页缓存机制。这样造成读文件时需要先将文件页从磁盘拷贝到页缓存中，由于页缓存处在内核空间，不能被用户进程直接寻址，所以还需要将页缓存中数据页再次拷贝到内存对应的用户空间中。这样，通过了两次数据拷贝过程，才能完成进程对文件内容的获取任务。写操作也是一样，待写入的buffer在内核空间不能直接访问，必须要先拷贝至内核空间对应的主存，再写回磁盘中（延迟写回），也是需要两次数据拷贝。
之前一直对 Binder 理解不够透彻，仅仅知道一些皮毛，所以最近抽空深入理解一下，并在这里做个小结。
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。
零拷贝（Zero-copy）技术是一种计算机操作系统中用于提高数据传输效率的优化策略。在传统的数据传输过程中，需要将数据从一个缓冲区拷贝到另一个缓冲区，然后再传输给目标。这涉及到多次的 CPU 和内存之间的数据拷贝操作，会消耗 CPU 的时间和内存带宽。而零拷贝技术通过直接共享数据的内存地址，避免了中间的拷贝过程，从而提高了数据传输的效率。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现了文件磁盘地址和进程虚拟地址的映射关系。实现映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read，write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
Linux进程间通信的方式： 管道（Pipe）、信号（Signal）、消息队列（Message）、共享内存（Share Memory）、套接字（Socket、中断 Binder： Binder 通信机制是在OpenBinder的基础上实现的，采用CS通信方式。 OpenBinder是一种进程间通信机制，它最初是由Be公司开发的，后来由Palm公司接手开发和维护，最后Google公司对其进行改造，并应用在Android系统中。
零拷贝技术（Zero-Copy）是一个大家耳熟能详的技术名词了，它主要用于提升 IO（Input & Output）的传输性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
