本文以 32 位系统为例介绍内核空间(kernel space)和用户空间(user space)。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
linux驱动程序一般工作在内核空间，但也可以工作在用户空间。下面我们将详细解析，什么是内核空间，什么是用户空间，以及如何判断他们。 Linux简化了分段机制，使得虚拟地址与线性地址总是一致，因此，Linux的虚拟地址空间也为0～4G。Linux内核将这4G字节的空间分为两部分。将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为“内核空间”。而将较低的3G字节（从虚拟地址 0x00000000到0xBFFFFFFF），供各个进程使用，称为“用户空间）。因为每个进程可以通过系统调用进入内核，因此，Linux内核由系统内的所有进程共享。于是，从具体进程的角度来看，每个进程可以拥有4G字节的虚拟空间。 Linux使用两级保护机制：0级供内核使用，3级供用户程序使用。从图中可以看出（这里无法表示图），每个进程有各自的私有用户空间（0～3G），这个空间对系统中的其他进程是不可见的。最高的1GB字节虚拟内核空间则为所有进程以及内核所共享。 内核空间中存放的是内核代码和数据，而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间，它们都处于虚拟空间中。 虽然内核空间占据了每个虚拟空间中的最高1GB字节，但映射到物理内存却总是从最低地址（0x00000000）开始。对内核空间来说，其地址映射是很简单的线性映射，0xC0000000就是物理地址与线性地址之间的位移量，在Linux代码中就叫做PAGE_OFFSET。 内核空间和用户空间之间如何进行通讯？ 内核空间和用户空间一般通过系统调用进行通信。 如何判断一个驱动是用户模式驱动还是内核模式驱动？ 判断的标准是什么？ 用户空间模式的驱动一般通过系统调用来完成对硬件的访问，如通过系统调用将驱动的io空间映射到用户空间等。因此，主要的判断依据就是系统调用。 内核空间和用户空间上不同太多了，说不完，比如用户态的链表和内核链表不一样；用户态用printf，内核态用printk；用户态每个应用程序空间是虚拟的，相对独立的，内核态中却不是独立的，所以编程要非常小心。等等。 还有用户态和内核态程序通讯的方法很多，不单单是系统调用，实际上系统调用是个不好的选择，因为需要系统调用号，这个需要统一分配。 可以通过ioctl、sysfs、proc等来完成。
IPC全名为inter-Process Communication，含义为进程间通信，是指两个进程之间进行数据交换的过程。在Android和Linux中都有各自的IPC机制，这里分别来介绍下。
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
之前一直对 Binder 理解不够透彻，仅仅知道一些皮毛，所以最近抽空深入理解一下，并在这里做个小结。
大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能
在Linux内核中，无论如何切换进程，内核地址空间转换到物理地址的关系是永远不变的，主要原因是内核地址空间在所有进程中是共享的。这种设计有几个关键点：
进程管理 : 包括 进程创建 , 销毁 , 线程组管理 , 内核线程管理 , 队列等待 ;
① 用户空间 : 在 " 用户空间 " 中 , 使用 malloc 函数 申请 " 堆内存 " , 使用 free 函数 释放 " 堆内存 " ;
在上一篇文章里我们介绍了k8s集群中flannel udp overlay网络的创建，这在里我们基于上一篇文章中的例子，来介绍在flannel udp overlay网络中pod到pod的通讯。
对于精通 CURD 的业务同学，内存管理好像离我们很远，但这个知识点虽然冷门（估计很多人学完根本就没机会用上）但绝对是基础中的基础。
Linux 已经提供了管道、消息队列、共享内存和 Socket 等 IPC 机制。那为什么 Android 还要提供 Binder 来实现 IPC 呢？主要是基于性能、稳定性和安全性几方面的原因。
这种技术是出现在 IO 操作上的， IO 操作会大量消耗 CPU 的性能，为什么说 IO 操作很容易成为性能瓶颈呢，每一个的 IO 操作都会涉及到操作系统的内核空间和用户空间的转换，真正执行的 IO 操作实际上是在操作系统的内核空间进行。无论是 文件IO ，还是 网络IO ，最后都可以统一为用户空间和内核空间数据的交换。计算机中内存和 CPU 都是非常稀有的资源，应该尽可能提高这些资源的使用效率。 IO 操作经常需要与磁盘就行交互，所以 IO 操作相比于 CPU 的速度要慢好几个数量级。利用这两者之间的速度差异，就可以实现不同种类的 IO 方式，也就是俗称的 IO模型。
eBPF 是一个基于寄存器的虚拟机，最初是为过滤网络数据包而设计的，由于最初的论文[1]是在伯克利实验室（Lawrence Berkeley National Laboratory）写的，所以被称为扩展的伯克利数据包过滤器（Extended Berkeley Packet Filter），也就是 eBPF。本文将会用通俗易懂地语言给大家解释 eBPF 为什么这么受欢迎。
零拷贝是一种计算机操作，其中计算机的操作系统减少了在从一个应用程序到另一个或从应用程序到操作系统的数据传输过程中所需的数据复制次数。这种技术尤其在处理大量数据时非常有用，因为它可以显著减少CPU的使用率，减少上下文切换，以及减少数据在系统中的传输时间。
程序如果要被CPU执行，就得编译成CPU可以执行的指令，一大堆的程序就变成了一堆的指令。
主要是驱动设备的初始化(binder_init)，打开 (binder_open)，映射(binder_mmap)，数据操作(binder_ioctl)。
ARM64架构处理器采用48位物理寻址机制，最大可以寻找到256TB的物理地址空间。对于目前的应用来说已经足够了，不需要扩展到64位的物理地址寻址。虚拟地址也同样最大支持48位支持，所以在处理器的架构设计上，把虚拟地址空间划分为两个空间，每个空间最大支持256TB。Linux内核在大多数体系结构中都把两个地址空间划分为用户空间和内核空间。
过去，CPU的地址总线只有32位， 32的地址总线无论是从逻辑上还是从物理上都只能描述4G的地址空间（232=4Gbit），在物理上理论上最多拥有4G内存（除了IO地址空间，实际内存容量小于4G），逻辑空间也只能描述4G的线性地址空间。
BIO(Blocking IO) 又称同步阻塞IO，一个客户端由一个线程来进行处理
操作系统是软件，软件运行在内存中。运行在内存中的操作系统由两部分组成：用户空间，内核空间；
现在操作系统都是采用虚拟存储器，操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟内存划分为两部分，一部分为内核空间，一部分为用户空间。对于32位操作系统，它的寻址空间（虚拟存储空间）为4G（2的32次方），linux操作系统中将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF）供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF）供各个用户进程使用，称为用户空间。
在计算机操作系统中，所谓的I/O就是 输入（Input）和输出（Output），也可以理解为读（Read）和写（Write)，针对不同的对象，I/O模式可以划分为磁盘IO模型和网络IO模型。
当然磁盘到内核空间属于DMA拷贝（DMA即直接内存存取，原理是外部设备不通过CPU而直接与系统内存交换数据）。而内核空间到用户空间则需要CPU的参与进行拷贝，既然需要CPU参与，也就涉及到了内核态和用户态的相互切换，如下图：
有这样一个场景，有两台服务器A，B。你在A服务器上写了一个程序，这个程序功能是将服务器A的数据拷贝到服务器B上。这个功能会经历下面几步。
之前写了两篇详细分析 Linux 内存管理的文章，读者好评如潮。但由于是分开两篇来写，而这两篇内容其实是有很强关联的，有读者反馈没有看到另一篇读起来不够不连贯，为方便阅读这次特意把两篇整合在一起，看这一篇就够了！
上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括： 以虚拟地址（VA）的形式，为应用程序提供远大于物理内存的虚拟地址空间（Virtual Address Space） 每个进程都有独立的虚拟地址空间，不会相互影响，进而可提供非常好的内存保护（memory protection） 提供内存映射（Memory Mapping）机制，以便把物理内存、I/O空间、Kernel Image、文件等对象映射到相应进
上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括：
Android作为移动端操作系统，传统的Linux进程间通信机制不满足于Android，所以开发了一套新的IPC机制，就是Binder机制。
前面介绍了NIO中的buffer和Channel，而我们将NIO主要的使用场景还是在网络环境中，在具体介绍之前我们需要了解下IO的模型
总体而言，Linux操作系统是一个强大、灵活且可定制的操作系统，广泛应用于服务器、嵌入式系统、超级计算机等各种领域。
arch：包含和硬件体系结构相关的代码，每种平台占一个相应的目录，如i386、arm、arm64、powerpc、mips等。Linux内核目前已经支持30种左右的体系结构。在arch目录下，存放的是各个平台以及各个平台的芯片对Linux内核进程调度、内存管理、中断等的支持，以及每个具体的SoC和电路板的板级支持代码。
零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。因此本文将跟大家一起来学习零拷贝原理。
进程隔离概念 : 系统中的进程存在 " 进程隔离 " , 出于对进程运行的保护 , 两个进程的内存是隔离的 , 并且不允许进行直接通信 ;
内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。部分层次结构如图1-1所示。
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
作者简介：许庆伟，Linux Kernel Security Researcher & Performance Develope 如今，云原生平台越来越多的使用了基于eBPF的安全探测技术。这项技术通过创建安全的Hook钩子探针来监测内部函数和获取重要数据，从而支持对应用程序的运行时做监测和分析。Tracee是用于Linux的运行时安全和取证的开源项目，它基于eBPF实现，所以在安全监测方面效果更加优化。 在本文中，我们将探索控制eBPF事件的方法，并研究一个使用BPF事件捕获rootkit的案例。Root
glibc 提供的 ptmalloc 函数 , FreeBSD 提供的 jemalloc 函数 , Google 提供的 tcmalloc 函数 ,
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
在云计算时代，虚拟机和容器已经成为标配。它们背后的网络管理都离不开一样东西，就是虚拟网络设备，或者叫虚拟网卡，tap/tun 就是在云计算时代非常重要的虚拟网络网卡。
Linux 内核修复办法:内核页表隔离KPTl(kernel page table isolation)
开发过单片机的小伙伴可以看一下我之前的一篇文章从单片机开发到linux内核驱动，以浅显易懂的方式带你敲开Linux驱动开发的大门。
零拷贝作用 : 在网络编程中 , 如果要进行性能优化 , 肯定要涉及到零拷贝 , 使用零拷贝能极大的提升数据传输性能 ;
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
