上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括： 以虚拟地址（VA）的形式，为应用程序提供远大于物理内存的虚拟地址空间（Virtual Address Space） 每个进程都有独立的虚拟地址空间，不会相互影响，进而可提供非常好的内存保护（memory protection） 提供内存映射（Memory Mapping）机制，以便把物理内存、I/O空间、Kernel Image、文件等对象映射到相应进
上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括：
IPC全名为inter-Process Communication，含义为进程间通信，是指两个进程之间进行数据交换的过程。在Android和Linux中都有各自的IPC机制，这里分别来介绍下。
过去，CPU的地址总线只有32位， 32的地址总线无论是从逻辑上还是从物理上都只能描述4G的地址空间（232=4Gbit），在物理上理论上最多拥有4G内存（除了IO地址空间，实际内存容量小于4G），逻辑空间也只能描述4G的线性地址空间。
x86 CPU采用了段页式地址映射模型。进程代码中的地址为逻辑地址，经过段页式地址映射后，才真正访问物理内存。
本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.2节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.2 Linux内存架构 为了执行一个进程，Linux内核为请求的进程分配一部分内存区域。该进程使用该内存区域作为其工作区并执行请求的工作。它与你的
mmap/munmap接口是用户空间的最常用的一个系统调用接口，无论是在用户程序中分配内存、读写大文件，链接动态库文件，还是多进程间共享内存，都可以看到mmap/munmap的身影。
本文旨在深入探讨Linux操作系统的虚拟内存管理机制。我们将从基本概念开始，逐步深入到内核级别的实现细节。为了达到这个目标，本文将结合理论讨论和实际的代码分析。我们希望通过这种方式，使读者对Linux虚拟内存管理有更深入的理解。
对于精通 CURD 的业务同学，内存管理好像离我们很远，但这个知识点虽然冷门（估计很多人学完根本就没机会用上）但绝对是基础中的基础。
内核文档Documentation/arm64/memory.rst描述了ARM64 Linux内核空间的内存映射情况，应该是此方面最权威文档。
分配 虚拟内存页 : 应用进程 调用 mmap 函数后 , 在 Linux 系统中 创建 " 内存映射 “ 时 , 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ;
Linux 内存管理模型非常直接明了，因为 Linux 的这种机制使其具有可移植性并且能够在内存管理单元相差不大的机器下实现 Linux，下面我们就来认识一下 Linux 内存管理是如何实现的。
free命令用于显示系统内存使用情况，包括物理内存（Physical Memory）、虚拟内存（Swap Memory）、共享内存（Shared Memory）以及内核使用的缓冲（Buffers）与缓存（Cached）大小。在Linux系统监控的工具中，free命令是最经常使用的命令之一。
我们知道程序代码和数据必须驻留在内存中才能得以运行，然而系统内存数量很有限，往往不能容纳一个完整程序的所有代码和数据，更何况在多任务系统中，可能需要同时打开子处理程序，画图程序，浏览器等很多任务，想让内存驻留所有这些程序显然不太可能。因此首先能想到的就是将程序分割成小份，只让当前系统运行它所有需要的那部分留在内存，其它部分都留在硬盘。当系统处理完当前任务片段后，再从外存中调入下一个待运行的任务片段。的确，老式系统就是这样处理大任务的，而且这个工作是由程序员自行完成。但是随着程序语言越来越高级，程序员对系统体系的依赖程度降低了，很少有程序员能非常清楚的驾驭系统体系，因此放手让程序员负责将程序片段化和按需调入轻则降低效率，重则使得机器崩溃;再一个原因是随着程序越来越丰富，程序的行为几乎无法准确预测，程序员自己都很难判断下一步需要载入哪段程序。因此很难再靠预见性来静态分配固定大小的内存，然后再机械地轮换程序片进入内存执行。系统必须采取一种能按需分配而不需要程序员干预的新技术。
Kmalloc分配的是连续的物理地址空间。如果需要连续的物理页，可以使用此函数，这是内核中内存分配的常用方式，也是大多数情况下应该使用的内存分配方式。
作为一个计算机底层小白，在了解一个知识点的时候时常需要恶补很多基础知识。 本文记录在了解LMDB过程中接触的知识点。
BPF，及伯克利包过滤器Berkeley Packet Filter，最初构想提出于 1992 年，其目的是为了提供一种过滤包的方法，并且要避免从内核空间到用户空间的无用的数据包复制行为。它最初是由从用户空间注入到内核的一个简单的字节码构成，它在那个位置利用一个校验器进行检查 —— 以避免内核崩溃或者安全问题 —— 并附着到一个套接字上，接着在每个接收到的包上运行。几年后它被移植到 Linux 上，并且应用于一小部分应用程序上（例如，tcpdump）。其简化的语言以及存在于内核中的即时编译器（JIT），使 BPF 成为一个性能卓越的工具。
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
前言： KVM的设备虚拟化，除了前文《PIO技术分析》，还有另外一个核心概念---MMIO。原计划这里分析一下KVM的MMIO虚拟化。考虑到MMIO比PIO复杂很多，涉及更多的概念，作者打算先分析几篇基本的Linux的内存管理概念，再来分析MMIO。 作者大概想了一下，主要由这几篇构成： 1，虚拟内存管理和内存映射。 2，物理内存管理。 3，内存回收。 分析： 1，虚拟内存概念 x86的CPU有两种运行模式---real mode和protected mode。在real mode下，CPU访问的是物理
mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数，但是并没有深入理解mmap在操作系统内部是如何实现的，原理是什么。
版权声明：本文为博主原创文章，未经博主允许不得转载，更多请继续关注Carson_Ho https://blog.csdn.net/carson_ho/article/details/87685001
那个傻子是不是疯了？不知道作为所谓的“技术”人员，大家是如何面对的，如何解决？本文将聚焦于 Linux 内存结构、内存分析以及 OOM killer 等 3 个方面以及笔者多年的实践经验总结进行“吹牛逼”，当然，若吹的不好，欢迎大家扔砖、鸡蛋。
1）物理地址：CPU地址总线传来的地址，由硬件电路控制其具体含义。物理地址中很大一部分是留给内存条中的内存的，但也常被映射到其他存储器上（如显存、BIOS等）。在程序指令中的虚拟地址经过段映射和页面映射后，就生成了物理地址，这个物理地址被放到CPU的地址线上。
对于此现象，我们在前文也知道了，这是由于进程的独立性，子进程在对数据进行修改时，会触发写时拷贝所造成的。但是，假如这里的地址是物理地址的话，同一块地址处却有不同的值，这肯定是不现实的。★因此，我们可以得出这样的结论：
长时间运行的Linux服务器，通常 free 的内存越来越少，让人觉得 Linux 特别能“吃”内存，甚至有人专门做了个网站 LinuxAteMyRam.com解释这个现象。实际上 Linux 内核会尽可能的对访问过的文件进行缓存，来弥补磁盘和内存之间巨大的延迟差距。缓存文件内容的内存就是 Page Cache。
操作系统确实是比较难啃的一门课，至少我认为比计算机网络难太多了，但它的重要性就不用我多说了。
导语：掐指一算自己从研究生开始投入到Linux的海洋也有几年的时间，即便如此依然对其各种功能模块一知半解。无数次看了Linux内核的技术文章后一头雾水，为了更系统地更有方法的学Linux，特此记录。 历史 1991年，还在芬兰赫尔辛基大学上学的Linus Torvalds在自己的Intel 386计算机上开发了属于他自己的第一个程序，并利用Internet发布了他开发的源代码，将其命名为Linux，从而创建了Linux操作系统，并在同年公开了Linux的代码，从而开启了一个伟大的时代。在之后的将近30年的
一个可执行文件被执行的同时也伴随着一个新的进程的创建。Linux会为这个进程创建一个新的虚拟地址空间，然后会读取可执行文件的文件头，建立虚拟地址空间与可执行文件的映射关系，然后将CPU的指令指针寄存器设置成可执行文件的入口地址，然后CPU就会从这里取指令执行。
导语：掐指一算自己从研究生开始投入到Linux的海洋也有几年的时间，即便如此依然对其各种功能模块一知半解。无数次看了Linux内核的技术文章后一头雾水，为了更系统地更有方法的学Linux，特此记录。 历史 1991年，还在芬兰赫尔辛基大学上学的Linus Torvalds在自己的Intel 386计算机上开发了属于他自己的第一个程序，并利用Internet发布了他开发的源代码，将其命名为Linux，从而创建了Linux操作系统，并在同年公开了Linux的代码，从而开启了一个伟大的时代。在之后的将近30
虚拟地址空间（Virtual Address Space）是每一个程序被加载运行起来后，操作系统为进程分配的虚拟内存，它为每个进程提供了一个假象，即每个进程都在独占地使用主存。
内存映射 概念 : " 内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有
在Linux内核中，无论如何切换进程，内核地址空间转换到物理地址的关系是永远不变的，主要原因是内核地址空间在所有进程中是共享的。这种设计有几个关键点：
Linux内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。Linux的空间又分为内核空间和用户空间，在32位中，内核空间占1G，用户空间占3G；而在64位中，内核空间和用户空间各占128T。如图3-24所示。
" 物理地址空间 “ 是 CPU 处理器 在 ” 总线 " 上 访问内存的地址 ,
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
主要是驱动设备的初始化(binder_init)，打开 (binder_open)，映射(binder_mmap)，数据操作(binder_ioctl)。
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
一、共享内存简介 共享内存区是最快的IPC形式，这些进程间数据传递不再涉及到内核，换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据。 即每个进程地址空间都有一个共享存储器的映射区，当这
mmap（memory map）即内存映射，用于将一个文件或设备映射到进程的地址空间，或者创建匿名的内存映射。
之前一直对 Binder 理解不够透彻，仅仅知道一些皮毛，所以最近抽空深入理解一下，并在这里做个小结。
即使看了所有的Linux 内核文章，估计也还不是很明白，这时候，还是需要fucking the code.
glibc 提供的 ptmalloc 函数 , FreeBSD 提供的 jemalloc 函数 , Google 提供的 tcmalloc 函数 ,
常见的内存分配函数有malloc，mmap等，但大家有没有想过，这些函数在内核中是怎么实现的？换句话说，Linux内核的内存管理是怎么实现的？
在 Linux 系统中的每个进程都有独立 4GB 内存空间，而 Linux 把这 4GB 内存空间划分为用户内存空间（0 ~ 3GB）和内核内存空间（3GB ~ 4GB），而内核内存空间由划分为直接内存映射区和动态内存映射区（vmalloc区）。
linux驱动程序一般工作在内核空间，但也可以工作在用户空间。下面我们将详细解析，什么是内核空间，什么是用户空间，以及如何判断他们。 Linux简化了分段机制，使得虚拟地址与线性地址总是一致，因此，Linux的虚拟地址空间也为0～4G。Linux内核将这4G字节的空间分为两部分。将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为“内核空间”。而将较低的3G字节（从虚拟地址 0x00000000到0xBFFFFFFF），供各个进程使用，称为“用户空间）。因为每个进程可以通过系统调用进入内核，因此，Linux内核由系统内的所有进程共享。于是，从具体进程的角度来看，每个进程可以拥有4G字节的虚拟空间。 Linux使用两级保护机制：0级供内核使用，3级供用户程序使用。从图中可以看出（这里无法表示图），每个进程有各自的私有用户空间（0～3G），这个空间对系统中的其他进程是不可见的。最高的1GB字节虚拟内核空间则为所有进程以及内核所共享。 内核空间中存放的是内核代码和数据，而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间，它们都处于虚拟空间中。 虽然内核空间占据了每个虚拟空间中的最高1GB字节，但映射到物理内存却总是从最低地址（0x00000000）开始。对内核空间来说，其地址映射是很简单的线性映射，0xC0000000就是物理地址与线性地址之间的位移量，在Linux代码中就叫做PAGE_OFFSET。 内核空间和用户空间之间如何进行通讯？ 内核空间和用户空间一般通过系统调用进行通信。 如何判断一个驱动是用户模式驱动还是内核模式驱动？ 判断的标准是什么？ 用户空间模式的驱动一般通过系统调用来完成对硬件的访问，如通过系统调用将驱动的io空间映射到用户空间等。因此，主要的判断依据就是系统调用。 内核空间和用户空间上不同太多了，说不完，比如用户态的链表和内核链表不一样；用户态用printf，内核态用printk；用户态每个应用程序空间是虚拟的，相对独立的，内核态中却不是独立的，所以编程要非常小心。等等。 还有用户态和内核态程序通讯的方法很多，不单单是系统调用，实际上系统调用是个不好的选择，因为需要系统调用号，这个需要统一分配。 可以通过ioctl、sysfs、proc等来完成。
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
之前写了两篇详细分析 Linux 内存管理的文章，读者好评如潮。但由于是分开两篇来写，而这两篇内容其实是有很强关联的，有读者反馈没有看到另一篇读起来不够不连贯，为方便阅读这次特意把两篇整合在一起，看这一篇就够了！
内存虚拟化是一个很大的话题，最近安全部门发现了一个qemu内存虚拟化的安全漏洞，反馈给云平台让解决，感觉很棘手，引起了我对内存虚拟化的思考，想到什么问题就把思考记录下来。
为什么选择Linux？因为Linux能让你掌握你所做的一切！ 为什么痛恨Windows？因为Windows让你不知道自己在做什么！ 这就是我喜欢Linux的原因。只要我愿意，我可以将底层的系统运行机制看得清清楚楚，可以掌握一切。而Windows尽管界面漂亮，却让你总也猜不透她心里想什么。我不喜欢若即若离的感觉。 如果你一看到这个标题就觉得头疼，或者对Linux的内部技术根本不关心，那么，我劝你一句：别用Linux了。你只是在追赶潮流，并不是真心喜欢它。Linux的确没有Windows好用,可它比Windows“结实”。如果你对Linux的稳定性感兴趣，特别是想把Linux作为网站服务器的话，那就请看看下文吧！ Swap，即交换区，除了安装Linux的时候，有多少人关心过它呢？其实，Swap的调整对Linux服务器，特别是Web服务器的性能至关重要。通过调整Swap，有时可以越过系统性能瓶颈，节省系统升级费用。 本文内容包括： Swap基本原理 突破128M Swap限制 Swap配置对性能的影响 Swap性能监视 有关Swap操作的系统命令 Swap基本原理 Swap的原理是一个较复杂的问题，需要大量的篇幅来说明。在这里只作简单的介绍，在以后的文章中将和大家详细讨论Swap实现的细节。 众所周知，现代操作系统都实现了“虚拟内存”这一技术，不但在功能上突破了物理内存的限制，使程序可以操纵大于实际物理内存的空间，更重要的是，“虚拟内存”是隔离每个进程的安全保护网，使每个进程都不受其它程序的干扰。 Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。 计算机用户会经常遇这种现象。例如，在使用Windows系统时，可以同时运行多个程序，当你切换到一个很长时间没有理会的程序时，会听到硬盘“哗哗”直响。这是因为这个程序的内存被那些频繁运行的程序给“偷走”了，放到了Swap区中。因此，一旦此程序被放置到前端，它就会从Swap区取回自己的数据，将其放进内存，然后接着运行。 需要说明一点，并不是所有从物理内存中交换出来的数据都会被放到Swap中（如果这样的话，Swap就会不堪重负），有相当一部分数据被直接交换到文件系统。例如，有的程序会打开一些文件，对文件进行读写（其实每个程序都至少要打开一个文件，那就是运行程序本身），当需要将这些程序的内存空间交换出去时，就没有必要将文件部分的数据放到Swap空间中了，而可以直接将其放到文件里去。如果是读文件操作，那么内存数据被直接释放，不需要交换出来，因为下次需要时，可直接从文件系统恢复；如果是写文件，只需要将变化的数据保存到文件中，以便恢复。但是那些用malloc和new函数生成的对象的数据则不同，它们需要Swap空间，因为它们在文件系统中没有相应的“储备”文件，因此被称作“匿名”(Anonymous)内存数据。这类数据还包括堆栈中的一些状态和变量数据等。所以说，Swap空间是“匿名”数据的交换空间。 突破128M Swap限制 经常看到有些Linux（国内汉化版）安装手册上有这样的说明：Swap空间不能超过128M。为什么会有这种说法？在说明“128M”这个数字的来历之前，先给问题一个回答：现在根本不存在128M的限制！现在的限制是2G！ Swap空间是分页的，每一页的大小和内存页的大小一样，方便Swap空间和内存之间的数据交换。旧版本的Linux实现Swap空间时，用Swap空间的第一页作为所有Swap空间页的一个“位映射”（Bit map）。这就是说第一页的每一位，都对应着一页Swap空间。如果这一位是1，表示此页Swap可用；如果是0，表示此页是坏块，不能使用。这么说来，第一个Swap映射位应该是0，因为，第一页Swap是映射页。另外，最后10个映射位也被占用，用来表示Swap的版本（原来的版本是Swap_space ，现在的版本是swapspace2）。那么，如果说一页的大小为s，这种Swap的实现方法共能管理“8 * ( s - 10 ) - 1”个Swap页。对于i386系统来说s=4096，则空间大小共为133890048，如果认为1 MB=2^20 Byte的话，大小正好为128M。 之所以这样来实现Swap空间的管理，是要防止Swap空间中有坏块。如果系统检查到Swap中有坏块，则在相应的位映射上标记上0，表示此页不可用。这样在使用Swap时，不至于用到坏块，而使系统产生错误。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
