在 Linux 内核中 , MMU 内存管理单元 , 主要作用是 将 " 虚拟地址 " 映射到 真实的 " 物理地址 " 中 ,
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
在上一篇博客 【Linux 内核 内存管理】引导内存分配器 bootmem ① ( 引导内存分配器 bootmem 工作机制 | 引导内存分配器 bootmem 的描述 bootmem_data 结构体 ) 引入了 " 引导内存分配器 bootmem " 其作用是在 Linux 内核启动阶段 , 进行内存管理 ;
Linux 内核 初始化 时 , 需要进行内存分配 , 启动阶段的 内存分配 与 运行时的 内存分配 机制不同 ;
mmap/munmap接口是用户空间的最常用的一个系统调用接口，无论是在用户程序中分配内存、读写大文件，链接动态库文件，还是多进程间共享内存，都可以看到mmap/munmap的身影。
共享内存是进程间通信最有用的方式，也是最快的IPC形式。共享内存是说：同一块内存被映射到多个进程的地址空间。但是共享内存并不提供同步机制，因此需要互斥锁或者信号量。使用共享内存唯一需要注意的是：当前如果有进程正在向共享内存写数据，则在写入完成以前，别的进程不应当去读、写共享内存。
Linux 内核中 , 内存节点 ( Node ) 是 " 内存管理 " 的 最顶层的结构 , 下层分别是 区域 和 页 ;
整个红黑树的查找，插入和删除都是O(logN)的，原因就是整个红黑树的高度是logN，查找从根到叶，走过的路径是树的高度，删除和插入操作是从叶到根的，所以经过的路径都是logN（这从不命中角度说的 最长路径和最短路径不能超过2倍）
本文适用于CentOS 6.4, CentOS 6.5，估计也适用于其他Linux发行版。
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
把只包含质因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含质因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。
mmap（memory map）即内存映射，用于将一个文件或设备映射到进程的地址空间，或者创建匿名的内存映射。
ARM64 架构体系中 , 不能使用 bootmem 引导内存分配器 , 使用的是 memblock 分配器 ;
在 《漫画解说内存映射》一文中介绍过 虚拟内存 与 物理内存 映射的原理与过程，虚拟内存与物理内存进行映射的过程被称为 内存映射。内存映射是硬件（内存管理单元）级别的功能，必须按照硬件的规范设置好内存映射的关系，进程才能正常运行。
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
进程间的通信-共享内存 共享内存机制 共享内存机制是允许两个或多个进程(不相关或有亲缘关系)访问同一逻辑内存的机制。它是共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常安排为同一段物理内存。 ---- 两种常用的共享内存方式 System V版本的共享内存 shmm 多进程直接共享内存 文件映射mmap 如果一个文件需要频繁进行读写，那么将它映射到内存中。 将特殊文件进行匿名内存映射，为有关联的进程提供共享内存空间。 为无关联的进程提供共享内存空间，将
应用程序出现OOM异常，你是否仍然通过看日志的方式去排查问题（该方式定位解决问题是大概率的巧合而已）？正确的排查方案是进行dump文件分析，你知道为什么吗？
前言： 一个进程最大能使用多少虚拟内存，能控制的地方还是比想象的多一点。 尤其是IaaS上，一个qemu进程能使用多少虚拟内存，就是对应着虚拟机的物理内存的最大限制。 分析： 1，limit 在s
前端时间把公司的一个分布式定时调度的系统弄上了容器云，部署在kubernetes，在容器运行的动不动就出现问题，特别容易jvm溢出，导致程序不可用，终端无法进入，日志一直在刷错误，kubernetes也没有将该容器自动重启。业务方基本每天都在反馈task不稳定，后续就协助接手看了下，先主要讲下该程序的架构吧。
在linux内核中，所有的物理内存都用struct page结构来描述，这些对象以数组形式存放，而这个数组的地址就是mem_map。内核以节点node为单位，每个node下的物理内存统一管理，也就是说在表示内存node的描述类型struct pglist_data中，有node_mem_map这个成员，其针对平坦型内存进行描述(CONFIG_FLAT_NODE_MEM_MAP)，与此相反的是SPARSEMEM，其稀疏性内存描述。
版权声明：本文为博主原创文章，未经博主允许不得转载，更多请继续关注Carson_Ho https://blog.csdn.net/carson_ho/article/details/87685001
在博客 【Linux 内核 内存管理】虚拟地址空间布局架构 ⑦ ( vm_area_struct 结构体成员分析 | vm_start | vm_end | vm_next | vm_prev |vm_rb) 中 , 分析了 vm_start vm_end vm_next vm_prev vm_rb 这
在上一节, 我们介绍了Linux内核怎么管理系统中的物理内存. 但有时候内核需要分配一些物理内存地址也连续的内存页, 所以Linux使用了 伙伴系统分配算法 来管理系统中的物理内存页.
https://github.com/nevermosby/linux-bpf-learning/tree/master/bpf/bpf-maps
在介绍 HugePages 之前，我们先来回顾一下 Linux 下 虚拟内存 与 物理内存 之间的关系。
Java提供的MappedByteBuffer底层实现靠的是mmap技术，当然这里指的是Linux平台，因此建议大家先了解一下mmap在Linux上的实现原理，然后在来阅读本篇文章:
这点前面是说的很明白了, NUMA结构下, 每个处理器CPU与一个本地内存直接相连, 而不同处理器之前则通过总线进行进一步的连接, 因此相对于任何一个CPU访问本地内存的速度比访问远程内存的速度要快
memblock 分配器 中 , 内存块区域 使用 struct memblock_region 结构体进行描述 ,
该文章介绍了Nor Flash的基本原理、基本操作以及驱动程序的基本使用。它还提供了在用户空间中驱动Nor Flash设备的示例代码。文章还讨论了如何使用MTD设备来模拟Nor Flash，并展示了如何编写简单的用户空间应用程序来与Nor Flash进行通信。
调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ;
我们接着看linux初始化内存的下半部分，等内存初始化后就可以进入真正的内存管理了，初始化我总结了一下，大体分为三步：
编辑手记：很多人都认为，Linux中buffers和cached所占用的内存空间是可以在内存压力较大的时候被释放当做空闲空间用的。但真的是这样么？今天我们重新来认识。 作者介绍 邹立巍 Linux系
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
在某些场景下，Rust 程序员会使用 smallstr 和 smallvec 来避免为小规模数据分配堆内存，其原理是尽量使数据直接放在栈上，当数据规模超过其预定大小时回落到堆实现。但是社区并没有类似的 map 实现，所以我写了一个。
mmap 另一个非常重要的特性是：减少内存的拷贝次数。在 linux 系统中，文件的读写操作通常通过 read 和 write 这两个系统调用来实现，这个过程会产生频繁的内存拷贝。比如 read 函数就涉及了 2 次内存拷贝：
在实际的软件开发过程中，内存问题常常是耗费大量时间进行分析的挑战之一。为了更有效地定位和解决与内存相关的难题，一系列辅助工具应运而生，其中备受赞誉的Valgrind工具便是其中之一。事实上，笔者本人曾利用Valgrind工具成功地发现并解决了一个隐藏在软件中的bug，这充分体现了工具在开发过程中的重要性。
看了很多关于linux内存管理的文章还是云里雾里，听了很多关于linux内存管理的课程还是一头雾水。其实很多时候造成不懂的原因不是资料太少，恰恰是资料太多，而且各个内核版本的差异，32位64位的不同，文章的胡编乱造等都给读者带来疑惑。本着对内存深度剖析的态度，希望以版本kernel-4.14，架构AARCH64为专题做个内存管理的架构性整理。
有兴趣了解更多关于 eBPF 技术的底层细节？那么请继续移步，我们将深入研究 eBPF 的底层细节，从其虚拟机机制和工具，到在远程资源受限的嵌入式设备上运行跟踪。
| 导语 企鹅FM近几个版本的外网Crash出现很多OutOfMemory（以下简称OOM）问题，Crash的堆栈都在Thread::start方法上。该文详细分析了发生原因。 ---- 有两种栈： 出现次数最多的一种，称之为 堆栈A。 java.lang.OutOfMemoryError: pthread_create (1040KB stack) failed: Out of memory java.lang.Thread.nativeCreate(Native Method)
网上很多文章都说，线程比较轻量级 lightweight，进程比较重量级，首先我们来看看这两者到底的区别和联系在哪里。
这是我耗时最长的文章，因为资料少，水货又多，我又傻。 没事，前人栽树。我要把这篇写全面，省的你们到处去找。
Linux 内存管理模型不是咱们这个系列的讨论重点，我们这里只会简单提一些对于咱们这个系列需要了解到的，如果读者想要深入理解，建议大家查看 bin 神（公众号：bin 的技术小屋）的系列文章：一步一图带你深入理解 Linux 虚拟内存管理
https://man7.org/linux/man-pages/man2/mmap.2.html
有时我们需要在 Linux 内核中预留一部分内存空间用作特殊用途（给安全模块使用，给其它处理器使用，或是给特定的驱动程序使用等），在 Device Tree 中有提供两种方法对预留内存进行配置：memreserve 和 reserved-memory。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
