linux进程的内存分配内存 - 腾讯云开发者社区

文章/答案/技术大牛

发布

【Linux 内核内存管理】内存映射原理 ② ( 内存映射概念 | 文件映射 | 匿名映射 | 内存映射原理 | 分配虚拟内存页 | 产生缺页异常 | 分配物理内存页 | 共享内存 | 进程内存 )

文章目录一、内存映射概念二、内存映射原理 1、分配虚拟内存页 2、产生缺页异常 3、分配物理内存页三、共享内存四、进程内存段的内存映射类型一、内存映射概念 ---- 内存映射概念 : "..." 物理内存空间 “ 映射到 ” 虚拟内存空间 " , 其中的数据是随机值 ; 二、内存映射原理 ---- 1、分配虚拟内存页分配虚拟内存页 : 在 Linux 系统中创建 " 内存映射 “ 时..., 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ; 2、产生缺页异常缺页异常 : Linux 内核在分配 " 物理内存 “ 时 , 采用了 ” 延迟策略 “ , 即进程第一次访问...缺页异常 " 后 , 会分配 " 物理内存页 “ , 并且将要映射的文件的部分数据读取到该 ” 物理内存页 " 中 ; 匿名映射 : 对于 " 匿名映射 " , 直接分配 " 物理内存页 “...才可以 ; 如果修改了进程间的 " 共享内存 " 对应的 " 文件映射 " , 修改后不会立刻更新到文件中 , 调用 msync 函数 , 强制同步写入到文件中 ; 四、进程内存段的内存映射类型

9.6K2 1

【Linux 内核内存管理】Linux 内核内存布局 ③ ( Linux 内核动态分配内存系统接口函数 | 统计输出 vmalloc 分配的内存 )

文章目录一、Linux 内核动态分配内存系统接口函数二、统计输出 vmalloc 分配的内存一、Linux 内核动态分配内存系统接口函数 ---- Linux 内核 " 动态分配内存 "...是通过 " 系统接口 " 实现的 , 下面介绍几个重要的接口函数 ; ① 以 " 页 " 为单位分配内存 : alloc_pages , __get_free_page ; ② 以 " 字节 " 为单位分配..." 虚拟地址连续的内存块 " : vmalloc ; ③ 以 " 字节 " 为单位分配 " 物理地址连续的内存块 " : kmalloc ; 注意该 " 物理地址连续的内存块 " 是以 Slab 为中心的...; 二、统计输出 vmalloc 分配的内存 ---- 执行 grep vmalloc /proc/vmallocinfo 命令 , 可以统计输出通过 vmalloc 函数分配的 " 虚拟地址连续的内存块

6.7K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

Linux 进程内存监控：Linux 内存调优之进程内存深度监控

写在前面博文内容涉及 Linux 进程内存监控监控方式包括传统工具 ps/top/pmap ,以及 cgroup 内存子系统，proc 内存伪文件系统监控内容包括进程内存使用情况，内存全局数据统计...虚拟内存核心指标参数值描述 VmPeak 165,112 kB 进程生命周期内虚拟内存的峰值（含已分配但未使用的内存），反映进程曾达到的最大内存需求 VmSize 100,636 kB 当前进程...4,084 kB 匿名页（动态分配的堆/栈内存）占用的物理内存，例如 malloc 分配的未映射文件的内存 RssFile 8,604 kB 文件页缓存占用的物理内存（如加载的共享库、内存映射文件）...稳定，可能为虚拟内存分配过多但未实际使用（如未初始化的 malloc）。...系统资源分配 VmHWM 可用于设置 CGroup 内存限制（memory.max_usage_in_bytes），避免单个进程耗尽物理内存。

2.6K4 2

Linux内存页分配策略

伙伴系统分配算法在上一节, 我们介绍了Linux内核怎么管理系统中的物理内存....但有时候内核需要分配一些物理内存地址也连续的内存页, 所以Linux使用了伙伴系统分配算法来管理系统中的物理内存页....在Linux内核中, 把两个物理地址相邻的内存页当作成伙伴, 因为Linux是以页面号来管理内存页的, 所以就是说两个相邻页面号的页面是伙伴关系....所以, 使用伙伴系统算法只能分配 2order (order为0,1,2,3...)个页面. 那么order是不是无限大呢? 当然不是, 在Linux内核中, order的最大值是 10....Linux内核使用 free_area[i] 管理 2i 个内存页面大小的内存块列表.

4.4K1 0

Linux进程的内存管理

mm_struct结构描述了一个进程的整个虚拟地址空间，vm_area_truct描述了虚拟地址空间的一个区间（简称虚拟区）。...下图就是我们所说的由task_struct到mm_struct，进程的地址空间的分布。 ? 每一个进程都会有自己独立的mm_struct，这样每一个进程都会有自己独立的地址空间，这样才能互不干扰。...当进程之间的地址空间被共享的时候，我们可以理解为这个时候是多个进程使用一份地址空间，这就是线程。...; unsigned int last_interval; unsigned long flags; struct core_state *core_state; } 分配的每个虚拟内存区域都由一个...vm_area_struct 数据结构来管理，包括虚拟内存的起始和结束地址，以及内存的访问权限等，通常命名为vma；vm_area_struct 数据结构的定义如下： ?

4.3K2 1

Linux进程的内存分布

推荐两篇文章，讲Linux进程内存分布的。 1. 这篇比较简单，如果只是想大概了解下，可以只看这篇。 https://en.wikipedia.org/wiki/Data_segment ? 2....这篇相对复杂些，但写的是真好，推荐认真看看。 https://manybutfinite.com/post/anatomy-of-a-program-in-memory/ ? 完。

3.3K4 0

Linux中进程内存与cgroup内存的统计

在Linux内核，对于进程的内存使用与Cgroup的内存使用统计有一些相同和不同的地方。...进程的内存统计一般来说，进程使用的内存主要有以下几种情况：（1）用户空间的匿名映射页（Anonymous pages in User Mode address spaces），比如调用malloc分配的内存...与进程内存统计相关的几个文件： /proc/[pid]/stat (23) vsize %lu Virtual memory size in bytes. (24) rss %ld...实际上，进程使用的共享内存，也是算到file_rss的，因为共享内存基于tmpfs。...小结（1）进程rss与cgroup rss的区别进程的RSS为进程使用的所有物理内存（file_rss＋anon_rss），即Anonymous pages＋Mapped apges（包含共享内存）

3.6K3 0

linux进程内存布局

BSS段属于静态内存分配。数据段：在采用段式内存管理的架构中，数据段（data segment）通常是指用来存放程序中已初始化的全局变量的一块内存区域。数据段属于静态内存分配。...堆（heap）：堆是用于存放进程运行中被动态分配的内存段，它的大小并不固定，可动态扩张或缩减。...当进程调用malloc等函数分配内存时，新分配的内存就被动态添加到堆上（堆被扩张）；当利用free等函数释放内存时，被释放的内存从堆中被剔除（堆被缩减）栈 (stack)：栈又称堆栈，是用户存放程序临时创建的局部变量...除此以外，在函数被调用时，其参数也会被压入发起调用的进程栈中，并且待到调用结束后，函数的返回值也会被存放回栈中。由于栈的先进先出特点，所以栈特别方便用来保存/恢复调用现场。...分配效率：栈是机器系统提供的数据结构，计算机会在底层分配专门的寄存器存放栈的地址，压栈出栈都有专门的指令执行，这就决定了栈的效率比较高；堆则是 C/C++函数库提供的，它的机制是很复杂的，例如为了分配一块内存

4.1K4 1

【Linux 内核内存管理】伙伴分配器 ② ( 伙伴分配器分配内存流程 )

文章目录一、伙伴分配器分配内存流程 1、查询 n 阶页块 2、查询 n + 1 阶页块 3、查询 n + 2 阶页块一、伙伴分配器分配内存流程 ---- 伙伴分配器以 " 阶 " 为单位 , 分配.../ 释放物理页 ; 阶 ( Order ) : 物理页的数量单位 , n 阶页块指的是 2^n 个连续的 " 物理页 " ; 页 / 阶概念参考【Linux 内核内存管理...】伙伴分配器 ① ( 伙伴分配器引入 | 页块、阶 | 伙伴 ) 博客 ; " 伙伴分配器 " 分配内存流程 : 假设要分配 n 阶页块 ; 1、查询 n 阶页块查询当前是否有空闲的 n...阶页块 , 如果有则直接分配 , 如果没有 , 则进入下一步 , 查询 n + 1 阶页块 ; 2、查询 n + 1 阶页块查询当前是否有空闲的 n + 1 阶页块 , 如果有 , 将...n + 2 阶页块查询当前是否有空闲的 n + 2 阶页块 , 如果有 , 将 n + 2 阶页块分成 2 个 n + 1 阶页块 , 一块插入空闲 n + 1 阶页块链表

8K5 0

kmalloc分配物理内存与高端内存映射--Linux内存管理(十八)

他们定义在tools/virtio/linux/kernel.h?v=4.7, line 46 这两个函数返回一个指向内存块的指针, 其内存块至少要有size大小. 所分配的内存区在物理上是连续的....v=4.7, line 3853 3 分配掩码(gfp_mask标志) 3.1 分配掩码前述所有函数中强制使用的mask参数，到底是什么语义? 我们知道Linux将内存划分为内存域....它限制只在分配到当前进程的各个CPU所关联的结点分配内存。如果进程允许在所有CPU上运行（默认情况），该标志是无意义的。...这个标志用于为用户空间进程分配内存时使用 GFP_DMA GFP_DMA32 用于分配适用于DMA的内存, 当前是__GFP_DMA的同义词, GFP_DMA32也是__GFP_GMA32的同义词 GFP_HIGHUSER...那么内存分配可以从该内存域或更低的内存域进行, 该函数定义在include/linux/gfp.h?

7.6K2 1

【Linux 内核内存管理】内存管理架构 ⑤ ( sbrk 内存分配系统调用代码示例 | 在 procpidmaps 中查看进程堆内存详情 )

文章目录一、sbrk 内存分配系统调用代码示例二、在 /proc/pid/maps 中查看进程堆内存详情本篇博客调用 sbrk 系统调用函数 , 申请并修改堆内存 , 并在 /proc/pid/...maps 中查看该进程的堆内存 ; 一、sbrk 内存分配系统调用代码示例 ---- sbrk 系统调用函数 , 作用是修改程序 BSS 段大小 ; 函数原型如下 : #include <unistd.h...(void*）-1 返回值 ; 内存地址查找 : 先获取当前运行的进程 ID , 也就是 PID , 然后根据 PID 找到内存地址 ; 如果进程退出 , 也就获取不到进程的信息了 , 这里需要有一个死循环..., 在第二次申请内存时 , 指针始终没有改变 , 一直都是 0x203e000 地址 ; 如果使用新的指针 p_new 接收 sbrk 系统调用返回的堆内存指针 , 则分配的是新的地址 ; 二、在 /...proc/pid/maps 中查看进程堆内存详情 ---- 在上一节 , 已经打印出进程的 PID 为 4829 , 根据该 PID , 可以直接获取该进程的内存情况 , 执行 cat /proc/

4.8K2 0

Linux进程通信——共享内存

共享内存原理与概念两个进程的PCB创建虚拟地址空间然后映射到物理内存中，每个进程因为是独立的，所以在物理内存中的地址也不同。那么共享内存是怎么做到的呢？...首先先在物理内存中申请一块内存。然后讲这块内存通过页表映射分别映射到这两个进程的虚拟地址空间内，让这两个进程都能看到这块内存。...(这里也称为进程和共享内存挂接) 最后如果不想通信了：取消进程和内存的映射关系（去关联）释放内存（释放共享内存）理解： a.这里和原本C语言当中的maclloc函数开辟空间不同，...b.进程通信的这个申请一块共享内存是专门设计出来的，用来IPC。 c.共享内存是一种通信的方式，所有想通信的进程都可以用。 d.OS一定可能会存在很多的共享内存。...概念就是：通过让不同进程看到同一个内存块的方式就叫做共享内存。

7.4K3 0

【Linux 内核内存管理】引导内存分配器 bootmem ③ ( bootmem 引导内存分配器算法 | 低端内存映射 | 内存记录位图 | 最先适配算法 | 内存分配记录 | 内存操作函数 )

交给 " 引导内存分配器 " 管理 , 低端内存可以直接映射到内核虚拟地址空间对应的物理内存 ; 2、内存记录位图内存记录位图 : 引导内存分配器中 , 使用 " 位图 " 记录物理页...的分配情况 , 如果物理页分配 , 在位图中物理页对应的为置 1 ; 如果物理页回收 , 在位图中物理页对应的为置 0 ; 3、最先适配算法最先适配算法 : 分配内存时 , 扫描..." 位图 " , 找到满足内存需求大小的第一块空闲的内存块 ; 4、内存分配记录内存分配记录 : 为了有效利用内存 , " 引导内存分配器 " 支持小于 1 页的内存块分配 , bootmem_data...结构体中 last_end_off 成员记录上一次分配内存块的结束位置 +1 地址 , 也就是分配内存块结束位置后面一个字节 , 下一个将要开始分配内存的位置 ; hint_idx 成员...表示上一次分配内存块的结束位置后面的物理页位置索引 , 下次分配优先分配该索引物理页 ; 在下一次分配内存时 , 如果上次内存分配的物理页的剩余空间小于等于要分配的内存 , 那么

3.9K1 0

Linux进程内存管理（二）

简单记录一下内存管理器的基本原理。这里就不深入代码内部了。内存管理器的初始化进程启动后，在 jemalloc 载入的时候会调用 jemalloc_constructor 执行一些初始化操作。...分配 huge object 的时候，直接采用 mmap 从 system memory 中申请，并独立维护。 ? jemalloc 的层级结构回收内存内存回收的逻辑和内存分配的逻辑刚好相反。...相关系统调用接下来，介绍一下内存分配器相关的系统调用： brk/sbrk mmap 在介绍这几个系统调用之前，需要先对进程的内存布局有所认识。 ?...64位进程内存布局上图是一个 Linux 64位进程的地址空间布局的简图，jemalloc 能管理的就是 Heap 和 Memory map 两块的内存。 Text，存储程序的二进制代码。...参考文档 jemalloc Linux manpage jemalloc源码解析-内存管理

3.7K4 0

Linux进程内存管理（一）

本文主要讲用户态进程的内存管理，而不是内核的内存管理。简单地说，就是和 malloc 和 free 相关的内存管理。...简介 Linux 环境下，进程的内存管理器默认是使用 glibc 实现的 ptmalloc 。...另外，还有两个比较有名的内存管理器：google 的 tcmalloc 和 fackbook 的 jemalloc 。...在 Linux 下，内存管理器一般通过 HOOK 来实现自定义的malloc函数，具体就是通过覆盖__malloc_hook等函数指针来实现。...je_posix_memalign); # endif # undef PREALIAS # undef ALIAS # endif #endif jemalloc 后面，我们以 jemalloc 为例子对进程的内存管理器进行简单的学习

4.5K3 0

linux查看进程内存占用

一、概述需要知道一台机器上面跑的java程序，各占用了多少内存。...aux | grep xxx USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND 可以看到RSS，也就是物理内存占用...RSS是常驻内存集（Resident Set Size），表示该进程分配的内存大小。RSS不包括进入交换分区的内存。...RSS包括共享库占用的内存（只要共享库在内存中）RSS包括所有分配的栈内存和堆内存。输出如下： root 4544 7.9 8.6 3141048 705316 ? ...三、单位转换先来看一个例子，假设有一个进程，RSS值为：103320 #!

59.4K3 2

Linux进程通信--共享内存

概述共享内存区是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间，这些进程间数据传递不再涉及到内核，换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据。...本地通信方案：system V IPC：共享内存消息队列信号量共享内存基本原理每一个进程有自己的地址空间，经过页表转化，找到物理内存，由于进程具有独立性，每个进程有自己的代码和数据，内核数据结构独立...首先由操作系统在物理内存中开辟一段内存空间，共享内存虽然是操作系统创建的，但是这些进程中的某一个需要来创建这个共享内存，这个共享内存属于操作系统的。...此时如果进程C、进程D、进程E、进程F等进程也需要通信，但是不使用进程和进程B的共享内存，因此共享内存在系统中可以同时存在多份，让不同个数、不同进程进行通信。...<<std::endl; } 共享内存优缺点共享内存不提供对共享内存的任何保护机制，双方进程不会出现等待进程的现象，会造成数据不一致问题。

1.8K1 0

alloc_page分配内存空间--Linux内存管理(十七)

Linux内核使用二进制伙伴算法来管理和分配物理内存页面, 该算法由Knowlton设计, 后来Knuth又进行了更深刻的描述....内核如何记住哪些内存块是空闲的分配空闲页面的方法影响分配器行为的众多标识位内存碎片的问题和分配器如何处理碎片 2 内存分配API 2.1 内存分配器API 就伙伴系统的接口而言, NUMA或UMA...(mask, order) 分配2^0 rder 页并返回一个struct page的实例，表示分配的内存块的起始页 NUMA-include/linux/gfp.h, line 466 UMA-include...函数进行了内存分配 __alloc_pages_node函数定义在include/linux/gfp.h?..., 用于检查给定内存域是否属于该进程允许运行的CPU). zone_watermark_ok接下来检查所遍历到的内存域是否有足够的空闲页，并试图分配一个连续内存块。

4K1 1

Linux 内存分配流程及 kmalloc 解析

手把手教你分析 Linux 启动流程上一次咱们分析了 Linux 的启动流程和初始化流程，今天主要分析一下内存方面的初始化和常见的内存分配方式。...先说两个概念：外部碎片：有一段小内存，夹在两个大内存中间，两个大内存已经被分配给进程，这一段小内存由于过小，不够申请者使用，就一直空闲。...内部碎片：一个进程申请了一段内存，可是这个进程从来没有全部使用，一直有最后的一段内存没有使用。为了解决这两个问题，就出现了伙伴系统和 slab 分配器。...GFP_ATOMIC 代表使用 kmalloc 分配内存时，如果内存准备不足，会立刻返回，不会引起睡眠，适合在中断上下文或者进程上下文中使用。...2、有的人可能知道 Linux 有一个 bootmem 分配器，这个是在Linux初始化过程中的一个临时分配器，他会在 setup_arch 函数中初始化，然后在 mm_init 中关掉，只是在伙伴系统出现之前的临时使用

3.3K1 1

高端内存映射之vmalloc分配内存中不连续的页--Linux内存管理(十九)

1 内存中不连续的页的分配根据上文的讲述, 我们知道物理上连续的映射对内核是最好的, 但并不总能成功地使用. 在分配一大块内存时, 可能竭尽全力也无法找到连续的内存块....在用户空间中这不是问题，因为普通进程设计为使用处理器的分页机制, 当然这会降低速度并占用TLB. 在内核中也可以使用同样的技术. 内核分配了其内核虚拟地址空间的一部分, 用于建立连续映射....vm_area_struct, 以管理用户空间进程的虚拟地址空间内容....vmalloc发起对不连续的内存区的分配操作....接下来从物理内存分配各个页最后将这些页连续地映射到vmalloc区域中, 分配虚拟内存的工作就完成了.

3.9K1 0

点击加载更多

【Linux 内核内存管理】内存映射原理 ② ( 内存映射概念 | 文件映射 | 匿名映射 | 内存映射原理 | 分配虚拟内存页 | 产生缺页异常 | 分配物理内存页 | 共享内存 | 进程内存 )

【Linux 内核内存管理】Linux 内核内存布局 ③ ( Linux 内核动态分配内存系统接口函数 | 统计输出 vmalloc 分配的内存 )

Linux 进程内存监控：Linux 内存调优之进程内存深度监控

Linux内存页分配策略

Linux进程的内存管理

Linux进程的内存分布

Linux中进程内存与cgroup内存的统计

linux进程内存布局

【Linux 内核内存管理】伙伴分配器 ② ( 伙伴分配器分配内存流程 )

kmalloc分配物理内存与高端内存映射--Linux内存管理(十八)

【Linux 内核内存管理】内存管理架构 ⑤ ( sbrk 内存分配系统调用代码示例 | 在 procpidmaps 中查看进程堆内存详情 )

Linux进程通信——共享内存

【Linux 内核内存管理】引导内存分配器 bootmem ③ ( bootmem 引导内存分配器算法 | 低端内存映射 | 内存记录位图 | 最先适配算法 | 内存分配记录 | 内存操作函数 )

Linux进程内存管理（二）

Linux进程内存管理（一）

linux查看进程内存占用

Linux进程通信--共享内存

alloc_page分配内存空间--Linux内存管理(十七)

Linux 内存分配流程及 kmalloc 解析

高端内存映射之vmalloc分配内存中不连续的页--Linux内存管理(十九)

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐