文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【Linux 内核 内存管理】内存映射原理 ② ( 内存映射概念 | 文件映射 | 匿名映射 | 内存映射原理 | 分配虚拟内存页 | 产生缺页异常 | 分配物理内存页 | 共享内存 | 进程内存 )

内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有 2 种情况 , ① 文件映射 , ② 匿名映射 ; 文件映射 : 有 文件 支持 的 内存映射..., 将 指定文件 的 指定位置 指定大小 的数据 , 映射到 进程 " 用户虚拟地址空间 " 中 , 文件内容直接装载到该 虚拟内存 中 ; 匿名映射 : 没有 文件 支持 的 内存映射 , 只是将..." 物理内存空间 “ 映射到 ” 虚拟内存空间 " , 其中的数据是随机值 ; 二、内存映射原理 ---- 1、分配虚拟内存页 分配 虚拟内存页 : 在 Linux 系统中 创建 " 内存映射 “ 时..., 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ; 2、产生缺页异常 缺页异常 : Linux 内核在分配 " 物理内存 “ 时 , 采用了 ” 延迟策略 “ , 即进程第一次访问...才可以 ; 如果修改了 进程间的 " 共享内存 " 对应的 " 文件映射 " , 修改后不会立刻更新到文件中 , 调用 msync 函数 , 强制同步写入到文件中 ; 四、进程内存段的内存映射类型

8.4K20

Linux内存映射——mmap

Linux提供了mmap()函数，用来映射物理内存。...2.mmap系统调用 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。...当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用read,write等系统调用.但需注意,直接对该段内存写时不会写入超过当前文件大小的内容....共享内存中的内容往往是在解除映射时才写回文件的。因此，采用共享内存的通信方式效率是非常高的。 基于文件的映射，在mmap和munmap执行过程的任何时刻，被映射文件的st_atime可能被更新。...：已达到系统对打开文件的限制 ENODEV：指定文件所在的文件系统不支持内存映射 ENOMEM：内存不足，或者进程已超出最大内存映射数量 EPERM：权能不足，操作不允许 ETXTBSY：已写的方式打开文件

5.7K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    iOS文件内存映射——MMAP

    文件操作的更底层实现过程，是使用linux的read()、write()函数直接操作文件句柄（也叫文件描述符、fd）。...而mmap将磁盘上文件的地址信息与进程用的虚拟逻辑地址进行映射，建立映射的过程与普通的内存读取不同：正常的是将文件拷贝到内存，mmap只是建立映射而不会将文件加载到内存中。...App 只管往里面写数据，由 iOS 负责将内存回写到文件，不必担心 crash 导致数据丢失。 下面两个图分别显示进程读取磁盘文件的过程和使用mmap进行文件映射的过程。 ? 图1 ?...，通常读取文件是将文件读取到内存，会占用真正的物理内存；而mmap是用进程的内存虚拟地址空间去映射实际的文件中，这个过程由操作系统处理。...mmap不会为文件分配物理内存，而是相当于将内存地址指向文件的磁盘地址，后续对这些内存进行的读写操作，会由操作系统同步到磁盘上的文件。这种操作也节省了很多内存占用，极大的提升了进程的性能。

    1.6K20

    mmap：Python内存映射文件操作

    前言 内存映射通常可以提高I/O的性能，因为使用内存映射时，不需要对每个访问都建立一个单独的系统调用，也不需要在缓冲区之间复制数据，内核和用户都能很方便的直接访问内存。...本篇，将详细介绍Python内存映射库：mmap。 mmap（读文件） 使用mmap()函数可以创建一个内存映射文件。...该函数的第1个参数是一个文件描述符，可以通过file对象的fileno()函数获取；第2个参数是要映射的文件部分大小（单位字节），如果该值为0，映射整个文件，如果该参数大于文件大小，则扩展该文件。...需要特别注意的是，windows不支持创建长度为0的映射。...write（写文件） 写文件比较简单，这里我们直接看一段代码： import mmap word = b'The' with open('英文文档.txt', 'r+') as f: with

    33740

    Python内存映射文件读写方式

    使用 mmap 模块实现对文件的内存映射，让我们读写二进制文件像操作数组一样高效优雅。 先给出一个实用函数，用来演示如何打开一个文件并对它进行内存映射操作。...，也可以写。...需要强调的是，对某个文件进行内存映射并不会导致将整个文件读到内存中。也就是说，文件并不会拷贝到某种内存缓冲区或数组上。相反，操作系统只是为文件内容保留一段虚拟内存而已。...如果有多个Python解释器对同一个文件做了内存映射，得到的mmap对象可以用来在解释器之间交换数据。...以上这篇Python内存映射文件读写方式就是小编分享给大家的全部内容了，希望能给大家一个参考。

    2.3K20

    高端内存映射之kmap持久内核映射--Linux内存管理(二十)

    1 高端内存与内核映射 尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到的), 但这并不是这些函数的实际用途....它与通过固定公式与物理内存关联的直接映射页相反，虚拟固定映射地址与物理内存位置之间的关联可以自行定义，关联建立后内核总是会注意到的. ?...永久内存映射区 该区域可访问高端内存. 访问方法是使用alloc_page(_GFP_HIGHMEM)分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域....总之，内核的高端线性地址是为了访问内核固定映射以外的内存资源。进程在使用内存时，触发缺页异常，具体将哪些物理页映射给用户进程是内核考虑的事情. 在用户空间中没有高端内存这个概念....即内核对于低端内存, 不需要特殊的映射机制, 使用直接映射即可以访问普通内存区域, 而对于高端内存区域, 内核可以采用三种不同的机制将页框映射到高端内存 : 分别叫做永久内核映射、临时内核映射以及非连续内存分配

    3.4K10

    【Linux 内核 内存管理】内存管理系统调用 ② ( mmap 创建内存映射 | mmap 创建内存映射 与 malloc 申请内存对比 | mmap 创建内存映射 与 普通文件操作对比 )

    4、mmap 创建内存映射 二、mmap 创建内存映射 与 普通文件操作 对比 一、mmap 创建内存映射 与 malloc 申请内存对比 ---- 1、malloc 函数原型 C 标准库 stdlib.h...大于等于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 mmap 系统调用 , 向 Linux 内核申请内存 ; 4、mmap 创建内存映射 mmap 可以直接向 Linux...内核申请 " 虚拟内存 " , 不需要经过 " 用户态 “ 与 ” 内核态 " 之间的转换 ; 二、mmap 创建内存映射 与 普通文件操作 对比 ---- 使用 mmap 系统调用 与 传统文件 操作...对比 : 传统的文件操作 , 首先调用 fopen 函数打开文件 , 然后调用 fread fwrite 等函数操作文件 , 这些操作 在 用户模式 下调用 , 然后需要 切换到 内核模式 下调用 Linux..., 可以使用 mmap 系统调用 创建 共享的 " 文件映射 “ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ;

    6.2K20

    Linux内核编程--内存映射和共享内存

    一，内存映射 对于磁盘文件和进程： 将一个文件或其它对象映射到进程地址空间，实现文件在磁盘的存储地址和进程地址空间中一段虚拟地址的映射关系。...step2: 进程a通过磁盘文件创建内存映射区 step3: 进程b通过磁盘文件创建内存映射区 step4: 进程a和进程b共同修改内存映射区实现进程通信 *基于内存映射区的进程间通信，是非阻塞的。...2.文件读写操作 step1: 读磁盘文件，获得文件描述符 step2: 基于文件描述符建立进程的内存映射区 step3: 利用进程进行内存映射区的读写操作 step4: 释放内存映射区，关闭文件描述符...： 内存映射和共享内存的区别： 1.内存映射与文件关联，共享内存不需要与文件关联，把共享内存理解为内存上的一个匿名片段。...2.内存映射可以通过fork继承给子进程，共享内存不可以。 3.文件打开的函数不同，内存映射文件由open函数打开，共享内存区对象由shm_open函数打开。

    6.1K10

    iOS的文件内存映射——mmap

    文件操作的更底层实现过程，是使用linux的read()、write()函数直接操作文件句柄（也叫文件描述符、fd）。...而mmap将磁盘上文件的地址信息与进程用的虚拟逻辑地址进行映射，建立映射的过程与普通的内存读取不同：正常的是将文件拷贝到内存，mmap只是建立映射而不会将文件加载到内存中。...这样做的注意事项： 1、牺牲较大的虚拟内存，映射区域有多大就需要虚拟内存有多大；（故而太大的文件不适合映射整个文件，32位虚拟内存最大是4GB，可以只映射部分） 2、因为映射有额外的性能消耗，所以适用于频繁读操作的场景...如果文件很大，直接使用dataWithContentsOfFile方法，会导致load整个文件，出现内存占用过多的情况；此时用NSDataReadingMappedIfSafe，则会使用mmap建立文件映射...总结 mmap就是文件的内存映射，通常读取文件是将文件读取到内存，会占用真正的物理内存；而mmap是用进程的内存虚拟地址空间去映射实际的文件中，这个过程由操作系统处理。

    2.7K10

    linux内存映射mmap原理分析

    一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。...在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被放入了内存，具体到代码，就是建立并初始化了相关的数据结构（struct address_space），这个过程有系统调用mmap...图1.内存映射原理 既然建立内存映射没有进行实际的数据拷贝，那么进程又怎么能最终直接通过内存操作访问到硬盘上的文件呢？那就要看内存映射之后的几个相关的过程了。...（也就是该文件从来没有被读入内存的情况），则会通过mmap()建立的映射关系，从硬盘上将文件读取到物理内存中，如图1中过程3所示。...但是通过内存映射的方法访问硬盘上的文件，效率要比read和write系统调用高，这是为什么呢？

    4.4K41

    【Linux 内核 内存管理】内存映射相关数据结构 ⑥ ( 文件映射 虚拟内存区域 | vm_area_struct | vm_operations_struct | 匿名映射 虚拟内存区域 )

    文章目录 一、文件映射 虚拟内存区域 1、文件映射 虚拟内存区域 的 vm_ops 成员 2、文件映射 虚拟内存区域 的 vm_file 成员 3、文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域...一、文件映射 虚拟内存区域 ---- " 文件映射 " 的 " 虚拟内存区域 " vm_area_struct 结构体 的 数据结构表示形式如下 ; 1、文件映射 虚拟内存区域 的 vm_ops 成员...deal with this struct. */ const struct vm_operations_struct *vm_ops; 参考 【Linux 内核 内存管理】内存映射相关数据结构 ④...匿名映射 " 类型的 " 内存映射 " , 该成员为 NULL ; struct file * vm_file; /* File we map to (can be NULL). */ 参考 【Linux...文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域 ---- 在 " 匿名映射 " 虚拟内存区域 中 , 与 " 文件映射 " 不同之处是 struct file * vm_file; 成员为空

    1K30

    c# 通过内存映射实现文件共享内存

    内存映射文件是利用虚拟内存把文件映射到进程的地址空间中去，在此之后进程操作文件，就像操作进程空间里的地址一样了，比如使用c语言的 memcpy等内存操作的函数。...这种方法能够很好的应用在需要频繁处理一个文件或者是一个大文件的场合，这种方式处理IO效率比普通IO效率要高 共享内存是内存映射文件的一种特殊情况，内存映射的是一块内存，而非磁盘上的文件。...MemoryMappedFiles命名空间，这个命名空间的类对windows 共享内存相关API做了封装，使.Net程序员可以更方便的使用内存映射文件。 在C#中使用共享内存。...System.Text; using System.IO; //引用内存映射文件命名空间 using System.IO.MemoryMappedFiles; namespace App1 {...此程序写的过于简陋，有很多东西都没有去判断。比如说是怎么创建了一个共享内存怎么取删除它等等。。。

    1.9K20

    【Linux 内核 内存管理】优化内存屏障 ② ( 内存屏障 | 编译器屏障 | 处理器内存屏障 | 内存映射 IO 写屏障 )

    文章目录 一、内存屏障 二、编译器屏障 三、处理器内存屏障 一、内存屏障 ---- 内存屏障 , 又称为 " 屏障指令 " , 用于保证 " 编译器 “ 或 ” CPU “ 访问内存时 , 保证 按照顺序执行..., 即 ” 内存屏障 之前 “ 的指令 与 ” 内存屏障 之后 " 的指令 不会犹豫 编译器 和 CPU 优化导致 顺序混乱 ; " 指令 " 优化主要分 2 种 : ① 编译器优化 : 为了 提高程序执行性能...调整程序指令的执行顺序 ; ② CPU 执行优化 : 该优化是为了 提高 " 流水线 " 性能 , 但是 CPU 执行优化会导致 指令乱序执行 , 后面的指令先于前面的指令执行 , 导致 寄存器中的值冲突 ; Linux...内核支持的 3 种内核屏障 : ① 编译器屏障 ② 处理器内存屏障 ③ 内存映射 I/O 写屏障 , 全称 Memory Mapping I/O , 简称 MMIO , 目前已经被弃用 ; 二、编译器屏障...---- " 处理器内存屏障 “ 针对 ” CPU " 之间的内存访问乱序 和 CPU 访问外设乱序 问题 ; 为了 提高 " 流水线 " 性能 , 新式处理器可以采用 " 超标量 体系结构 “ 和

    2.4K30

    【Boost】Interprocess - 共享内存、文件映射介绍

    一、用法介绍       通过Interprocess，可以实现在共享内存、文件映射中保存vector、map等STL对象，并且可以使用自定义的类，官方文档介绍的也很详细了，下面是几个精简的示例...示例：基于文件映射的Map使用 #include #include <boost/interprocess/containers...e.what()); //file_mapping::remove("SharedMemory"); } return 0; } 执行后可以看到当前目录下已创建了内存文件...demo]# ls -al SharedMemory -rw-r--r-- 1 root root 65536 Feb 17 18:54 SharedMemory 示例：基于共享内存的...二、生命周期说明 机制上和Linux系统是一致的，分为进程级（进程退出销毁）、内核级（系统重启销毁）、文件系统级（文件删除销毁），这里不再赘述，附上官方原文。

    5K10

    2.1 PE结构：文件映射进内存

    它可以将一个文件映射到内存中，这样我们就可以像访问内存一样访问文件。这个函数需要传入一个文件句柄以及一个映像的大小。它返回一个句柄，表示创建的内存映像。...结构体的指针，它描述内存映射对象的安全性，如果为NULL，则内存映射对象不可继承。...函数返回值为一个文件映射对象的句柄，如果函数执行失败，返回值为NULL。 MapViewOfFile 用来读取映射中的内存的API函数。...它需要传入一个映像的句柄以及一个偏移量，用来指定从哪个位置开始读取内存。该函数返回一个指向映射内存的指针，我们可以使用它来读取或修改映射内存中的数据。...可以使用CreateFileMapping函数创建，表示要映射到内存中的文件或共享内存的句柄。

    26720

    Android mmap 文件映射到内存介绍

    为了降低写文件的频率，我们可能会采用缓存一定数量的log，再一次性把它们写到文件中。如果app异常退出，我们有可能会丢失内存中的log信息。...那么有什么比较稳妥的写文件方式，既能降低io，又能尽可能地保证数据被写入文件呢？...特点：实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。...，实现文件物理地址和进程虚拟地址的一一映射； 应用进程对映射区域访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝。...mmap注意点 对于大文件而言，内存映射比普通IO流要快，小文件则未必； 不要经常调用MappedByteBuffer.force()方法，这个方法强制操作系统将内存中的内容写入硬盘，所以如果你在每次写内存映射文件后都调用

    2.4K10
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券