文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux内存映射——mmap

一 mmap系统调用 1.内存映射 所谓的内存映射就是把物理内存映射到进程的地址空间之内，这些应用程序就可以直接使用输入输出的地址空间，从而提高读写的效率。...Linux提供了mmap()函数，用来映射物理内存。...2.mmap系统调用 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。...共享内存中的内容往往是在解除映射时才写回文件的。因此，采用共享内存的通信方式效率是非常高的。 基于文件的映射，在mmap和munmap执行过程的任何时刻，被映射文件的st_atime可能被更新。...四 总结 1.对于mmap的内存映射，是将物理内存映射到进程的虚拟地址空间中去，那么进程对文件的访问就相当于直接对内存的访问，从而加快了读写操作的效率。

5.7K10

linux内存映射mmap原理分析

一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。...在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被放入了内存，具体到代码，就是建立并初始化了相关的数据结构（struct address_space），这个过程有系统调用mmap...图1.内存映射原理 既然建立内存映射没有进行实际的数据拷贝，那么进程又怎么能最终直接通过内存操作访问到硬盘上的文件呢？那就要看内存映射之后的几个相关的过程了。...这个过程与内存映射无关。...（也就是该文件从来没有被读入内存的情况），则会通过mmap()建立的映射关系，从硬盘上将文件读取到物理内存中，如图1中过程3所示。

4.4K41
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    【Linux 内核 内存管理】内存管理系统调用 ② ( mmap 创建内存映射 | mmap 创建内存映射 与 malloc 申请内存对比 | mmap 创建内存映射 与 普通文件操作对比 )

    文章目录 一、mmap 创建内存映射 与 malloc 申请内存对比 1、malloc 函数原型 2、malloc 申请动态内存过程 3、malloc 使用的系统调用判定 ( brk | mmap )...4、mmap 创建内存映射 二、mmap 创建内存映射 与 普通文件操作 对比 一、mmap 创建内存映射 与 malloc 申请内存对比 ---- 1、malloc 函数原型 C 标准库 stdlib.h...; 使用 mmap 系统调用 : 如果 应用程序 申请的内存大小 大于等于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 mmap 系统调用 , 向 Linux 内核申请内存...; 4、mmap 创建内存映射 mmap 可以直接向 Linux 内核申请 " 虚拟内存 " , 不需要经过 " 用户态 “ 与 ” 内核态 " 之间的转换 ; 二、mmap 创建内存映射 与 普通文件操作...与 内核模式 切换的开销 , 提高了文件操作的性能 ; 此外 , 多个进程之间 , 可以使用 mmap 系统调用 创建 共享的 " 文件映射 “ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作

    6.2K20

    Linux内存映射函数mmap与匿名内存块

    mmap也可以直接映射匿名内存块，无需提供文件fd，直接申请一块内存给当前进程使用，也可以选择继承给子进程。注意匿名映射不会真的创建文件，只是拿到了一块填充0的内存。...与共享内存这种传统IPC相比，mmap匿名内存更为灵活，Postgresql使用的共享内存全部是用mmap申请的，只用共享内存申请一个PGShmemHeader结构的大小。...MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。 MAP_HUGETLB 使用内存大页。...申请在堆和栈中间的位置： 4 匿名内存块映射（Postgresql中的mmap） CreateAnonymousSegment ptr = mmap(NULL, allocsize, PROT_READ...匿名映射的优点： 没有虚拟地址空间碎片，取消映射后，内存立即归还给系统。 与全局堆分开。 可以给子进程继承使用。 匿名映射的缺点： 不能调整大小！

    2.2K30

    一文读懂 Linux mmap 内存映射

    1.简介 mmap（memory map）即内存映射，用于将一个文件或设备映射到进程的地址空间，或者创建匿名的内存映射。...5.使用场景 Linux mmap 是一个灵活的系统调用，主要用于在进程的虚拟地址空间中创建映射，使得文件、设备、匿名映射等对象能够直接映射到进程的地址空间。...6.FAQ （1）mmap 映射到进程的虚拟地址是一样的吗？ 在 Linux 中，mmap 函数可以用于将一个文件或者其他对象映射到进程的地址空间。...参考文献 mmap(2) - Linux manual page mmap - opengroup.org 认真分析mmap：是什么为什么怎么用- 胡潇 Linux source code (v6.0...Linux的虚拟内存详解（MMU、页表结构） When would you use mmap - Stack Overflow

    4.1K01

    Linux的内存共享映射(mmap和munmap)

    Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制...：共享和私有，如果是共享映射，那么在内存中对文件进行修改，磁盘中对应的文件也会被修改，相反，磁盘中的文件有了修改，内存中的文件也被修改。...如果是私有映射，那么内存中的文件是独立的，二者进行修改都不会对对方造成影响。...通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。...磁盘中的文件通过mmap函数来实现映射，然后通过munmap函数取消映射。

    8.2K30

    3、mmap（内存映射、共享）

    mmap：内存映射(内存、用户缓冲区共享一块映射数据) 直接将磁盘文件数基于DMA引擎拷贝据映射到内核缓冲区，同时用户缓冲区是跟内核缓冲区共享一块映射数据， 建立映射后，不需要从内核缓冲区拷贝到用户缓冲区...mmap：产生4次用户上下文切换，3次拷贝。...mmap() 系统调用函数会直接把内核缓冲区里的数据映射到用户空间，这样，操作系统内核与用户空间共享缓冲区，就不需要再进行任何的数据拷贝操作。...buf = mmap(file, len);write(sockfd, buf, len);注释: mmap file ,write socket 隐含了read file and copy file...我们可以得知，通过使用 mmap() 来代替 read()， 可以减少一次数据拷贝的过程。

    19100

    iOS文件内存映射——MMAP

    文件操作的更底层实现过程，是使用linux的read()、write()函数直接操作文件句柄（也叫文件描述符、fd）。...而mmap将磁盘上文件的地址信息与进程用的虚拟逻辑地址进行映射，建立映射的过程与普通的内存读取不同：正常的是将文件拷贝到内存，mmap只是建立映射而不会将文件加载到内存中。...App 只管往里面写数据，由 iOS 负责将内存回写到文件，不必担心 crash 导致数据丢失。 下面两个图分别显示进程读取磁盘文件的过程和使用mmap进行文件映射的过程。 ? 图1 ?...就是文件的内存映射，通常读取文件是将文件读取到内存，会占用真正的物理内存；而mmap是用进程的内存虚拟地址空间去映射实际的文件中，这个过程由操作系统处理。...mmap不会为文件分配物理内存，而是相当于将内存地址指向文件的磁盘地址，后续对这些内存进行的读写操作，会由操作系统同步到磁盘上的文件。这种操作也节省了很多内存占用，极大的提升了进程的性能。

    1.6K20

    iOS的文件内存映射——mmap

    文件操作的更底层实现过程，是使用linux的read()、write()函数直接操作文件句柄（也叫文件描述符、fd）。...而mmap将磁盘上文件的地址信息与进程用的虚拟逻辑地址进行映射，建立映射的过程与普通的内存读取不同：正常的是将文件拷贝到内存，mmap只是建立映射而不会将文件加载到内存中。...这样做的注意事项： 1、牺牲较大的虚拟内存，映射区域有多大就需要虚拟内存有多大；（故而太大的文件不适合映射整个文件，32位虚拟内存最大是4GB，可以只映射部分） 2、因为映射有额外的性能消耗，所以适用于频繁读操作的场景...如果文件很大，直接使用dataWithContentsOfFile方法，会导致load整个文件，出现内存占用过多的情况；此时用NSDataReadingMappedIfSafe，则会使用mmap建立文件映射...总结 mmap就是文件的内存映射，通常读取文件是将文件读取到内存，会占用真正的物理内存；而mmap是用进程的内存虚拟地址空间去映射实际的文件中，这个过程由操作系统处理。

    2.7K10

    mmap：Python内存映射文件操作

    前言 内存映射通常可以提高I/O的性能，因为使用内存映射时，不需要对每个访问都建立一个单独的系统调用，也不需要在缓冲区之间复制数据，内核和用户都能很方便的直接访问内存。...本篇，将详细介绍Python内存映射库：mmap。 mmap（读文件） 使用mmap()函数可以创建一个内存映射文件。...该函数的第1个参数是一个文件描述符，可以通过file对象的fileno()函数获取；第2个参数是要映射的文件部分大小（单位字节），如果该值为0，映射整个文件，如果该参数大于文件大小，则扩展该文件。...示例如下： import mmap with open('英文文档.txt','r') as f: with mmap.mmap(f.fileno(),0,access=mmap.ACCESS_READ...需要特别注意的是，windows不支持创建长度为0的映射。

    33740

    深入理解内存映射mmap

    内存映射mmap是Linux内核的一个重要机制，它和虚拟内存管理以及文件IO都有直接的关系，这篇细说一下mmap的一些要点。...修改（2015-11-12）：Linux的虚拟内存管理是基于mmap来实现的。...操作系统分配物理内存时实际用到了匿名文件的mmap。 mmap和虚拟内存管理 先来看看Linux内核的用户进程虚拟内存管理。内核定义了mm_struct结构来表示一个用户进程的虚拟内存地址空间。...而mmap是C标准库提供给用户程序的一个函数来使用内存映射，建立起文件地址空间和虚拟内存区域的映射关系。...mmap的4种类型 mmap分为有后备文件的映射和匿名文件的映射，这两种映射又有私有映射和共享映射之分，所以mmap可以创建4种类型的映射 后备文件的共享映射，多个进程的vm_area_struct指向同一个物理内存区域

    3.1K21

    【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 )

    文章目录 一、mmap 创建内存映射代码示例 1、fopen 打开或创建文件 2、lseek 设置文件大小 3、mmap 函数使用 4、munmap 删除内存映射 二、完整代码示例 一、mmap 创建内存映射代码示例...: 内存保护的标志位 , 该内存页的内容可以 读取 写入 MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 fd : 文件描述符 , 被映射的文件 0 : 被映射文件的偏移量...) * 1 : 文件映射区的长度 // PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系..., 删除 mmap 创建的 内存映射 ; // 删除文件映射 munmap(p_student, sizeof(student) * 10); 二、完整代码示例 ---- #include..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //

    1.4K10

    Android mmap 文件映射到内存介绍

    mmap 简介 mmap 概念 mmap 是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。...mmap 内存映射原理 mmap 内存映射的实现过程，总的来说可以分为三个阶段： 应用进程启动映射，在进程的虚拟地址空间中，寻找一段空闲的满足要求的连续的虚拟地址作为映射区域； 调用系统函数 mmap...，实现文件物理地址和进程虚拟地址的一一映射； 应用进程对映射区域访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝。...mmap注意点 对于大文件而言，内存映射比普通IO流要快，小文件则未必； 不要经常调用MappedByteBuffer.force()方法，这个方法强制操作系统将内存中的内容写入硬盘，所以如果你在每次写内存映射文件后都调用...读写内存映射文件是操作系统来负责的，因此，即使你的 Java 程序在写入内存后就挂掉了，只要操作系统工作正常，数据就会写入磁盘。

    2.4K10

    mmap映射类型

    文件映射和匿名映射都是操作系统中对于内存映射的两种类型，主要应用于进程间的通信或者大量数据的处理。...文件映射，也就是内存映射文件，是把一个文件或者文件的一部分映射到进程的地址空间，它允许对文件进行随机访问。当进程对这块内存区域进行读写还操作时，系统会自动把更改写回磁盘文件。...匿名映射则不涉及到具体的文件，仅将物理内存区域映射到进程的地址空间，通常用于进程之间的共享内存。...共享映射则允许多个进程映射同一片物理内存，使得多个进程能够共享同一份数据。共享映射下的数据，如果被一个进程修改，其他进程也可以看到修改后的结果。这种映射方式主要用于实现共享内存、文件映射等功能。...映射类型 私有映射 共享映射 匿名映射 私有匿名映射-通常用于内存分配 共享匿名映射-通常用于进程间共享内存 文件映射 私有文件映射-通常用于加载动态库 共享文件映射-通常用于内存映射IO，进程间通讯

    26310

    笔记 Lab10: Mmap | 文件内存映射

    Lab 10: mmap (hard) 实现 *nix 系统调用 mmap 的简单版：支持将文件映射到一片用户虚拟内存区域内，并且支持将对其的修改写回磁盘。...这里涉及的操作系统基本概念是「虚存」，mmap 指令除了可以用来将文件映射到内存上，还可以用来将创建的进程间共享内存映射到当前进程的地址空间内。本 lab 只需实现前一功能即可。...代码实现 首先需要在用户的地址空间内，找到一片空闲的区域，用于映射 mmap 页。...所能使用的最后一个页+1 #define MMAPEND TRAPFRAME 接下来定义 vma 结构体，其中包含了 mmap 映射的内存区域的各种必要信息，比如开始地址、大小、所映射文件、文件内偏移以及权限等...我们只拷贝了 vma 项到子进程，这样子进程尝试访问 mmap 页的时候，会重新触发懒加载，重新分配物理页以及建立映射。

    1.5K20

    Python3 mmap内存映射文件示例解析

    1. mmap内存映射文件 建立一个文件的内存映射将使用操作系统虚拟内存来直接访问文件系统上的数据，而不是使用常规的I/O函数访问数据。...内存映射通常可以提供I/O性能，因为使用内存映射是，不需要对每个访问都建立一个单独的系统调用，也不需要在缓冲区之间复制数据；实际上，内核和用户应用都能直接访问内存。...内存映射文件可以看作是可修改的字符串或类似文件的对象，这取决于具体的需要。...Suspendisse imperdiet justo. 1.1 读文件 使用mmap()函数可以创建一个内存映射文件。...调用者在调用mmap()之前负责打开文件，不再需要文件时要负责将其关闭。 mmap()的第二个参数是要映射的文件部分的大小(以字节为单位)。如果这个值为0，则映射整个文件。

    1.2K10

    【Linux 内核 内存管理】内存管理系统调用 ⑤ ( 代码示例 | 多进程共享 mmap 内存映射示例 )

    文章目录 一、进程一描述 二、进程二描述 三、mmap 进程共享内存展示 一、进程一描述 ---- 在上一篇博客 【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射...| munmap 删除内存映射 ) 中 , 完成了 进程一 的程序 , 在该进程中 , 创建并打开文件 , 为该文件设置大小 , 使用 mmap 创建 " 文件映射 " , 并通过直接访问内存的方式...; 二、进程二描述 ---- 进程二 的源码 , 与上一篇博客 【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 ) 中 进程一..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //..., 编译出的可执行文件为 mmap_demo_02 ; 三、mmap 进程共享内存展示 ---- 先执行 进程一 mmap_demo_01 可执行程序 , 进程一 中通过 mmap 文件映射向文件中写出数据后

    3.6K30

    【Linux 内核 内存管理】内存管理系统调用 ① ( mmap 创建内存映射 | munmap 删除内存映射 | mprotect 设置虚拟内存区域访问权限 )

    文章目录 一、mmap 创建内存映射 二、munmap 删除内存映射 三、mprotect 设置虚拟内存区域访问权限 一、mmap 创建内存映射 ---- mmap 系统调用函数 , 用于 创建 " 内存映射..." ; 该 " 系统调用 " 函数工作原理如下 : 首先 , 创建 " 匿名内存映射 “ , 将 ” 物理内存页 “ 映射到 进程的 ” 用户虚拟地址空间 " 中 ; 然后 , 将 指定文件 的 指定数据区间...映射到 " 用户虚拟地址空间 " 中 ; 此时 , 可以通过 指针 访问 内存的方式 , 访问文件 ; mmap 函数原型如下 : #include void* mmap(void...首先调用 fopen 函数打开文件 , 然后调用 fread fwrite 等函数操作文件 , 这些操作 在 用户模式 下调用 , 然后需要 切换到 内核模式 下调用 Linux 内核中相应的文件操作...mmap 系统调用 创建 共享的 " 文件映射 “ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ; 二、munmap 删除内存映射 ---- munmap 系统调用 的作用是 删除内存映射

    1.3K20

    轻松突破文件IO瓶颈：内存映射mmap技术

    一、mmap基础概念 mmap 即 memory map，也就是内存映射。...如下图所示： mmap的作用，在应用这一层，是让你把文件的某一段，当作内存一样来访问。将文件映射到物理内存，将进程虚拟空间映射到那块内存。...（物理内存），因此完全可以分配远远大于物理内存大小的虚拟空间（例如 16G 内存主机分配 1000G 的 mmap 内存空间）； mmap 负责映射文件逻辑上一段连续的数据（物理上可以不连续存储）映射为连续内存...vm_area_struct： linux使用vm_area_struct来表示一个独立的虚拟内存区域，一个进程可以使用多个vm_area_struct来表示不用类型的虚拟内存区域（如堆，栈，代码段，MMAP...mmap()实现，所以建立内存映射的效率很高。

    3.9K20
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券