Linux黑科技｜mmap实现详解（一文看懂~）
mmap的全称是memory map，中文意思是内存映射。其用途是将文件映射到内存中，然后可以通过对映射区的内存进行读写操作，其效果等同于对文件进行读写操作。mmap的原理就是将虚拟内存空间映射到文件的页缓存，可知，对文件进行读写时需要经过页缓存进行中转的。所以当虚拟内存地址映射到文件的页缓存后，就可以直接通过读写映射区内存来对文件进行读写操作。在分析mmap的实现前，最好先了解其使用方式。1. 文件映射当我们使用mmap()系统调用对文件进行映射时，将会触发调用do_mmap_pgoff()内核函数来完成工作，经过精简后的do_mmap_pgoff()函数主要完成以下两个工作：在32位的操作系统中，每个进程都有4GB的虚拟内存空间，应用程序在使用内存前，需要先向操作系统发起申请内存的操作。操作系统会从进程的虚拟内存空间中查找未被使用的内存地址，并且返回给应用程序。操作系统会记录进程正在使用中的虚拟内存地址，如果内存地址没被登记，说明此内存地址是空闲的（未被使用）
8张图讲清楚mmap实现原理
在研究Linux内核和系统编程时，mmap内存映射是高性能编程的关键点。本文通过一系列图片深入解析mmap的实现原理。1. 虚拟地址映射物理地址理解mmap的基础在于理解虚拟地址如何映射到物理地址。64位CPU使用4级页表，其中虚拟地址由48位组成，分为用户空间和内核空间部分，总共256TB。地址结构由pgd、pud、pmd和ptl表的偏移量精确控制，如pgd表偏移为9位，物理页偏移为12位。1.1 映射过程虚拟地址通过逐级查找pgd、pud、pmd和ptl表来定位物理地址，涉及的表项数量和索引计算简单明了。每个进程的mm_struct结构包含了这些表的首地址，保证了地址空间的隔离性。2. mmap实现原理mmap函数通过创建VMA（虚拟内存区域）实现了内存映射，包括文件映射和匿名映射两种方式。VMA是描述进程内存区域的数据结构，与内核的struct vm_area_struct关联，包含访问权限和映射类型信息
Linux内存管理之mmap详解
Linux内存管理之mmap详解一. mmap系统调用mmap是Linux内核提供的一种功能，用于将文件或其他对象映射到进程的内存中。文件会映射到多个页上，如果文件大小不是所有页大小的总和，那么最后一个页的未使用空间会被清零。munmap则执行相反的操作，移除特定地址区域的对象映射。使用mmap映射文件到进程后，可以直接操作虚拟地址区域进行文件的读写等操作，无需再调用read,write等系统调用。但需注意，直接对该段内存进行写操作时不会写入超过当前文件大小的内容。共享内存通信的一个显著优点是效率高，进程可以直接读写内存，而无需数据拷贝。与管道和消息队列等通信方式相比，共享内存只需要两次数据拷贝：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。实际上，通信时，进程并不总是读写少量数据后就解除映射，而是保持共享区域，直到通信结束，数据内容一直保存在共享内存中，并在解除映射时写回文件
[原创] 深入剖析mmap原理 - 从三个关键问题说起
对于mmap，您是否能从原理上解析以下三个问题： 要解决这些疑问，可能还需要在操作系统层面多了解。本文将尝试通过这些问题深入剖析，希望通过这篇文章，能使大家对mmap有较深入的认识，也能在存储引擎的设计中，有所参考。 最近在研发分布式日志存储系统，这是一个基于Raft协议的自研分布式日志存储系统，Logstore则是底层存储引擎。 Logstore中，使用mmap对数据文件进行读写。Logstore的存储结构简化如下图： Logstore使用了Segments Files + Index Files的方式存储Log，Segment File是存储主体，用于存储Log数据，使用定长的方式，默认每个512M，Index File主要用于Segment File的内容检索。 Logstore使用mmap的方式读写Segment
Linux的mmap文件内存映射机制是什么？
共享内存允许两个或多个进程共享一给定的存储区，因为数据不需要来回复制，所以是最快的一种进程间通信机制。共享内存可以通过mmap()映射普通文件（特殊情况下还可以采用匿名映射）机制实现，也可以通过系统V共享内存机制实现。应用接口和原理很简单，内部机制复杂。为了实现更安全通信，往往还与信号灯等同步机制共同使用。mmap的机制如：就是在磁盘上建立一个文件，每个进程存储器里面，单独开辟一个空间来进行映射。如果多进程的话，那么不会对实际的物理存储器（主存）消耗太大。shm的机制：每个进程的共享内存都直接映射到实际物理存储器里面。1、mmap保存到实际硬盘，实际存储并没有反映到主存上。优点：储存量可以很大（多于主存）；缺点：进程间读取和写入速度要比主存的要慢。2、shm保存到物理存储器（主存），实际的储存量直接反映到主存上。优点，进程间访问速度（读写）比磁盘要快；缺点，储存量不能非常大（多于主存）使用上看：如果分配的存储量不大，那么使用shm