256-Linux虚拟内存映射和fork的写时拷贝

「爱情、让人受尽委屈。」 2022-10-22 04:18 115阅读 0赞

## Linux虚拟内存映射 ##

**Linux通过将一个虚拟内存区域与一个磁盘上的对象关联起来，以初始化这个虚拟内存区域的内容，这个过程称为内存映射**。  
**进程这一抽象能够为每个进程提供自己私有的虚拟地址空间，可以免受其他进程的错误读写**。不过，许多进程有同样的只读代码区域。例如，每个运行Linux shell程序bash的进程都有相同的代码区域。而且，许多程序需要访问只读运行时库代码的相同副本。**例如**，每个C程序都需要来自标准C库的诸如printf这样的函数。那么，如果每个进程都在物理内存中保持这些常用代码的副本，那就是极端的浪费了。幸运的是，内存映射给我们提供了一种清晰的机制，用来控制多个进程如何共享对象。  
一个对象可以被映射到虚拟内存的一个区域，要么作为共享对象，要么作为私有对象。如果一个进程将一个**共享对象**映射到它的虚拟地址空间的一个区域内，那么这个进程对这个区域的任何写操作，对于那些也把这个共享对象映射到它们虚拟内存的其他进程而言，**也是可见的**。而且，这些变化也会反映在磁盘上的原始对象中。  
**另一方面**，对于一个映射到私有对象的区域做的改变，对于其他进程来说是**不可见的**，并且进程对这个区域所做的任何写操作都不会反映在磁盘上的对象中。一个映射到共享内存的虚拟内存区域叫做共享区域，类似的，也有私有区域。

**假设进程1将一个共享对象映射到它的虚拟内存的一个区域中，如下图所示。现在假设进程2将同一个共享对象映射到它的地址空间（并不一定要和进程1在相同的虚拟地址处）**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70]  
因为每个对象都有一个唯一的文件名，内核可以迅速地判定进程1已经映射到这个对象，而且可以使进程2的页表条目指向相应的物理页面。关键点在于即使对象被映射到了多个共享区域，**物理内存中也只需要存放共享对象的一个副本**。为了方便，我们将物理页面显示为连续的，但是在一般情况下当然不是这样的。

**私有对象使用一种叫做写时复制（copy-on-write）的巧妙技术被映射到虚拟内存中。**  
**一个私有对象开始生命周期的方式基本上与共享对象的一样，在物理内存中只保存私有对象的一份副本**。比如，图9-30a展示了一种情况，其中两个进程将一个私有对象映射到它们虚拟内存中的不同区域，**但是共享这个对象同一个物理副本**。**对于每个映射私有对象的进程，相应私有区域的页表条目都被标记为只读**，并且**区域结构**被标记为**私有的写时复制**。  
只要没有进程试图写它们的私有区域，它们可以继续共享物理内存中对象的一个单独副本。然而，只要有一个进程试图写私有区域内的某个页面，那么这个写操作就会触发一个**保护故障**。  
当故障处理程序注意到保护异常是由于进程试图写私有的写时复制区域中的一个页面而引起的，**它就会在物理内存中创建这个页面的一个新副本，更新页表条目指向这个新的副本，然后恢复这个页面的可写权限**，如图9-30b所示。当故障处理程序返回时，CPU重新执行这个写操作，现在在新创建的页面上这个写操作就可以正常执行了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 1]  
**通过延迟私有对象中的副本直到最后可能的时刻，写时复制最充分地使用了稀有的物理内存。**

## fork函数写时拷贝 ##

当fork函数被当前进程调用时，内核为新进程创建各种数据结构，并分配给它一个唯一的PID。为了给这个新进程创建虚拟内存，它创建了当前进程的mm\_struct、区域结构和页表的原样副本。它将两个进程中的每个页面都标记为只读，并且把两个进程中的每个区域结构都标记为私有的写时复制。  
当fork在新进程中返回时，新进程现在的虚拟内存刚好和调用fork时存在的虚拟内存相同。当这两个进程的任一个后来进行写操作时，写时复制机制就会创建新页面，因此，也就为每个进程保持了私有地址空间的抽象概念。

## fork系列函数的调用过程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 2]  
通常情况下，进程都会有独立的地址空间，为了提高系统的资源利用率，我们所使用的地址都是虚拟地址，控制台打印出来的地址是虚拟地址(我们用户能看到的)，真正的物理地址是给CPU看的，**虚拟地址与真实物理地址之间是有一个对应关系的。**  
**每个进程都有自己的虚拟地址空间，不同进程的相同的虚拟地址可以对应不同的物理地址。因此地址相同（虚拟地址）而值不同没什么奇怪。**  
**示例：**  
**假设我们定义了一个str字符串，在执行fork之后，子进程对str字符串进行了修改操作。**  
因为str的数据改变了，str所在的页面操作系统会给子进程重新分配，为什么打印出来的地址是一模一样的？  
因为fork时子进程获得父进程数据空间、堆和栈的复制，所以变量的地址（当然是虚拟地址）也是一样的。

**fork子进程完全复制了父进程的栈空间，也复制了它的内存分配页表，但没有复制物理页面，所以这时虚拟地址相同，物理地址也相同，但是会把父子共享的页面标记为“只读”（类似mmap的private的方式），如果父子进程一直对这个页面是同一个页面，直到其中任意一个进程要对共享的页面进行“写操作”，这时内核会 分配+复制 一个物理页面给这个进程使用，同时修改页表。而把原来的只读页面标记为“可写”，留给另外一个进程使用。操作性同在内存分配这块非常懒，仅仅只分配"新的页面" 并在页表里边改变相关属性。**

**Linux的fork()使用写时拷贝(copy-on-write)页实现**。  
**写时拷贝是一种可以推迟甚至避免拷贝数据的技术**。内核此时并不复制整个进程的地址空间，而是让**父子进程共享同一个地址空间。只有在需要写入的时候才会复制地址空间，从而使各个进行拥有各自的地址空间**。也就是说，资源的复制是在需要写入的时候才会进行，在此之前，只有以只读方式共享。这种技术使地址空间上的页的拷贝被推迟到实际发生写入的时候。在页根本不会被写入的情况下—例如，fork()后立即执行exec()，地址空间就无需被复制了。**fork()的实际开销就是复制父进程的页表以及给子进程创建一个进程描述符**。在一般情况下，进程创建后都为马上运行一个可执行的文件，这种优化，可以避免拷贝大量根本就不会被使用的数据(地址空间里常常包含数十兆的数据)。由于Unix强调进程快速执行的能力，所以这个优化是很重要的。

在fork之后exec之前两个进程用的是相同的物理空间（内存区），子进程的代码段、数据段、堆栈都是指向父进程的物理空间，也就是说，两者的虚拟空间不同，但其对应的物理空间是同一个。当父子进程中有更改相应段的行为发生时，再为子进程相应的段分配物理空间，如果不是因为exec，内核会给子进程的数据段、堆栈段分配相应的物理空间（至此两者有各自的进程空间，互不影响），而代码段继续共享父进程的物理空间（两者的代码完全相同）。而如果是因为exec，由于两者执行的代码不同，子进程的代码段也会分配单独的物理空间。

**fork之后内核会通过将子进程放在队列的前面，以让子进程先执行，以免父进程执行导致写时复制，而后子进程执行exec系统调用，因无意义的复制而造成效率的下降。**

## fork的文件操作 ##

**fork的另一个特性**是所有由父进程打开的描述符都被复制到子进程中。父、子进程中相同编号的文件描述符在内核中指向同一个file结构体，也就是说，file结构体的引用计数要增加。  
**但是需要注意的是文件操作**，由于文件的操作是通过**文件描述符表、文件表、v-node表**三个联系起来控制的，**其中文件表、v-node表是所有的进程共享，而每个进程都存在一个独立的文件描述符表**。父子进程虚拟存储空间的内容是大致相同的，**父子进程是通过同一个物理区域存储文件描述符表**，但如果修改文件描述符表，也会发生写时拷贝操作,只有这样才能保证子进程中对文件描述符的修改，不会影响到父进程的文件描述符表。例如**close操作**，因为close会导致文件的描述符的值发生变化，相当于发生了写操作，这是产生了写时拷贝过程，实现新的物理空间，然后再次发生close操作，这样就不会产生子进程中文件描述符的关闭而导致父进程不能访问文件。  
**原因分析**：由于父子进程的文件描述符表是相同的，但是如果在子进程中对fd（文件描述符表中的项）进行了修改，这时会发生写时拷贝过程，内核在物理内存中分配一个新的页面存储子进程原文件描述符fd存在页面的内容，然后再进行写操作，实现将fd修改掉。但是父进程的fd并没有发生改变，还是与其他的子进程共享文件描述符表，因此仍然是对原文件进行操作。

**因此需要注意 fork()函数实质上是按着写时拷贝的方式实现文件的映射 ，并不是共享，写时拷贝操作使得内存的需求量大大的减少了！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70]: /images/20221022/bcc6cd8376ed45fba00ddac7a35bfb8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 1]: /images/20221022/7a4da7e3bec84d31b15d4400584c7b9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 2]: /images/20221022/dd828d75364949f7bddd271a576cf780.png