阿里p10三分钟实现零拷贝

分手后的思念是犯贱 2022-11-12 02:56 134阅读 0赞

零拷贝的好处

减少或避免不必要的CPU数据拷贝，从而释放CPU去执行其他任务零拷贝机制能减少用户空间和操作系统内核空间的上下文切换减少内存的占用  
内核空间和用户空间  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70]

内核空间：Linux自身使用的空间；主要提供进程调度、内存分配、连接硬件资源等功能用户空间：提供给各个程序进程的空间；用户空间不具有访问内核空间资源的权限，如果应用程序需要使用到内核空间的资源，则需要通过系统调用来完成：从用户空间切换到内核空间，完成相关操作后再从内核空间切换回用户空间  
缓冲区和虚拟内存

直接内存访问（Direct Memory Access）（DMA）

直接内存访问：DMA允许外设设备和内存存储器之间直接进行IO数据传输，其过程不需要CPU的参与

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 1]

缓冲区 是所有I/O的基础，I/O 无非就是把数据移进或移出缓冲区

进程发起read请求，内核先检查内核空间缓冲区是否存在进程所需数据，如果已经存在，则直接copy数据到进程的内存区。如果没有，系统则向磁盘请求数据，通过DMA写入内核的read缓冲冲区，接着再将内核缓冲区数据copy到进程的内存区进程发起write请求，则是把进程的内存区数据copy到内核的write缓冲区，然后再通过DMA把内核缓冲区数据刷回磁盘或者网卡中  
虚拟内存：现代操作系统都使用虚拟内存，有如下两个好处

一个以上的虚拟地址可以指向同一个物理内存地址虚拟内存空间可大于实际可用的物理地址  
利用第一点特性可以把内核空间地址和用户空间的虚拟地址映射到同一个物理地址，这样DMA就可以填充(读写)对内核和用户空间进程同时可见的缓冲区了；大致如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 2]

传统的 I/O  
\#include  
ssize\_t write(int filedes, void \*buf, size\_t nbytes);  
ssize\_t read(int filedes, void \*buf, size\_t nbytes);  
复制代码

如java在linux系统上，读取一个磁盘文件，并发送到远程端的服务  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 3]

1）发出read系统调用，会导致用户空间到内核空间的上下文切换，然后再通过DMA将文件中的数据从磁盘上读取到内核空间缓冲区2）接着将内核空间缓冲区的数据拷贝到用户空间进程内存，然后read系统调用返回。而系统调用的返回又会导致一次内核空间到用户空间的上下文切换3）write系统调用，则再次导致用户空间到内核空间的上下文切换，将用户空间的进程里的内存数据复制到内核空间的socket缓冲区（也是内核缓冲区，不过是给socket使用的），然后write系统调用返回，再次触发上下文切换4）至于socket缓冲区到网卡的数据传输则是独立异步的过程，也就是说write系统调用的返回并不保证数据被传输到网卡  
「一共有四次用户空间与内核空间的上下文切换。四次数据copy，分别是两次CPU数据复制，两次DMA数据复制」  
mmap+write实现的零拷贝  
\#include <sys/mman.h>  
void \*mmap(void \*start, size\_t length, int prot, int flags, int fd, off\_t offset)  
复制代码

1）发出mmap系统调用，导致用户空间到内核空间的上下文切换。然后通过DMA引擎将磁盘文件中的数据复制到内核空间缓冲区2）mmap系统调用返回，导致内核空间到用户空间的上下文切换3）这里不需要将数据从内核空间复制到用户空间，因为用户空间和内核空间共享了这个缓冲区4）发出write系统调用，导致用户空间到内核空间的上下文切换。将数据从内核空间缓冲区复制到内核空间socket缓冲区；write系统调用返回，导致内核空间到用户空间的上下文切换5）异步，DMA引擎将socket缓冲区中的数据copy到网卡  
「通过mmap实现的零拷贝I/O进行了4次用户空间与内核空间的上下文切换，以及3次数据拷贝；其中3次数据拷贝中包括了2次DMA拷贝和1次CPU拷贝」  
sendfile实现的零拷贝![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 4]

\#include <sys/sendfile.h>  
ssize\_t sendfile(int out\_fd, int in\_fd, off\_t \*offset, size\_t count);  
复制代码

1）发出sendfile系统调用，导致用户空间到内核空间的上下文切换，然后通过DMA引擎将磁盘文件中的内容复制到内核空间缓冲区中，接着再将数据从内核空间缓冲区复制到socket相关的缓冲区2）sendfile系统调用返回，导致内核空间到用户空间的上下文切换。DMA异步将内核空间socket缓冲区中的数据传递到网卡  
「通过sendfile实现的零拷贝I/O使用了2次用户空间与内核空间的上下文切换，以及3次数据的拷贝。其中3次数据拷贝中包括了2次DMA拷贝和1次CPU拷贝」  
带有DMA收集拷贝功能的sendfile实现的零拷贝

从Linux 2.4版本开始，操作系统提供scatter和gather的SG-DMA方式，直接从内核空间缓冲区中将数据读取到网卡，无需将内核空间缓冲区的数据再复制一份到socket缓冲区

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 5]

1）发出sendfile系统调用，导致用户空间到内核空间的上下文切换。通过DMA引擎将磁盘文件中的内容复制到内核空间缓冲区2）这里没把数据复制到socket缓冲区；取而代之的是，相应的描述符信息被复制到socket缓冲区。该描述符包含了两种的信息：A)内核缓冲区的内存地址、B)内核缓冲区的偏移量3）sendfile系统调用返回，导致内核空间到用户空间的上下文切换。DMA根据socket缓冲区的描述符提供的地址和偏移量直接将内核缓冲区中的数据复制到网卡  
「带有DMA收集拷贝功能的sendfile实现的I/O使用了2次用户空间与内核空间的上下文切换，以及2次数据的拷贝，而且这2次的数据拷贝都是非CPU拷贝。这样一来我们就实现了最理想的零拷贝I/O传输了，不需要任何一次的CPU拷贝，以及最少的上下文切换」  
java提供的零拷贝方式

java NIO的零拷贝实现是基于mmap+write方式FileChannel的map方法产生的MappedByteBuffer  
FileChannel提供了map()方法，该方法可以在一个打开的文件和MappedByteBuffer之间建立一个虚拟内存映射，MappedByteBuffer继承于ByteBuffer；该缓冲器的内存是一个文件的内存映射区域。map方法底层是通过mmap实现的，因此将文件内存从磁盘读取到内核缓冲区后，用户空间和内核空间共享该缓冲区。用法如下  
public void main(String\[\] args)\{  
try \{  
FileChannel readChannel = FileChannel.open(Paths.get("./cscw.txt"), StandardOpenOption.READ);  
FileChannel writeChannel = FileChannel.open(Paths.get("./siting.txt"), StandardOpenOption.WRITE, StandardOpenOption.CREATE);  
MappedByteBuffer data = readChannel.map(FileChannel.MapMode.READ\_ONLY, 0, 1024 \* 1024 \* 40);  
//数据传输  
writeChannel.write(data);  
readChannel.close();  
writeChannel.close();  
\}catch (Exception e)\{  
System.out.println(e.getMessage());  
\}  
\}  
复制代码

FileChannel的transferTo、transferFrom  
如果操作系统底层支持的话，transferTo、transferFrom也会使用相关的零拷贝技术来实现数据的传输。用法如下  
public void main(String\[\] args) \{  
try \{  
FileChannel readChannel = FileChannel.open(Paths.get("./cscw.txt"), StandardOpenOption.READ);  
FileChannel writeChannel = FileChannel.open(Paths.get("./siting.txt"), StandardOpenOption.WRITE, StandardOpenOption.CREATE);  
long len = readChannel.size();  
long position = readChannel.position();  
//数据传输  
readChannel.transferTo(position, len, writeChannel);  
//效果和transferTo 一样的  
//writeChannel.transferFrom(readChannel, position, len, );  
readChannel.close();  
writeChannel.close();  
\} catch (Exception e) \{  
System.out.println(e.getMessage());  
\}  
\}  
复制代码  
欢迎指正文中错误

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70]: /images/20221022/aba174d156e14118b51696c4f09a18ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 1]: /images/20221022/a1e71ec245a24d269e895996868d203a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 2]: /images/20221022/e1f3b58a388e4e65a942d03c60e33ed9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 3]: /images/20221022/2470074975c04342a358026d3195d8e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 4]: /images/20221022/f126773ebfdc4063bd0987ba0694f264.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RjajE5OTgwODA1_size_16_color_FFFFFF_t_70 5]: /images/20221022/531788deedbd4fc7b6ac820dd5d9519b.png