linux两种拷贝,常见的两种零拷贝技术

冷不防 2023-01-21 12:20 8阅读 0赞

![1c97fc1708dd][]

电梯战神

什么是零拷贝？

在讲解零拷贝之前，我们先来了解一下为什么要引入零拷贝，以及零拷贝解决了什么问题。

内核态与用户态

操作系统为了限制不同程序之间的访问能力，防止他们获取别的程序的内存数据或者外设的数据以及限制某些指令的调用，所以划分出内核与用户两个权限等级。所有的用户程序都运行在用户态，但用户程序有时候可能需要从磁盘读取文件或者写入文件，这些操作只能由内核态完成，所以这个时候就需要内核态与用户态的切换以及数据的拷贝

假设我们的应用程序需要从磁盘中读取文件，然后通过网络发送出去，Linux 操作系统会基于数据排序或者校验等各方面因素的考虑，内核会在处理数据传输的过程中进行多次拷贝操作。这些数据拷贝操作会降低数据传输的性能。

当应用程序需要访问磁盘数据时，内核会使用DMA将数据从磁盘读出并放到内核缓冲区，再将数据拷贝到用户缓冲区，再将数据拷贝到socket缓冲区，再使用DMA将数据拷贝到网卡设备中。

![1c97fc1708dd][]

拷贝流程

DMA是一种无需CPU的参与就可以让外设和系统内存之间进行双向数据传输的硬件机制。使CPU从实际的I/O数据传输过程中摆脱出来。

从上述流程可以看出，数据经过了多次的拷贝操作，数据拷贝需要占用CPU时间片，也经历了多次内核与用户态的转换，对性能影响较大。为了解决数据多次拷贝这个问题，Linux引入了零拷贝技术。

Linux mmap()

mmap用来代替Linux read接口来读取数据，调用之后，数据会通过DMA拷贝到操作系统内核缓冲区，接着用户程序与内核公用这个缓冲区，这样用户空间与内核空间就不需要互相拷贝数据了。

对应Java

Java对mmap的实现就是MappedByteBuffer类，使用它我们可以直接在内存中进行文件读写。

Linux sendfile()

sendfile接口利用DMA将数据拷贝到内核缓冲区，然后数据被拷贝到socket缓冲区，接下来DMA再将数据拷贝到网卡设备中。sendfile() 调用不需要将数据拷贝或者映射到应用程序地址空间中去，所以 sendfile() 只是适用于应用程序地址空间不需要对所访问数据进行处理的情况。

而在带有DMA收集拷贝的情况下：

sendfile() 系统调用利用 DMA 引擎将文件内容拷贝到内核缓冲区去；然后，将带有文件位置和长度信息的缓冲区描述符添加到 socket 缓冲区中去，此过程不需要将数据从操作系统内核缓冲区拷贝到 socket 缓冲区中，DMA 引擎会将数据直接从内核缓冲区拷贝到网卡设备中。

通过这种方法，CPU 在数据传输的过程中不但避免了数据拷贝操作

对应Java

Java就sendfile的实现就是FileChannel的transferTo()和transferFrom()，将数据从一个channel传输到另一个channel

[1c97fc1708dd]: /images/20221020/b867b38d74f04f67b905dd2e8ce8b690.png

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka 零拷贝技术

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、H...

怼烎@/ 2024年04月28日 13:02/ 0 赞/ 87 阅读

相关 Linux零拷贝技术浅谈。

本文探讨Linux中主要的几种零拷贝技术以及零拷贝技术适用的场景。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入： 01 引文在写一个服务端程序时（

╰+攻爆jí腚メ/ 2024年04月01日 12:12/ 0 赞/ 100 阅读

相关 Linux零拷贝技术

目录前言传统数据交互零拷贝 mmap+write 小结

分手后的思念是犯贱/ 2024年03月25日 21:55/ 0 赞/ 101 阅读

相关零拷贝技术

如今几乎每个人都听说过Linux中所谓的"零拷贝"特性，然而我经常碰到没有充分理解这个问题的人们。因此，我决定写一些文章略微深入的讲述这个问题，希望能将这个有用的特性解释清楚。

蔚落/ 2023年10月18日 09:21/ 0 赞/ 144 阅读

相关 linux两种拷贝,常见的两种零拷贝技术

![1c97fc1708dd][] 电梯战神什么是零拷贝？在讲解零拷贝之前，我们先来了解一下为什么要引入零拷贝，以及零拷贝解决了什么问题。内核态与用户态操作系

冷不防/ 2023年01月21日 12:20/ 0 赞/ 9 阅读

相关 JS深拷贝实现两种方式

递归复制方式： function deepClone(obj) { let res = Array.isarray(obj) ? obj : {};

╰+攻爆jí腚メ/ 2022年12月25日 11:54/ 0 赞/ 178 阅读

相关深拷贝的两种方式

深拷贝的两种方式 1. JSON.parse(JSON.stringify(arr)) 弊端:无法拷贝NaN,undefined,Symbol数据类型 2.

r囧r小猫/ 2022年11月09日 11:26/ 0 赞/ 162 阅读

相关 Java 两种zero-copy零拷贝技术mmap和sendfile的介绍

> 详细介绍了两种zero-copy零拷贝技术mmap和sendfile的概念和基本原理。文章目录 1 标准IO 2 零拷贝 2.1 send

逃离我推掉我的手/ 2022年09月11日 12:19/ 0 赞/ 327 阅读

相关浅析 Linux 中的零拷贝技术

本文探讨Linux中主要的几种零拷贝技术以及零拷贝技术适用的场景。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：引文在写一个服务端程序时（

你的名字/ 2021年07月27日 02:46/ 0 赞/ 382 阅读

相关 Linux 中的零拷贝技术

引文在写一个服务端程序时（Web Server或者文件服务器），文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去

骑猪看日落/ 2021年05月12日 11:49/ 0 赞/ 430 阅读