基础：Linux磁盘IO的工作原理

「爱情、让人受尽委屈。」 2022-09-17 04:24 191阅读 0赞

# 引入 #

文件系统是对存储设备上的文件，进行组织管理的一种机制。而Linux在各种文件系统实现上，又抽象了一层虚拟文件系统VFS，它定义了一组，所有文件系统都支持的，数据结构和标准接口。

这样，对应用程序来说，只需要跟VFS提供的统一接口交互，而不需要关注文件系统的具体实现；对具体的文件系统来说，只需要按照VFS的标准，就可以无缝支持各种应用程序。

VFS内部又通过目录项、索引节点、逻辑块以及超级块等数据结构，来管理文件：

*  目录项，记录了文件的名字，以及文件与其他目录项之间的目录关系
 *  索引节点，记录了文件的元数据
 *  逻辑块，是由连续磁盘扇区构成的最小读写单元，用来存储文件数据
 *  超级块，用来记录文件系统整体的状态，比如索引节点和逻辑块的使用情况。

其中，目录项是一个内存缓存；而超级块、索引节点和逻辑块，都是存储在磁盘中的持久化数据。

> 问题是：磁盘又是怎么工作的呢？又有哪些指标可以用来衡量它的性能呢？

## 磁盘 ##

### 按照储存介质分类 ###

磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类，机械磁盘和固态磁盘：

*  机械磁盘，也叫做硬盘读写器(hard disk driver)，通常缩写为HDD。
    
     *  机械磁盘主要由盘片和读写磁头组成，数据就存储在盘片的环状磁道中。
     *  在读写数据前，需要移动读写磁头，定位到数据所在的磁道，然后才能访问数据
     *  显然，如果IO请求刚好连续，那就不需要磁盘寻址，自然可以获得最佳性能，这种方式就是连续(顺序)IO的原理。
     *  与之对应的就是随机IO，它需要不停的移动磁头，来定位数据位置，所以读写速度会比较慢
 *  固态磁盘（solid state disk），通常也叫做SSD，有固态电子元器件组成。
    
     *  固态磁盘不需要磁道寻址，所以，不管是连续IO，还是随机IO的性能，都比机械磁盘要好得多

其实，无论是机械磁盘，还是固态磁盘，相同磁盘的随机IO都要比连续IO慢很多，原因也很明显：

*  对于机械磁盘来说，由于随机IO需要更多的磁头寻道和盘片旋转，它的性能自然要比连续IO慢
 *  对于固态磁盘来说，虽然它的随机性能比机械硬盘要好很多，但同样存在“先擦除再写入”的限制。随机读写会导致大量的垃圾回收，所以相对应的，随机IO的性能比起连续IO来，也还是要差了很多
 *  此外，**连续IO还可以通过预读的方式，来减少IO请求的次数**。这也是其性能优异的一个原因。很多性能优化的方案，也都会从这个角度出发，来优化IO性能。

此外，机械磁盘和固态磁盘还分别有一个最小的读写单位。

*  机械磁盘的最小读写单位是扇区，一般大小为512字节
 *  固态磁盘的最小读写单位是页，通常大小是4KB、8KB等

如果每次都读写512字节这么小的单位的话，效率很低。所以，文件系统会把连续的扇区或者页，组成逻辑块，然后以逻辑块作为最小单位来管理数据。常见的逻辑块的⼤⼩是4KB，也就是说，连续8个扇区，或者单独的⼀个⻚，都可以组成⼀个逻辑块。

## 按照接口来分类 ##

除了可以按照存储介质来分类，另一个常见的分类方法，是按照接口来分类，比如可以把硬盘分为 IDE（Integrated Drive Electronics）、SCSI（Small Computer System Interface） 、SAS（Serial Attached SCSI） 、SATA（Serial ATA） 、FC（Fibre Channel） 等。

不同的接口，往往分配不同的设备名称。比如，

*  DE 设备会分配⼀个 hd 前缀的设备名
 *  SCSI和SATA设备会分配⼀个 sd 前缀的设备名。
 *  如果是多块同类型的磁盘，就会按照a、b、c等的字⺟顺序来编号。

## 按照使用方式分类 ##

除了磁盘本身的分类外，当你把磁盘接入到服务器后，按照不同的使用方式，又可以把他们分为不同的架构。

*  最简单的，就是直接作为独立磁盘设备来使用。这些磁盘，往往还会根据需要，划分为不同的逻辑分区，每个分区再用数据编号。⽐如我们前⾯多次⽤到的 /dev/sda ，还可以分成两个分区 /dev/sda1和/dev/sda2。
 *  另一个比较常用的架构，是把多个磁盘组合成一个逻辑磁盘，构成冗余独立磁盘阵列，也就是RAID（Redundant Array of Independent Disks），从而可以提高数据访问的性能，并且增强数据存储的可靠性  
    根据容量，性能和可靠性不同，RAID一般可以划分为多个级别，如RAID0、RAID1、RAID5、RAID10等。
    
     *  RAID0有最优的读写性能，但不提供数据冗余的功能
     *  而其他级别的RAID，在提供数据冗余的基础上，对读写性能也有一定的优化
 *  最后一种架构，是把这些磁盘组合成一个网络存储集群，再通过NFS、SMB、ISCS等网络存储协议，暴露给服务器使用。

其实在Linux中，**磁盘实际上是作为一个块设备来管理的**，也就是以块为单位读写数据，并且支持随机读写。每个块设备都会被赋予两个设备号，分布是主、次设备号。主设备号用在驱动程序中，用来区分设备类型；而次设备号则是用来给多个同类设备编号

## 通用块层 ##

跟虚拟文件系统VFS类似，为了减小不同块设备的差异带来的影响，Linux通过一个统一的通用块层，来管理各种不同的块设备。

通用块层，其实是处在文件系统和磁盘驱动中间的一个块设备抽象层。它主要有两个功能：

*  第一个功能类似VFS。向上，为文件系统和应用程序，提供访问块设备的标准接口；向下，把各种异构的磁盘设备抽象为统一的块设备，并提供统一框架来管理这些设备的驱动程序
 *  第二个功能，**通用块层还会给文件系统和应用程序发来的IO请求排队**，并通过重新排序、请求合并等方式，提供磁盘读写的效率

其中，对IO请求排序的功能，也就是**IO调度**。事实上，Linux内核支持四种IO调度算法，分别是NONE、NOOP、CFQ以及DeadLine：

*  NONE，更确切的说，并不能算IO调度算法。因为它完全不适用任何IO调度器，对文件系统和应用程序的IO其实不做任何处理，常用在虚拟机中（此时磁盘IO调度完全由物理机负责）
 *  NOOP，是最简单的一种IO调度算法。它实际上是一个先入先出的队列，只做一些最基本的请求合并，常用于SSD磁盘
 *  CFQ(Completely Fair Scheduler)，也被称为完全公平调度器，是现在很多发行版的默认IO调度器
    
     *  它为每个进程维护了一个IO调度队列，并按照时间来均匀分布每个进程的IO请求
     *  类似进程CPU调度，CFQ还支持进程IO的优先级调度，所以它适用于运行大量进程的系统；像桌面环境等
 *  DeadLine：
    
     *  分别为读、写请求创建了不同的IO队列，可以提高机械磁盘的吞吐量，并确保达到最终期限(deadline)的请求被优先处理
     *  多用于IO压力比较中的场景，比如数据库等

通用块层是Linux磁盘IO的核心。对上，它为文件系统和应用程序，提供了块设备的标准接口；向下，把各种异构的磁盘设备，抽象为统一的块设备，并会对对文件系统的IO请求进行排队、排序、请求合并等，提高了磁盘访问的效率。

## IO栈 ##

我们可以把**Linux存储系统的IO栈，由上到下分为三个层次，分别是文件系统层、通用块层和设备层**。这三个IO层的关系如下图（这也是Linux存储系统的IO栈全景图）

*  文件系统层，包括虚拟文件系统和其他各种文件系统的具体实现。它为上层的应用程序，提供标准的文件访问接口；对下会通过通用块层，来存储和管理磁盘数据
 *  通用块层，包括快设备IO队列和IO调度器。
    
     *  它会对文件系统的IO请求进行排队，再通过重新排序和请求合并，然后才要发送给下一级的设备层
 *  设备层，包括存储设备和响应的驱动程序，负责最终物理设备的IO操作

存储系统的IO，通常是整个系统中最慢的一环。所以，Linux通过多种缓存机制来优化IO效率。

比如说，为了优化文件缓存的性能，会使用页缓存、索引节点缓存、目录项缓存等多种缓存机制，以减少对下层块设备的直接调用

同样，为了优化块设备的访问效率，会是使用缓冲区，来缓存块设备的数据。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]

## 问题 ##

> ⼯作中经常看到使⽤多线程读写单个磁盘中不同⽂件的实现，个⼈认为这种⽅法并不能有效地提⾼性能，因为每个线程读写磁盘的位置可能差异很⼤，且每个线程的数据的空间局部性和时间局部性存在差异，导致磁盘调度优化不⾜。不知道对不对？

实际上，这是可以提高性能的。一方面，文件的读写是有操作系统缓存的。每次文件读写并不是立即对一个磁盘IO操作，在文件系统和块设备层依然可以做很多优化（比如排序、合并）。另一方面，如果是逐个来写的话，多个线程的工作就有可能被一系列的文件读写阻塞，而分开来每个线程就只需要阻塞自己所读写的文件（假设采用阻塞IO）

# 磁盘性能指标 #

## 性能指标 ##

使用率、饱和度、IOPS、吞吐量以及响应时间，这五个指标，是衡量磁盘性能的基本指标：

*  使用率，是指**磁盘处理IO的时间百分比**。过高的使用率(比如超过80%)，通常意味着磁盘IO存在性能瓶颈
 *  **饱和度，是指磁盘处理IO的繁忙程度**。过高的饱和度，意味着磁盘存在严重的性能瓶颈。当饱和度为100%时，磁盘无法接收新的IO请求
 *  **IOPS(Input/Output Per Second)，是指每秒的IO请求数**
 *  **吞吐量，是指每秒的IO请求大小**
 *  **响应时间，是指IO请求从发出到收到响应的间隔时间**

注意：

*  使用率只考虑有没有IO，而不考虑IO的大小。换句话说。当使用率是100%时，磁盘依然有可能接收新的IO请求。
 *  不要孤⽴地去⽐较某⼀指标，⽽要结合读写⽐例、I/O类型（随机还是连续）以及 I/O 的⼤⼩，综合来分析。举个例子
    
     *  在数据库、大量小文件等这类随机读写比较多的场景中，IOPS更能反映系统的整体性能
     *  在多媒体等顺序读写比较多的场景，吞吐量才更能反映系统的整体性能

一般来，我们在为应用程序的服务器选型时，要先对磁盘的IO性能进行基准测试，以便可以准确评估，磁盘性能是否可以满足应用程序的需求。

*  推荐使用性能工具测试fio，来来测试磁盘的IOPS、吞吐量以及响应时间等核⼼指标
 *  在基准测试时，⼀定要注意根据应⽤程序 I/O 的特点，来具体评估指标。
 *  需要测试出，不同 I/O ⼤⼩（⼀般是 512B ⾄ 1MB 中间的若⼲值）分别在随机读、顺序读、随机写、顺序写等各种场景下的性能情况。

使用性能工具得到这些指标，可以作为后继分析应用程序性能的依据，一旦发⽣性能问题，你就可以把它们作为磁盘性能的极限值，进⽽评估磁盘 I/O 的使⽤情况

## 磁盘I/O观测 ##

> 观测每块磁盘的使用情况

iostat 是最常⽤的磁盘I/O性能观测⼯具，它提供了每个磁盘的使⽤率、IOPS、吞吐量等各种常⻅的性能指标，当然，这些指标实际上来⾃ /proc/diskstats。

# -d -x表示显示所有磁盘I/O的指标
    $ iostat -d -x 1
    Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz svctm %util
    loop0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
    loop1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
    sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
    sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

第⼀列的 Device 表示磁盘设备的名字, 其他作用如下：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16 1]

*  %util ，就是我们前⾯提到的磁盘I/O使⽤率；
 *  r/s+ w/s ，就是 IOPS；
 *  rkB/s+wkB/s ，就是吞吐量；
 *  r\_await+w\_await ，就是响应时间。

在观测指标时，别忘了结合请求的⼤⼩（ rareq-sz 和wareq-sz）⼀起分析。

从上面可以看出，从iostat中并不能直接得到磁盘饱和度。事实上，饱和度通常没有其他更简单的观测方法。不过，可以把观测到的，平均请求对了长度或者读写请求完成的等待时间，跟基准测试的结果（比如fio）进行对比，总和评估磁盘的饱和情况。

## 进程IO观测 ##

除了每块磁盘的IO情况，每个进程的IO情况也是我们观测的重点。

但是iostat只提供磁盘整体的IO性能数据，并不能知道具体是哪些进程在进行磁盘读写。要观测进程的IO情况，需要使用pidstat和iotop

$ pidstat -d 1  # 每隔1s看一次进程的IO情况
    13:39:51 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
    13:39:52 102 916 0.00     4.00    0.00       0     rsyslogd

从pidstat的输出你能看到，它可以实时查看每个进程的I/O情况，包括下⾯这些内容。

*  ⽤户ID（UID）和进程ID（PID）
 *  每秒读取的数据⼤⼩（kB\_rd/s） ，单位是 KB。
 *  每秒发出的写请求数据⼤⼩（kB\_wr/s） ，单位是 KB。
 *  每秒取消的写请求数据⼤⼩（kB\_ccwr/s） ，单位是 KB。
 *  块I/O延迟（iodelay），包括等待同步块I/O和换⼊块I/O结束的时间，单位是时钟周期。

除了可以用pidstat实时查看，也可以使用iotop根据IO大小对进行排序，然后找到I/O较⼤的那些进程：

$ iotop
    Total DISK READ : 0.00 B/s | Total DISK WRITE : 7.85 K/s
    Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 0.00 B/s
    TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
    15055 be/3 root 0.00 B/s 7.85 K/s 0.00 % 0.00 % systemd-journald

*  前两行分别表示，进程的磁盘读写大小总数和磁盘真正的读写大小总数。因为缓存、缓冲区、IO合并等因素的影响，他们可能不相等
 *  剩下的部分，则是从各个⻆度来分别表示进程的I/O情况，包括线程ID、I/O优先级、每秒读磁盘的⼤⼩、每秒写磁盘的⼤⼩、换⼊和等待I/O的时钟百分⽐等。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/cc117da6ffc841a695365e199c0171c7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/e5b0f18003c94d4fb5d882e896c30a2c.png