网络：关于Linux网络，你必须知道这些

﹏ヽ暗。殇╰゛Y 2022-08-28 02:45 255阅读 0赞

# Linux网络工作原理 #

*  同CPU、内存以及IO一样，网络也是Linux系统最核心的功能。
 *  网络是一种把不同计算机或者网络设备连接到一起的技术，它本质上是一种进程间通信方式，特别是跨系统的进程间通信，必须要通过网络才能进行

那么，Linux网络又是怎么工作的呢？又有哪些指标可以衡量网络的性能呢？

## 网络模型 ##

说到网络，就会想到七层负载均衡、四层负载均衡，或者三层设备、二层设备等等。那么，这里说的二层、三层、四层、七层又都是什么意思呢？

实际上，这些层都来⾃国际标准化组织制定的开放式系统互联通信参考模型（Open System Interconnection Reference Model），简称为OSI网络模型。

为了解决网络互联层异构设备的兼容性问题，并解耦复杂的网络包处理流程，OSI模型把网络互联的框架分为物理层、数据链路层、网络层、传输层、会话层、表示层、应用层共七层，每个层负责不同的功能。其中：

*  物理层，负责在物理网络中传输数据帧
 *  数据链路层，负责MAC寻址，错误侦测和改错
 *  网络层，复制数据的路由和转发
 *  传输层，负责为数据加上传输表头，形成数据包
 *  会话层，负责把数据转换成兼容接收系统的格式
 *  应用层，负责为应用程序提供统一的接口

但是OSI模型还是太过复杂了，也没能提供一个可以实现的方法。所以，在Linux中，我们实际上使用的是另一个更实用的四层模式，即TCP/IP网络模型。

TCP/IP模型，把网络互联的框架分为网络接口层、网络层、传输层、应用层共四层，其中：

*  网络接口层，负责网络包在物理网络中的传输，比如MAC寻址、错误侦测以及通过网卡传输网络帧等。
 *  网络层，负责网络包的封装、寻址和路由，比如IP、ICMP等
 *  传输层，负责端到端的通信，比如TCP、UDP等
 *  应用层，负责向用户提供一组应用程序，比如HTTP、FTP、DNS等

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_15_color_FFFFFF_t_70_g_se_x_16]  
当然了，虽说 Linux 实际按照 TCP/IP 模型，实现了⽹络协议栈，但在平时的学习交流中，我们习惯上还是⽤ OSI 七层模型来描述。⽐如，说到七层和四层负载均衡，对应的分别是 OSI 模型中的应⽤层和传输层（⽽它们对应到 TCP/IP 模型中，实际上是四层和三层）。

## Linux网络栈 ##

有了TCP/IP模型后，在进行网络传输时，数据包就会按照协议栈，对上一层发来的数据进行逐层处理；然后封装上该层的协议头，再发送给下一层。

当然，网络包在每一层的处理逻辑，都取决于各层采用的网络协议。比如在应用层，一个提供rest API的应用，可以使用HTTP协议，把它需要传输的JSON数据封装到HTTP协议中，然后向下传递给TCP层

而封装要做的事情就是在原来的负载的前后，增加固定格式的元数据，原始的负载数据并不会被修改。

⽐如，以通过 TCP 协议通信的⽹络包为例，通过下⾯这张图，我们可以看到，应⽤程序数据在每个层的封装格式。  
![在这里插入图片描述][212f8e306b184333a1305ba22e6df8e8.png]

*  传输层在应⽤程序数据前⾯增加了 TCP 头；
 *  ⽹络层在 TCP 数据包前增加了 IP 头；
 *  ⽽⽹络接⼝层，⼜在 IP 数据包前后分别增加了帧头和帧尾。

这些新增的头部和尾部，都按照特定的协议格式填充，想了解具体格式，你可以查看协议的⽂档。

这些新增的头部和尾部，增加了网络包的大小，但是物理链路并不能传输任意大小的数据包。网络接口配置的最大传输单元(MTU)，就规定了最大的IP包大小。比如以太网的MTU默认为1500

一旦网络包超过MTU的大小，就会在网络层分片，以保证分片后的IP包不大于MTU值。显然，MTU越大，需要的分包也就越少，自然，网络吞吐能力就越好。

Linux内核中的网络栈类似TCP/IP的四层协议，如下：

*  最上层的应用程序，需要通过系统调用，来跟套接字接口进行交互
 *  套接字的下面，就是我们前面提到的传输层、网络层和网络接口层
 *  最低处，是网卡驱动程序以及物理网卡设备

网卡是发送和接收网络包的基本设备。在系统启动过程中，网卡通过内核中的网卡驱动程序注册到系统中。而在网络收发过程中，内核通过中断跟网卡进行交互。

网卡硬中断值处理最核心的网卡数据读取或者发送，而协议栈中的大部分逻辑，都会放到软中断中处理。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_11_color_FFFFFF_t_70_g_se_x_16]

## Linux网络收发流程 ##

> 注意，以下内容都以物理⽹卡为例。事实上，Linux 还⽀持众多的虚拟⽹络设备，⽽它们的⽹络收发流程会有⼀些差别。

### 网络包的接收 ###

当一个网络帧到达网卡后，网卡会通过DMA方式，把这个网络包放到收发队列中；然后通过硬中断，告诉中断处理程序已经收到了网络包。

接着，网卡中断处理程序会为网络帧分配内核数据结构(sk\_buff)，并将其拷贝到sk\_buff缓冲区中；然后再通过软中断，通知内核收到了新的网络帧

接下来，内核协议栈会从缓冲区中取出网络帧，并通过网络协议栈，从下到上逐层处理这个网络帧，比如：

*  在链路层检查报文的合法性，找出上层协议的类型（比如IPv4还是IPv6），再去掉帧头、帧尾，然后交给网络层
 *  网络层取出IP头，判断网络下一步的走向，比如是交给上层网络还是转发。当网络层确认这个包是要发送到本机后，就会取出上层协议的类型（比如TCP还是UDP），去掉IP头，再交给传输层处理
 *  传输层取出TCP头或者UDP头后，根据《源IP、源端口、目的IP、目的端口》四元组作为标识，找出对应的socket，并把数据拷贝到socket的接收缓存中。

最后，应用程序就可以使用socket接口，读取新接收到的数据了。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]

## ⽹络包的发送流程 ##

⽹络包的发送⽅向，正好跟接收⽅向相反。

*  首先，应用程序调度socket API(比如sendmsg)发送网络包
 *  由于这是一个系统调度，所以会陷入到内核态的套接字层中。套接字层会把数据包放到socket发送缓冲区中
 *  接下来，网络协议栈从socket发送到缓冲区中，取出数据包；再按照TCP/IP栈，从上到下逐层处理。比如，传输层和⽹络层，分别为其增加 TCP 头和 IP 头，执⾏路由查找确认下⼀跳的 IP，并按照 MTU ⼤⼩进⾏分⽚。
 *  分⽚后的⽹络包，再送到⽹络接⼝层，进⾏物理地址寻址，以找到下⼀跳的 MAC 地址。然后添加帧头和帧尾，放到发包队列中。这⼀切完成后，会有软中断通知驱动程序：发包队列中有新的⽹络帧需要发送。
 *  最后，驱动程序通过 DMA ，从发包队列中读出⽹络帧，并通过物理⽹卡把它发送出去。

## 总结 ##

多台服务器通过网卡、交换机、路由器等网络设备连接到一起，构成了相互连接的网络。由于网络设备的异构性和网络协议的复杂性，国际标准化组织定义了一个七层的OSI网络模型，但是这个模型过于复杂，实际工作中的事实标准，是更为实用的TCP/IP模型

TCP/IP 模型，把⽹络互联的框架，分为应⽤层、传输层、⽹络层、⽹络接⼝层等四层，这也是 Linux ⽹络栈最核⼼的构成部分。

*  应⽤程序通过套接字接⼝发送数据包，先要在⽹络协议栈中从上到下进⾏逐层处理，最终再送到⽹卡发送出去。
 *  ⽽接收时，同样先经过⽹络栈从下到上的逐层处理，最终才会送到应⽤程序。

# Linux网络性能 #

## 性能指标 ##

实际上，我们通常⽤带宽、吞吐量、延时、PPS（Packet Per Second）等指标衡量⽹络的性能。

*  **带宽**，表示链路的最大传输速率，单位通常为b/s（比特/秒）
 *  **吞吐量**，表示没丢包时的最大数据传输速率，单位通常为b/s（⽐特/秒）或者 B/s（字节/秒）。吞吐量受带宽限制，而吞吐量/带宽，也就是该⽹络的使⽤率。
 *  **延时**，表示从网络请求发出后，一直到收到远端响应，所需要的时间延迟。在不同场景中，这一指标可能会有不同含义。比如，它可以表示，建立连接需要的时间(比如TCP握手延时)，或者一个数据包往返需要的时间(比如RTT)
 *  **PPS**，，是 Packet Per Second（包/秒）的缩写，表示以⽹络包为单位的传输速率。PPS通常用来评估网络的转发能力，比如硬件交换机，通常可以达到线性转发发（即 PPS 可以达到或者接近理论最⼤值）。⽽基于 Linux 服务器的转发，则容易受⽹络包⼤⼩的影响。

除了这些指标，**⽹络的可⽤性（⽹络能否正常通信）、并发连接数（TCP连接数量）、丢包率（丢包百分⽐）、重传率（重新传输的⽹络包⽐例**）等也是常⽤的性能指标。

## 开始分析 ##

### ⽹络接⼝的配置和状态 ###

分析⽹络问题的第⼀步，通常是查看⽹络接⼝的配置和状态。

*  可以使⽤ ifconfig 或者 ip 命令，来查看⽹络的配置。
 *  更推荐使⽤ ip ⼯具，因为它提供了更丰富的功能和更易⽤的接⼝。
 *  ifconfig 和 ip 分别属于软件包 net-tools 和 iproute2，iproute2 是 net-tools 的下⼀代。
 *  通常情况下它们会在发⾏版中默认安装。但如果你找不到 ifconfig 或者 ip 命令，可以安装这两个软件包。

以⽹络接⼝ eth0 为例，你可以运⾏下⾯的两个命令，查看它的配置和状态：

$ ifconfig eth0
    eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
    inet 10.240.0.30 netmask 255.240.0.0 broadcast 10.255.255.255
    inet6 fe80::20d:3aff:fe07:cf2a prefixlen 64 scopeid 0x20<link>
    ether 78:0d:3a:07:cf:3a txqueuelen 1000 (Ethernet)
    RX packets 40809142 bytes 9542369803 (9.5 GB)
    RX errors 0 dropped 0 overruns 0 frame 0
    TX packets 32637401 bytes 4815573306 (4.8 GB)
    TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
    
    
    $ ip -s addr show dev eth0
    2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 78:0d:3a:07:cf:3a brd ff:ff:ff:ff:ff:ff
    inet 10.240.0.30/12 brd 10.255.255.255 scope global eth0
    valid_lft forever preferred_lft forever
    inet6 fe80::20d:3aff:fe07:cf2a/64 scope link
    valid_lft forever preferred_lft forever
    RX: bytes packets errors dropped overrun mcast
    9542432350 40809397 0 0 0 193
    TX: bytes packets errors dropped carrier collsns
    4815625265 32637658 0 0 0 0

你可以看到，ifconfig 和 ip 命令输出的指标基本相同，只是显示格式略微不同。⽐如，它们都包括了⽹络接⼝的状态标志、MTU ⼤⼩、IP、⼦⽹、MAC 地址以及⽹络包收发的统计信息。

这些具体指标的含义，在⽂档中都有详细的说明，不过，这⾥有⼏个跟⽹络性能密切相关的指标，需要你特别关注⼀下。

*  第⼀，⽹络接⼝的状态标志。ifconfig 输出中的 RUNNING ，或 ip 输出中的 LOWER\_UP ，都表示物理⽹络是连通的，即⽹卡已经连接到了交换机或者路由器中。如果你看不到它们，通常表示⽹线被拔掉了。
 *  第⼆，MTU 的⼤⼩。MTU 默认⼤⼩是 1500，根据⽹络架构的不同（⽐如是否使⽤了 VXLAN 等叠加⽹络），你可能需要调⼤或者调⼩ MTU 的数值。
 *  第三，⽹络接⼝的 IP 地址、⼦⽹以及 MAC 地址。这些都是保障⽹络功能正常⼯作所必需的，你需要确保配置正确。
 *  第四，⽹络收发的字节数、包数、错误数以及丢包情况，特别是 TX 和 RX 部分的 errors、dropped、overruns、carrier 以及collisions 等指标不为 0 时，通常表示出现了⽹络 I/O 问题。其中：
    
     *  errors 表示发⽣错误的数据包数，⽐如校验错误、帧同步错误等；
     *  dropped 表示丢弃的数据包数，即数据包已经收到了 Ring Buffer，但因为内存不⾜等原因丢包；
     *  overruns 表示超限数据包数，即⽹络 I/O 速度过快，导致 Ring Buffer 中的数据包来不及处理（队列满）⽽导致的丢包；
     *  carrier 表示发⽣ carrirer 错误的数据包数，⽐如双⼯模式不匹配、物理电缆出现问题等；
     *  collisions 表示碰撞数据包数。

### 查看套接字信息 ###

ifconfig 和 ip 只显示了⽹络接⼝收发数据包的统计信息，但在实际的性能问题中，⽹络协议栈中的统计信息，我们也必须关  
注。

*  可以⽤ netstat 或者 ss ，来查看套接字、⽹络栈、⽹络接⼝以及路由表的信息。
 *  更推荐，使⽤ ss 来查询⽹络的连接信息，因为它⽐ netstat 提供了更好的性能（速度更快）。

⽐如，可以执⾏下⾯的命令，查询套接字信息：

# head -n 3 表示只显示前面3行
    # -l 表示只显示监听套接字
    # -n 表示显示数字地址和端口(而不是名字)
    # -p 表示显示进程信息
    $ netstat -nlp | head -n 3
    Active Internet connections (only servers)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
    tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN      840/systemd-resolve
    
    # -l 表示只显示监听套接字
    # -t 表示只显示 TCP 套接字
    # -n 表示显示数字地址和端口(而不是名字)
    # -p 表示显示进程信息
    $ ss -ltnp | head -n 3
    State    Recv-Q    Send-Q        Local Address:Port        Peer Address:Port
    LISTEN   0         128           127.0.0.53%lo:53               0.0.0.0:*        users:(("systemd-resolve",pid=840,fd=13))
    LISTEN   0         128                 0.0.0.0:22               0.0.0.0:*        users:(("sshd",pid=1459,fd=3))

netstat 和 ss 的输出也是类似的，都展示了套接字的状态、接收队列、发送队列、本地地址、远端地址、进程 PID 和进程名  
称等。

*  其中，接收队列（Recv-Q）和发送队列（Send-Q）需要特别关注，它们通常应该是 0。
    
     *  **当你发现它们不是 0 时，说明有⽹络包的堆积发⽣**。
     *  当然还要注意，在不同套接字状态下，它们的含义不同。
        
         *  当套接字处于连接状态（Established）时
            
             *  **Recv-Q 表示套接字缓冲还没有被应⽤程序取⾛的字节数（即接收队列⻓度**）。
             *  **⽽ Send-Q 表示还没有被远端主机确认的字节数（即发送队列⻓度**）。
         *  当套接字处于监听状态（Listening）时
            
             *  **Recv-Q 表示 syn backlog 的当前值**。
             *  **Send-Q 表示最⼤的 syn backlog 值**。

**⽽ syn backlog 是 TCP 协议栈中的半连接队列⻓度，相应的也有⼀个全连接队列（accept queue）**，它们都是维护 TCP 状态的重要机制。

*  顾名思义，**所谓半连接，就是还没有完成TCP三次握手的连接，连接只进行了一半，而服务器收到了客户端的SYN包后，就会把这个连接放到半连接队列中，然后再向客户端发送SYN+ACK包**
 *  而**全连接，则是指服务器收到了客户端的ACK，完成了三次握手，然后就会把这个连接挪到全连接队列中。这些全连接中的套接字，还需要被accept()系统调用取走，这样，服务器就可以开始真正处理客户端的请求了**。

### 协议栈统计信息 ###

类似的，使⽤ netstat 或 ss ，也可以查看协议栈的信息：

$ netstat -s
    ...
    Tcp:
        3244906 active connection openings
        23143 passive connection openings
        115732 failed connection attempts
        2964 connection resets received
        1 connections established
        13025010 segments received
        17606946 segments sent out
        44438 segments retransmitted
        42 bad segments received
        5315 resets sent
        InCsumErrors: 42
    ...
    
    $ ss -s
    Total: 186 (kernel 1446)
    TCP:   4 (estab 1, closed 0, orphaned 0, synrecv 0, timewait 0/0), ports 0
    
    Transport Total     IP        IPv6
    *    1446      -         -
    RAW    2         1         1
    UDP    2         2         0
    TCP    4         3         1
    ...

这些协议栈的统计信息都很直观。ss 只显示已经连接、关闭、孤⼉套接字等简要统计，⽽netstat 则提供的是更详细的⽹络协议栈信息。

⽐如，上⾯ netstat 的输出示例，就展示了 TCP 协议的主动连接、被动连接、失败重试、发送和接收的分段数量等各种信息。

### 网络吞吐和PPS ###

sar可以查看系统当前的⽹络吞吐量和 PPS。

给 sar 增加 -n 参数就可以查看⽹络的统计信息，⽐如⽹络接⼝（DEV）、⽹络接⼝错误（EDEV）、TCP、UDP、ICMP 等等。执⾏下⾯的命令，你就可以得到⽹络接⼝统计信息：

# 数字1表示每隔1秒输出⼀组数据
    $ sar -n DEV 1
    Linux 4.15.0-1035-azure (ubuntu) 01/06/19 _x86_64_ (2 CPU)
    13:21:40 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
    13:21:41 eth0 18.00 20.00 5.79 4.25 0.00 0.00 0.00 0.00
    13:21:41 docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
    13:21:41 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

*  rxpck/s 和 txpck/s 分别是接收和发送的 PPS，单位为包/秒。
 *  rxkB/s 和 txkB/s 分别是接收和发送的吞吐量，单位是KB/秒。
 *  rxcmp/s 和 txcmp/s 分别是接收和发送的压缩数据包数，单位是包/秒。
 *  %ifutil 是⽹络接⼝的使⽤率，即半双⼯模式下为 (rxkB/s+txkB/s)/Bandwidth，⽽全双⼯模式下为 max(rxkB/s, txkB/s)/Bandwidth。

其中，Bandwidth 可以⽤ ethtool 来查询，它的单位通常是 Gb/s 或者 Mb/s，不过注意这⾥⼩写字⺟ b ，表示⽐特⽽不是字  
节。我们通常提到的千兆⽹卡、万兆⽹卡等，单位也都是⽐特。如下你可以看到， eth0 ⽹卡就是⼀个千兆⽹卡：

$ ethtool eth0 | grep Speed
    Speed: 1000Mb/s

### 连通性和延迟 ###

们通常使⽤ ping ，来测试远程主机的连通性和延时，⽽这基于 ICMP 协议。⽐如，执⾏下⾯的命令，你就可以测试本机到 114.114.114.114 这个 IP 地址的连通性和延时：

# -c3表示发送三次ICMP包后停⽌
    $ ping -c3 114.114.114.114
    PING 114.114.114.114 (114.114.114.114) 56(84) bytes of data.
    64 bytes from 114.114.114.114: icmp_seq=1 ttl=54 time=244 ms
    64 bytes from 114.114.114.114: icmp_seq=2 ttl=47 time=244 ms
    64 bytes from 114.114.114.114: icmp_seq=3 ttl=67 time=244 ms
    --- 114.114.114.114 ping statistics ---
    3 packets transmitted, 3 received, 0% packet loss, time 2001ms
    rtt min/avg/max/mdev = 244.023/244.070/244.105/0.034 ms

ping 的输出，可以分为两部分。

*  第⼀部分，是每个 ICMP 请求的信息，包括 ICMP 序列号（icmp\_seq）、TTL（⽣存时间，或者跳数）以及往返延时。
 *  第⼆部分，则是三次 ICMP 请求的汇总。

⽐如上⾯的示例显示，发送了 3 个⽹络包，并且接收到 3 个响应，没有丢包发⽣，这说明测试主机到 114.114.114.114 是连通的；平均往返延时（RTT）是 244ms，也就是从发送 ICMP 开始，到接收到 114.114.114.114 回复的确认，总共经历  
244ms。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/3d09a9784d7746aab56afa50808c5311.png
[212f8e306b184333a1305ba22e6df8e8.png]: /images/20220828/ea2895287a9f44de8c25b7da0f744291.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a4e57e9d854f4fb794034f8012e8a79f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/98ed3001efa84084b4ab706251ae92ad.png