IP,ARP,以太网--网络层与数据链路层详解

桃扇骨 2024-04-02 03:33 66阅读 0赞

#### 目录 ####

*  网络层
 *   *  IP协议--网络层
     *   *  基本概念
     *  
     *   *  IP协议格式
         *  IP地址
         *  子网
         *  网段划分
         *  特殊的IP地址
         *  IP地址的数量限制
         *  私有IP地址和公网IP地址
         *  路由
     *  ICMP协议--网络层
     *   *  ping命令
         *  面试常问的坑
         *  traceroute命令
 *  数据链路层
 *   *  数据链路层的意义
     *  以太网
     *   *  以太网帧格式
         *  MAC地址
         *  对比理解MAC地址和IP地址
         *  认识MTU
         *   *   *  MTU对IP协议的影响
                 *  MTU对UDP协议的影响
                 *  MTU对TCP协议的影响--协商mss最大报文长度体现了tcp的分包防止ip的mtu最大传输单元（提升重传效率）
                 *  查看硬件地址和MTU
         *  ARP协议
         *   *  ARP协议的作用
             *  ARP协议的工作流程
             *  ARP数据报的格式
         *  RARP协议(了解)
 *  其他重要协议或技术
 *   *  DNS(Domain Name System)
     *   *  DNS的背景
         *  域名简介
         *  使用dig工具分析DNS
     *  NAT技术(Network Address Translation)
     *   *  NAT技术背景
         *  NAT:IP转换过程
         *  NAPT技术
         *  NAT技术的缺陷
         *  NAT和代理服务器

## 网络层 ##

### IP协议–网络层 ###

#### 基本概念 ####

IP协议工作在网络层，网络层处于传输层之下，从而向传输层提供最基本的端到端的数据传送服务;

在TCP/UDP协议的学习中，了解到了双方通信发送数据由操作系统完成，这个通信过程依靠的就是网络层(以及网络层之下的各层)，网络层在复杂的网络环境中确定一个合适的路径;

![在这里插入图片描述][365e93a828844bdf8d5b9c592b17f709.png]

因此，IP协议**提供了一种能力**，一种能将数据从主机A传输到主机B的能力: 通过选择合适的路由，使源主机运输层所传下来的数据包最终能够交付到目的主机的能力;

> **传输层的TCP协议提供了可靠性**，而网络层的IP协议提供的则是将数据可以从A主机传到B主机的能力，它只是尽可能快地把分组从源结点送到目的结点！，**不提供可靠性**，丢包什么的，传输层来决策(重传等机制);

###  ###

#### IP协议格式 ####

![在这里插入图片描述][1ba497e26ccb467c84677e4e5951e08b.png]

*  4位版本号(version): 指定**IP协议的版本**, 对于IPv4来说, 就是4;(IPV6尚未普及)
 *  4位头部长度(header length): **IP首部的长度是多少个4字节**, 也就是 **length** \* 4 的字节数(与TCP首部长度类似). 4bit表示最大的数字是15, 因此IP头部最大长度是15 \*4 = 60字节; -->`解决了如何将报头和有效载荷分离的问题`
 *  8位服务类型(Type Of Service): 3位优先权字段(已经弃用), 4位TOS字段, 和1位保留字段(必须置为0).;**4位 TOS分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本**.;这四者相互冲突, 只能选择一个.;对于 ssh/telnet这样的应用程序, 最小延时比较重要; 而对于ftp这样的程序, 最大吞吐量比较重要，那么这个**服务类型应根据具体的应用场景选择**.
 *  16位总长度(total length): **IP数据报整体占多少个字节**.
 *  8位生存时间(Time To Live, TTL): 数据报到达目的地的**最大报文跳数**. 一般是64. 每次经过一个路由, TTL -= 1, 如果**直减到0还没到达, 那么就丢弃**了. 这个字段主要是用来**防止出现路由循环**
 *  8位协议: 表示上层协议的类型; —>`解决了有效载荷交付给上层哪一协议的问题`;
 *  16位头部校验和: 使用CRC进行校验, **来鉴别头部是否损坏**（与TCP校验和类似）
 *  32位**源地址**和32位**目标地址**: 表示发送端和接收端.
 *  选项字段(不定长, 最多40字节): 略

第三行的三个陌生信息，下面进行详细讲解:(网络分片和组装)

*  16位标识(id): 唯一的标识主机发送的报文. 如果IP报文在数据链路层被**分片**了, 那么每一个片里面的这个 id都是相同的.
 *  3位标志字段: **第一位保留**(保留的意思是现在不用, 但是还没想好说不定以后要用到).;**第二位置为1表示禁止分片**, 这时候如果报文长度超过MTU, IP模块就会丢弃报文.；**第三位表示"更多分片", 如果分片了的话, 最后一个分片置为1, 其他是0**. 类似于一个结束标记.
 *  13位分片偏移(framegament offset): 是分片**相对于原始IP报文开始处的偏移**. 其实就是在表示当前分片在原报文中处在哪个位置.；实际偏移的字节数是这个值 \* 8 得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是8的整数倍(否则报文就不连续了).

为什么要进行分片？

> 网络层搞定了A传输到B的能力后，还是需要靠下层数据链路层传送，而**链路层有最大单元约束MTU**;那么**一个IP报文超过这个大小(普遍为1500字节)，就需要被分片传送到对端，对端再组装**好进行使用;
> 
> 显然这个分片的过程不仅增加了空间成本(一个ip报文通过切分正文内容，**分成若干个带首部的完整的ip报文**);而且分的子报文越多，**丢包**风险就越大，保证可靠性的TCP协议甚至不知道下层你IP协议分片，**有一个包丢了，那么为了可靠性，tcp会决定重传整个报文**，显然效率很低，**所以分片/组装机制一般不使用(少数情况用)**;

分片详解:

假设我们有IP报头(20)+有效裁荷(2980) 大小 = 3000字节，显然超过了1500字节，那么需要分片，且最少分成三片(两片的话，再带上两个首部最大3000字节，而实际2980+20\*2 = 3020字节，装不下);

![在这里插入图片描述][25fdf20a14cb47d99f330a62f5b78d6a.png]

可以看到3个分片各自报头内的三个字段对应如下:

*  6666标识他们来自同一个IP报文6666
 *  000标志分片非末尾 001代表该分片为末尾
 *  偏移地址代表相对于原IP报文的偏移量

如果对端读到IP报文的**3位标志位为001**(代表报文结束标志)，\*\*且13位片偏移为0,\*\*那么这个IP报文没有被分片，直接使用就行;

如果在对端检测到分片了，那么就需要组装之后再使用，**组装过程按照13位片偏移升序**，再验证一下当前片的偏移地址是不是**上一片的偏移量**\+**当前片的报文大小**(理应对的上，防止中间某片丢包),否则丢包，tcp可靠性，重传;

![在这里插入图片描述][e1acbee2f1d84d31ac50b80e7f59db28.png]

验证第一个分片丢没丢:看升序排好后**第一个分片的13位片偏移是不是为0**

验证最后一个分片丢没丢:看升序排好后**最后一个分片的3位置标志是不是001**(分片结束标志)

#### IP地址 ####

在介绍IP协议之前，我们知道**IP地址为网络地址 + 主机地址**，即确定了某个网段上的某台主机。

*  网络号: 保证相互连接的**两个网段具有不同的网络号**;
 *  主机号: **同一网段内**, 主机之间具有相同的网络号, 但是必须有**不同的主机号**;

![在这里插入图片描述][c2621236793d43d1bae889d1734647b4.png]

#### 子网 ####

*  不同的子网其实就是把网络号相同的主机放到一起;
 *  如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网 中的其他主机重复.

**因此通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同**;

那么怎么样才算合理划分呢？人为的手动设置网络号和主机号不就很麻烦了？

> 有一种技术叫做**DHCP**, 能够自动的给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便
> 
> 一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器

#### 网段划分 ####

过去曾经提出过一种划分网络号和主机号的方案，把所有IP地址分为五类，如下图所示：

![在这里插入图片描述][c981140511454fd2b40e6a40f20ade1c.png]

*  A类 0.0.0.0到127.255.255.255
 *  B类 128.0.0.0到191.255.255.255
 *  C类 192.0.0.0到223.255.255.255
 *  D类 224.0.0.0到239.255.255.255
 *  E类 240.0.0.0到247.255.255.255

但是，随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址;

> A类一个子网内能分出24位存主机号，可是网络号只有7位，然而实际网络架设中, 不会存在一个子网内有这么多主机的情况. 因此大量的IP地址都被浪费掉了

针对这种情况提出了新的划分方案, 称为**CIDR**(Classless Interdomain Routing):

*  引入一个额外的**子网掩码**(subnet mask)来区分网络号和主机号;
 *  子网掩码也是一个32位的正整数. 通常用一串 “0” 来结尾; eg:255 255 255 0
 *  **将IP地址和子网掩码进行 “按位与” 操作**, **得到的结果就是网络号**;
 *  网络号和主机号的划分与这个IP地址是A类、B类还是C类则无关;

下面举两个划分子网的例子：  
划分子网的例子1：

![在这里插入图片描述][777ed21f6da94971821acfc8b72470fb.png]

划分子网的例子2：

![在这里插入图片描述][8e1d9597ff9d48ceba1c7978e50a3cdb.png]

> 可见,**IP地址与子网掩码做与运算可以得到网络号**, **主机号从全0到全1就是子网的地址范围**;  
> IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0

#### 特殊的IP地址 ####

*  将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网;
 *  将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数 据包;
 *  127.\*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1(我们学习server服务器的时候用本机环回测试过);

#### IP地址的数量限制 ####

*  我们知道, IP地址(IPv4)是一个4字节32位的正整数. 那么一共只有 2的32次方 个IP地址, 大概是43亿左右. 而TCP/IP协议规定, 每个主机都需要有一个IP地址.
 *  这意味着, 一共**只有**43亿台主机能接入网络么?
 *  实际上, **由于一些特殊的IP地址的存在, 数量远不足43亿**; 另外IP地址并非是按照主机台数来配置的, 而是**每一个网卡**都需要配置**一个或多个IP地址**.
 *  CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:

> **动态分配IP地址**: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
> 
> **NAT技术**(后面会重点介绍);
> 
> **IPv6**: IPv6并不是IPv4的简单升级版. **这是互不相干的两个协议**, **彼此并不兼容**; IPv6用16字节128位来表示一个IP地址; 但是目前**IPv6还没有普及**。

#### 私有IP地址和公网IP地址 ####

如果一个组织内部组建局域网,I**P地址只用于局域网内的通信**,而不直接连到Internet上,**理论上使用任意的IP地址都 可以**,但是RFC 1918规定了用于组建局域网的**私有IP地址**

*  10.\*,前8位是网络号,共16,777,216个地址
 *  172.16.到172.31.,前12位是网络号,共1,048,576个地址
 *  192.168.\*,前16位是网络号,共65,536个地址

包含在这个范围中的, 都称为私有IP, 其余的则称为全局IP(或公网IP);

**公网IP**跟国内三大运营有关。  
我们国内的三大运营商（电信，移动，联通）通过组件基础设施–硬件（基础硬件的铺设）和软件（网络的划分），形成**国内的广域网**。而国内的广域网是**划分好的**，互联网公司在每个运营商旗下一定会隶属于其中一个子网范畴。

eg:这样，不管我们用的是电信还是移动的流量，都能通过**运营商** 与 **互联网公司旗下的服务器**进行交互(通过其公网IP地址);可见，运营商相当于路，用户和互联网产品相当于两地，有了路，两地才能进行交流沟通，否则一切皆是空谈;  
![在这里插入图片描述][fb53d5a3d6ff4c409cbbb5b130578bb2.png]

*  一个路由器可以配置两个IP地址, 一个是WAN口IP, 一个是LAN口IP(子网IP).其中**LAN口IP对内**，**WAN口IP对外**。
 *  路由器LAN口连接的主机, 都从属于当前这个路由器的子网中（对内）.
 *  不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). **子网内**的主机IP地址不能重复(有主机号之分). 但是**子网之间**的IP地址就可以重复了(相当于不同专业相同编号的学生，有wan口就能区分子网之间，则子网之间主机的ip可以重复).
 *  每一个**家用路由器, 其实又作为运营商路由器的子网中的一个节点**. 这样的运营商路由器可能会有很多级, **最外层的运营商路由器, WAN口IP就是一个公网IP**了.
 *  子网内的主机需要和外网进行通信时, 路由器将IP首部中的**IP地址进行替换(替换成WAN口IP)**, 这样逐级替换, **最终数据包中的IP地址成为一个公网IP**. 这种技术称为**NAT技术**(Network Address Translation，网络地址转换).
 *  如果希望我们自己实现的服务器程序, 能够在公网上被访问到, 就需要把程序部署在一台具有公网IP的服务器上. 这样的服务器可以在阿里云/腾讯云上进行购买.

#### 路由 ####

路由是指在复杂的网络结构中, 找出一条通往终点的路线。

![在这里插入图片描述][ce9dde69b5604270bb1b0d43285cae5a.png]

路由的过程, 就是这样**一跳,一跳**(Hop by Hop) “问路” 的过程.

*  所谓 “一跳” 就是**数据链路层**中的一个区间.，后续详讲
 *  具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间.

IP数据包的传输过程也和问路一样:

*  当IP数据包, 到达路由器时, **路由器会先查看目的IP**;
 *  路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器;
 *  依次反复, 一直到达目标IP地址;

那么如何判定当前这个数据包该发送到哪里呢? 这个就依靠每个节点内部维护一个**路由表**;

![在这里插入图片描述][1f2a0a68ae9b491d87a60279853e28ec.png]

>  *  路由表可以使用route命令查看;
>  *  如果目的IP经过子网掩码的&操作之后，**命中了路由表中的IP, 就直接按规则转发即可**;
>  *  路由表中的**最后一行**,主要由下一跳地址和发送接口两部分组成,当**目的地址与路由表中其它行都不匹配时**,**就按缺省路由条目规定的接口发送到下一跳地址**。  
>     假设某主机网络接口配置及路由表如下：
> 
> ![在这里插入图片描述][51d41e25a0de43219f31afe837a7fba7.png]
> 
>  *  这台主机有两个网络接口,一个网络接口连到192.168.10.0/24网络,另一个网络接口连到192.168.56.0/24网络;
>  *  路由表的Destination是目的网络地址,Genmask是子网掩码,Gateway是下一跳地址,Iface是发送接口,Flags中的U标志表示此条目有效(可以禁用某些条目),**G标志表示此条目的下一跳地址是某个路由器的地址**,**没有G**标志的条目表示目的网络地址是与本机接口直接相连的网络\*\*,不必经路由器转发，而直接发送接口转发\*\*;

转发过程例1: 如果要发送的数据包的目的地址是192.168.56.3

>  *  **首先和第一行的子网掩码**255.255.255.0做与运算得到192.168.56.0，与第一行的目的网络地址192.168.10.0**不匹配**，
>  *  **再和第二行的子网掩码做与运算**，也为192.168.56.0，与第二行的目的网络地址192.168.56.0**匹配**，因此由eth1接口直接发送出去
>  *  由于**192.168.56.0/24正是与eth1接口直接相连的网络**，因此可以**直接发送到目的主机，不需要经路由器转发**。

转发过程例2：如果要发送的数据包的目的地址是202.10.1.2

>  *  依次与路由表前几项**对比，发现都不匹配**
>  *  按**缺省default**路由条目，由eth0接口发出去，**发往192.168.10.1路由器**
>  *  由192.168.10.1路由器再根据它的路由表决定下一跳地址

**路由表生成算法**：路由表可以由网络管理员手动维护(静态路由), 也可以通过一些算法自动生成(动态路由).

常见的生成算法有：距离向量算法, LS算法, Dijkstra算法等。本文不作详细介绍，读者可以自行了解。

### ICMP协议–网络层 ###

ICMP协议是一个**网络层协议**，一个新搭建好的网络, 往往需要先进行一个简单的测试, **来验证网络是否畅通**; 但是**IP协议并不提供可靠传输**. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因;

ICMP正是提供这种功能的协议; ICMP主要功能包括:

*  确认IP包是否成功到达目标地址.
 *  通知在发送过程中IP包被丢弃的原因.
 *  ICMP也是**基于IP协议工作**的. 但是它**并不是传输层的功能**, 因此人们仍然把它归结为**网络层协议**;
 *  ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6;
 *  下图为ICMP实现过程(下面出现的ARP请求后序链路层详细介绍)
 *  ![在这里插入图片描述][f4c7d09136b047f3b237fadec5340284.png]

ICMP报文格式(简单了解):

![在这里插入图片描述][41346de172904ca9bb3dc668196424c7.png]

ICMP大致分为两类报文:

*  一类是通知出错原因
 *  一类是用于诊断查询

ICMP协议报文中类型大致分为以下内容:

![在这里插入图片描述][34f23b8fd2984208bcf357020c220aaf.png]

#### ping命令 ####

ping命令底层就是基于ICMP协议来测试网络连通性;

![在这里插入图片描述][65e75c04d4154468a2d8daeb432a6dd0.png]

*  注意，这里ping + 域名，而非url，一个域名可以通过域名解析协议解析成IP地址。
 *  ping命令不**光能验证网络的连通性**, **同时也会统计响应时间和TTL**(IP包中的Time To Live, 生存周期).
 *  **ping命令**会先**发送**一个 ICMP Echo Request给对端.
 *  **对端**接收到后，会**返回**一个ICMP Echo Reply.

\-![在这里插入图片描述][2dba335617204506b0f3f8fb970750d0.png]

#### 面试常问的坑 ####

在面试中面试官可能会问telnet是23端口, ssh是22端口, 那么ping是什么端口?

> ping底层基于ICMP协议，属于网络层的协议，不是传输层，自然就没有所谓的端口号了；
> 
> 端口号是传输层与应用层之间的联系，与网络层无关，网络层不关注端口号，网络层有协议号;

#### traceroute命令 ####

traceroute命令也基于ICMP协议，能够打印出可执行程序主机, 一直到traceroute的目标主机之前**经历多少路由器**。

![在这里插入图片描述][ac8984221cd140a492af6af43b5f80d7.png]

## 数据链路层 ##

传输层提供了传输的可靠性保证，网络层提供了从主机A找到主机B的能力，那么再下一层数据链路层则是数据传输的具体执行;

数据链路层是我们介绍的TCP/IP协议结构模型中的最后一层，用于**两个设备(同一种数据链路节点)之间进行传递**，**一帧一帧的跳过去**，属于计算机网络体系的底层.

![在这里插入图片描述][fe0542ee69a246fd92b47b3bfafa4984.png]

### 数据链路层的意义 ###

任何东西传输都需要介质，物理层的线路是由传输介质(光纤等)与通信设备组成，而物理层面的传输是有误差的，因此引入数据链路层在物理层之上，采用**差错检测、差错控制和流量控制**等方法，**向网络层提供高质量的数据传输服务**；

有了数据链路层，就不需要关注底层物理层使用哪种传输介质or通信设备传送数据了;

> 总结来讲:数据链路层是向网络层提供高质量的数据传输服务

### 以太网 ###

我们经常使用电脑看到自己的宽带连接显示的是以太网，这是一种**技术标准**，由于已十分普遍，厂商默认将具有**唯一mac**地址的以太网网卡嵌入计算机主板中了；

*  “以太网” **不是一种具体的网络**, **而是一种技术标准**; 既包含了数据链路层的内容, 也包含了一些物理层的 内容. 例如: 规定了网络拓扑结构, 访问控制方式, 传输速率等;
 *  例如: 规定了网络拓扑结构,访问控制方式, 传输速率等; 以太网中的网线必须使用双绞线; 传输速率有10M, 100M, 1000M等;
 *  以太网是**当前应用最广泛**的**局域网技术**; 和以太网并列的还有令牌环网, 无线LAN等;

#### 以太网帧格式 ####

以太网的帧格式如下：

![在这里插入图片描述][5d78e53f110743c1af196321bfd4e32b.png]

*  **源地址**和**目的地址**是指**网卡的硬件地址**(也叫**MAC地址**), 长度是48位,是在网卡出厂时固化的;
 *  帧协议类型字段有三种值,分别对应IP、ARP、RARP;//后续详细介绍
 *  帧末尾是CRC校验码。

#### MAC地址 ####

*  MAC地址用来**识别**数据**链路层中相连的节点**;
 *  长度为48位, 及6个字节. 一般用16进制数字加上冒号的形式来表示(例如: 08:00:27:03:fb:19)
 *  在**网卡出厂时就确定了**, 不能修改(理论上).
 *  mac地址**通常是唯一的**(虚拟机中的mac地址不是真实的mac地址, 可能会冲突; 也有些网卡支持用户配置mac地址)

#### 对比理解MAC地址和IP地址 ####

*  IP地址描述的是路途总体(A去往B)的**起点A**和**终点B**
 *  MAC地址描述的是路途上的**每一个区间（A与B之间相邻站）的起点和终点**;

#### 认识MTU ####

MTU为最大传输单元（Maximum Transmission Unit），相当于**发快递时对包裹尺寸的限制**.

这个限制是不同的数据链路对应的物理层, 产生的限制，是包或帧的最大长度，一般以字节记;

>  *  以太网帧中的数据长度规定**最小46字节,最大1500字节**,ARP数据包的长度不够46字节,要在后面补填充位;
>  *  最大1**500字节称为以太网的最大传输单元**（MTU），不同的网络类型有不同的MTU。
>  *  如果一个数据包从以太网路由到拨号链路上,数据包**长度大于拨号链路的MTU了,则需要对数据包进行分片**(fragmentation);
>  *  不同的数据链路层标准的MTU是不同的;

###### MTU对IP协议的影响 ######

由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包;(IP层详细介绍过)

>  *  将较大的IP包分成多个小包, 并给每个小包打上标签; 每个小包IP协议头的 16位标识(id) 都是相同的;
>  *  每个小包的IP协议头的3位标志字段中, 第2位置为0, 表示允许分片, 第3位来表示结束标记(当前是否是最后一个小包, 是的话置为,否则置为1);
>  *  到达对端时再将这些小包, 会按顺序重组, 拼装到一起返回给传输层; **一旦这些小包中任意一个小包丢失, 接收端的重组就会失败**.
>  *  但是传送失败后IP层不会负责重新传输数据,这是传输层TCP需要做的;这也就是为什么说**IP协议是不可靠的**。
>  *  ![在这里插入图片描述][1944e99eae5e4ab99120f75c1b9a00ca.png]

###### MTU对UDP协议的影响 ######

我们知道UDP协议是不可靠的，也就是说UDP协议只管将数据发送出去，而不管对端是否接受到;

>  *  因为层层封包，那么一旦UDP携带的数据超过**1472(1500 - 20(IP首部) - 8(UDP首部))**, 那么就会在网络层分成多个IP数据报.
>  *  这么多个IP数据报有**任意一个丢失, 都会引起接收端网络层重组失败**.；那么这就意味着, 如果UDP数据报在网络层被分片,整个数据被丢失的概率就大大增加了.

###### MTU对TCP协议的影响–协商mss最大报文长度体现了tcp的分包防止ip的mtu最大传输单元（提升重传效率） ######

让我们再回顾一下TCP协议:

>  *  TCP的一个数据报也不能无限大, 还**受制于MTU**. TCP的单个数据报的最大消息长度, 称为**MSS**(Max Segment Size);
>  *  TCP在建立连接的过程中, **通信双方会进行MSS协商**.
>  *  **最理想的情况下**,MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU).
>  *  双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值. 然后双方得知对方的MSS值之后, **选择较小的作为最终MSS**.  
>     –>体现了**TCP的分包优化ip分包导致的整体报文重传**–TCP分包（相当于利用数据流体系把一个整体大的TCP包分成了若干个小包，保证IP层不用分包了） 只需要传丢的报文，IP分包(相当于整体一个大的TCP包下来的)，丢一个，整体重传
>  *  MSS的值就是在TCP首部的40字节变长选项中(kind=2)；
> 
> ![在这里插入图片描述][bc86097a1f8e47c4a16b64dcf7aa028f.png]

###### 查看硬件地址和MTU ######

使用ifconfig命令，即可查看ip地址，mac地址，MTU。

![在这里插入图片描述][228131305c2c4e1a9170c1fe84feaa16.png]

#### ARP协议 ####

虽然我们在这里介绍ARP协议, 但是需要强调, ARP不是一个单纯的数据链路层的协议, 而是一个介于数据链路层和网 络层之间的协议;(数据链路层之上，网络层之下)

##### ARP协议的作用 #####

ARP（Address resolution protocol）即地址转换协议，其作用为建立了主机 IP地址 和 MAC地址 的映射关系.

>  *  在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却**不知道目的主机的硬件地址**;
>  *  数据包**首先是被网卡接收**到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃;
>  *  因此在通**讯前必须获得目的主机的硬件地址**;而**ARP协议便是解决这个问题的**。

##### ARP协议的工作流程 #####

![在这里插入图片描述][d4fb3b125684432e9a67e18caaad2929.png]

![在这里插入图片描述][cd246fc7b1334d18a2fe40c7abc1ce0b.png]

*  源主机发出ARP请求,询问“IP地址是172.20.1.2的主机的硬件地址是多少”,并将这个请求**广播到本地网段**(以太网帧首部的**硬件地址**填FF:FF:FF:FF:FF:FF表示广播);
 *  目的主机接收到广播的ARP请求,发现其中的**IP地址**与本机相符,则发送一个ARP应答数据包给源主机,将自己的硬件地址**填写在应答包**中;
 *  每台主机都维护一个ARP缓存表,可以用arp -a命令查看。缓存表中的表项有过期时间(一般为20分钟),如果20分钟内使用这个表项，就不用询问目的主机硬件地址了，直接从表里读出;没有再次使用某个表项,则该表项失效,下次还要发ARP请求来获得目的主机的硬件地址。
 *  ![在这里插入图片描述][113dc4b695aa4041b36567c5bc593004.png]

想一想,为什么要有缓存表? 为什么表项要有过期时间而不是一直有效?

> ARP缓存表无非是方便我们短时间内再次发送数据时无需去询问目的主机的物理地址了。
> 
> 而为什么需要清除ARP缓存，我们上面提到**ARP请求是广播出去**的，那么就不止目的主机能接收到这个请求，于是**不是正确的主机也能够响应我们的请求**，从而让数据发送到错误的主机上，这就是“**ARP欺骗**”，即利用了ARP协议设计上的缺陷，防止方法是设置静态“IP－MAC对照条目”。
> 
> 而**清除ARP缓存防止对照表欺骗**,可能解决因ARP攻击导致的不能上网或链接错识的问题.其次，ARP缓存如果不清除的话，占用的内存会越来越多，导致机器越来越卡。

##### ARP数据报的格式 #####

![在这里插入图片描述][aaf6f6c6e3dd4a3abd50a9bbf3e1d9fb.png]

>  *  注意到源MAC地址、目的MAC地址在**以太网首部和ARP请求中各出现一次**,这对于链路层为以太网的情况是多余的,但如果链路层是其它类型的网络则有可能是必要的。
>  *  硬件类型指链路层网络类型,1为以太网;协议类型指要转换的地址类型,0x0800为IP地址;硬件地址长度对于以太网地址为6字节;协议地址长度对于IP地址为4字节; (这些内容一般是固定的IP网络类型)
>  *  **op字段**为**1表示ARP请求**,op字段为**2表示ARP应答**；（这个op字段是区分arp请求还是应答，进而进行下一步处理的关键！）

#### RARP协议(了解) ####

RARP：Reverse Address Resolution Protocal，逆地址解析协议。特殊场景下，广播出MAC地址请求RARP服务器分配一个IP地址给自己;

> 允许局域网的物理机器从网关服务器的ARP表或缓存上请求IP地址。
> 
> 比如局域网中有一台主机只知道自己的物理地址而不知道自己的IP地址，那么可以通RARA协议发出征求自身IP地址的广播请求，然后由RARP服务器负责回答。
> 
> RARP协议广泛应用于**无盘工作站**引导时获取IP地址。RARP允许局域网的物理机器从网关服务器ARP表或者缓存上请求其IP地址。

## 其他重要协议或技术 ##

### DNS(Domain Name System) ###

DNS是一整套从**域名**映射到**IP**的系统，即域名系统;

#### DNS的背景 ####

TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是**IP地址不方便记忆**. 于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用**hosts文件来描述主机名和IP地址的关系**;(简单来说，IP是给程序员用的，跟一个域名绑定，域名是给用户看的便于记忆)

![在这里插入图片描述][33836952076e4d1f8ca812eef5271b94.png]

最初, 通过互连网信息中心(SRI-NIC)来管理这个hosts文件的.

但是:

>  *  如果一个新计算机要接入网络, 或者某个计算机IP变更, 都需要到信息中心申请**变更hosts文件**.
>  *  其他计算机也需要**定期下载更新新版本的hosts文件**才能正确上网.

这这样就太麻烦了, 于是产生了DNS系统：

>  *  一个组织的系统管理机构，维护系统内每个主机的IP和主机名的对应关系.
>  *  如果新计算机接入网络, 将这个信息注册到数据库中;
>  *  用户**输入域名**的时候, **会自动查询DNS服务器,** 由DNS服务器检索数据库, **得到对应的IP地址**.

其实，至今 我们的计算机上仍然保留了hosts文件. 在域名解析的过程中仍然会优先查找hosts文件的内容;

> cat /etc/hosts

![在这里插入图片描述][d01df7da5e344932b95fec1825ecbb89.png]

需要注意的是:**DNS协议规范使用UDP进行传输**.此外，DNS的默认端口为53。

#### 域名简介 ####

*  www.baidu.com

> www:只是一种习惯用法. 之前人们在使用域名时,往往命名成类似于ftp.xxx.xxx/www.xxx.xxx这样的格 式, 来表示
> 
> baidu:二级域名,公司名.
> 
> com:一级域名. 表示这是一个企业域名. 同级的还有 “net”(网络提供商), “org”(非盈利组织) ，“edu”(教育组织)等.

#### 使用dig工具分析DNS ####

安装dig工具：

> yum install bind-utils

使用dig指令查看域名解析过程：

> dig www.baidu.com

![在这里插入图片描述][ed84c10fef6d42e0baec7b19758ca7ad.png]

>  *  开头位置是 dig 指令的版本号
>  *  第二部分是服务器返回的详情, 重要的是 status 参数, NOERROR 表示查询成功
>  *  QUESTION SECTION 表示要查询的域名是什么
>  *  ANSWER SECTION 表示查询结果是什么. 这个结果先将 www.baidu.com 查询成了 www.a.shifen.com, 再将 www.a.shifen.com 查询成了两个 ip 地址.
>  *  最下面是一些结果统计, 包含查询时间和 DNS 服务器的地址等.

### NAT技术(Network Address Translation) ###

#### NAT技术背景 ####

之前我们讨论了, IPv4协议中, IP地址数量不充足的问题

NAT技术当前解决IP地址不够用的主要手段, 是**路由器**的一个重要功能

>  *  NAT能够将**私有IP对外通信时转为全局IP**. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
>  *  很多学校, 家庭,公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP; **全局IP要求唯一, 但是私有IP不需要**,(很多私有ip可以复用了，解决IP数量不足);
>  *  在**不同的局域网中出现相同的私有IP是完全不影响**的;

#### NAT:IP转换过程 ####

![在这里插入图片描述][9536b0d964884677bcd531cab026cce1.png]

>  *  NAT路由器**发数据**时将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
>  *  NAT路由器**收到外部的数据**时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
>  *  在NAT路由器内部, 有一张自动生成的, 用于地址转换的表;
>  *  当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;因此回来的时候也有迹可循；

#### NAPT技术 ####

在NAT技术的基础上，假设下列场景:

如果**同一个局域网内**, 有**多个主机都访问同一个外网服务器**, 那么**对于服务器**返回的数据中, **目的IP都是相同**  
**的**. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机?

这时候NAPT来解决这个问题了，即使用**IP+port**来区分这个关联关系。

路由器会给同一局域网的不同主机在进行**NAT：IP私有转换成全局IP后**，**末尾加上端口号进一步区分！**  
![在这里插入图片描述][e2d4b5745570414fb943fb59bdabc0aa.png]

这种关联关系也是由**NAT路由器自动维护**的.

例如在**TCP的情况下, 建立连接时, 就会生成这个表项**（握手也是源向目的发报文）; 在**断开连接后, 就会删除这个表项**。

#### NAT技术的缺陷 ####

由于NAT技术依赖这个转换表, 所以有诸多限制:

>  *  **无法从NAT外部向内部服务器建立连接**;也就是说**只能从客户端去访问服务器**，而外部服务器并不能够直接访问客户端，必须建立好连接后才行。(因为服务器外部就算找到了某客户端主机的全局IP，进而找到了所在局域网，但是因为没有端口号也无法确定是局域网内的具体的哪台主机)
>  *  **转换表**的生成和销毁都需要**额外开销**。
>  *  通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开。

#### NAT和代理服务器 ####

**路由器**往往都具备NAT设备的功能, 通过**NAT设备进行中转**, 完成子网设备和其他子网设备的通信过程;  
**代理服务器**看起来和NAT设备有一点像. 客户端向代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端.  
那么NAT和代理服务器有什么区别呢？

>  *  从应用上讲, **NAT设备是网络基础设备**之一, 解决的是IP不足的问题. **代理服务器则是更贴近具体应用**, 比如通过代理服务器进行**翻墙**, 另外像**游戏加速器**, 也是使用代理服务器.
>  *  从底层实现上讲, **NAT是工作在网络层**, 直接对IP地址进行替换（都换IP地址了肯定再路由器里上走到网络层了）. **代理服务器往往工作在应用层**.
>  *  从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网.
>  *  从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上.

代理服务器又分为正向代理和反向代理:

> 拿代购举例子，我想买国外的iphone，于是让在国外的**表姐到当地的实体店中购买后邮递给我**，此时实体店老板看到买东西的是我表姐，于是我表姐就是“**正向代理**”。—请求转发  
> 后来找我表姐买iPhone的人太多了，于是**我表姐就买了许多iPhone屯在家里，只要有人来找她代购，她就直接把囤着的iPhone邮递过去**，这时我表姐就是“**反向代理**”。 —缓存

代理服务器是一种应用比较广的技术.

>  *  “科学上网”: 广域网中的代理.
> 
> ![在这里插入图片描述][a426a87d1f914b2eaa91f9c7b69dbd27.png]  
> 所谓的"科学上网"，根据国家政策，外网不能访问，运营商内部设置了域名阻拦;
> 
> 根据代理技术，我们找到一台可以访问外网的主机(eg香港 台湾等地区)，让他当中间人，我们包装http请求向代理中间人发数据包，可通过我俩的https协议将报文加密，只有双方收到，那么就穿过了运营商的"墙"，代理再把https报文转给对应外网服务器，外网服务器发送响应给代理，代理再加密后交回给我的主机，借助代理“跨过”运营商的限制，完成“科学上网”;—我们要守法，这种行为不可取，是违法的！
> 
>  *  负载均衡: 局域网中的代理
>     
>     ![在这里插入图片描述][739e33dfd48e4737a082cf1cc6ec6816.png]  
>     公司内网中部署反向代理机器，把接入的请求按照相对均匀的数量动态分配给内网业务主机；

[365e93a828844bdf8d5b9c592b17f709.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/50b51a04f93d4fd1a9d4525cd908f7e4.png
[1ba497e26ccb467c84677e4e5951e08b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/aba16146c12641ab8d4d86c973125d80.png
[25fdf20a14cb47d99f330a62f5b78d6a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/03cabf167d7a44919af44e5ab247a667.png
[e1acbee2f1d84d31ac50b80e7f59db28.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/74f7cd08a8b6438facc90b2ec4cb814f.png
[c2621236793d43d1bae889d1734647b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/987b9df6e794425c8e3c811ad898e794.png
[c981140511454fd2b40e6a40f20ade1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/6713e29d7c294b0ab2a965dc401c8cab.png
[777ed21f6da94971821acfc8b72470fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/0b9f974aefb2434287253c91754cb8b0.png
[8e1d9597ff9d48ceba1c7978e50a3cdb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/597d0882395c4ae8bc679b1cf6c27520.png
[fb53d5a3d6ff4c409cbbb5b130578bb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/3aa2383fd58b41e6afa2109d4140e9eb.png
[ce9dde69b5604270bb1b0d43285cae5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/450d64739373470e9f9e020429e778d4.png
[1f2a0a68ae9b491d87a60279853e28ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/f63213ac6fed401591014816426f8755.png
[51d41e25a0de43219f31afe837a7fba7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/5e527adfe4b04945839dfd32c7d68317.png
[f4c7d09136b047f3b237fadec5340284.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/a1623f9f62714b18907bb835128460b1.png
[41346de172904ca9bb3dc668196424c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/e69477ddaa624894848934bc7134ba28.png
[34f23b8fd2984208bcf357020c220aaf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/5079b48f4d0f4cae825818a0e745edee.png
[65e75c04d4154468a2d8daeb432a6dd0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/a1f6d44df8434512a8404741e395885c.png
[2dba335617204506b0f3f8fb970750d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/6cf9d9aedf4d4a919deeb6e4fb5876c6.png
[ac8984221cd140a492af6af43b5f80d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/0396e0c6e7b34e928a0dd0417ee75ffb.png
[fe0542ee69a246fd92b47b3bfafa4984.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/ac52d72576184a57a7c5c107197f8f8f.png
[5d78e53f110743c1af196321bfd4e32b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/a21db0ce0aba4505aac9e7a3b7828ef5.png
[1944e99eae5e4ab99120f75c1b9a00ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/baad7dbee6ce43f39490aa7314fe6129.png
[bc86097a1f8e47c4a16b64dcf7aa028f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/c8e8f158ec63431ab708709f0398f9f3.png
[228131305c2c4e1a9170c1fe84feaa16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/5c5ad25221a04f9e9ad8870fea0a02c0.png
[d4fb3b125684432e9a67e18caaad2929.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/03b1967188b0448b9cb714be0ae8e985.png
[cd246fc7b1334d18a2fe40c7abc1ce0b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/0b85066cc87942d9aa3f1c31ec214f36.png
[113dc4b695aa4041b36567c5bc593004.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/47825d71fc164d29a1e38a2e8e1a1a16.png
[aaf6f6c6e3dd4a3abd50a9bbf3e1d9fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/400722b6c2be40ad9e9d6158cd91e326.png
[33836952076e4d1f8ca812eef5271b94.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/b9c99a6877954b339eae06c8bc480196.png
[d01df7da5e344932b95fec1825ecbb89.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/f0a43715fa9e43c7b4e911732e72372b.png
[ed84c10fef6d42e0baec7b19758ca7ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/a352fccc9236473689b1be4aaee3b33b.png
[9536b0d964884677bcd531cab026cce1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/647e4ba8e03c47ba9106d91a430acf08.png
[e2d4b5745570414fb943fb59bdabc0aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/5dfec3caad7845e1be0447ad5d2302ab.png
[a426a87d1f914b2eaa91f9c7b69dbd27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/937a79f5428a4c199fde8e7db09f1415.png
[739e33dfd48e4737a082cf1cc6ec6816.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/02/3d1a7c0e31f445308df818015b9f31ab.png