IO模型/网络协议

- 日理万妓 2024-04-01 13:19 84阅读 0赞

## ![deed222f50b74ed7b288ce09c744d31f.png][] ##

## 一、文件系统IO ##

举个例子

在Linux系统中运行java代码

package com.softeem.wolf.IO;
    
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.IOException;
    
    /**
     * Created by 苍狼
     * Time on 2022-10-31
     */
    public class test {
        public static void main(String[] args) throws IOException {
            File file = new File("test.txt");
            FileOutputStream fos = new FileOutputStream(file);
            String str = "123456789\n";
            byte[] bytes = str.getBytes();
            for (int i = 0; i < 100000; i++) {
                fos.write(bytes);
                fos.flush();
            }
            fos.close();
        }
    }

javac编译一下test.java文件, 生成test.class文件

[root@CentOS-7-64 ~]# ll
    total 4
    -rw-r--r-- 1 root root 498 Nov  1 20:41 test.java
    [root@CentOS-7-64 ~]# javac test.java
    [root@CentOS-7-64 ~]# ll
    total 8
    -rw-r--r-- 1 root root 694 Nov  1 20:41 test.class
    -rw-r--r-- 1 root root 498 Nov  1 20:41 test.java

然后运行java test, 会生成一个test.txt文件, 这个时候用ll命令可以看到三个文件, test.java, test.class, test.txt, 且这三个文件都有内容.

[root@CentOS-7-64 ~]# java test
    [root@CentOS-7-64 ~]# ll
    total 988
    -rw-r--r-- 1 root root     694 Nov  1 20:41 test.class
    -rw-r--r-- 1 root root     498 Nov  1 20:41 test.java
    -rw-r--r-- 1 root root 1000000 Nov  1 20:43 test.txt

这个时候**立即**关掉服务器(记住是关掉服务器不是关掉远程客户端连接, 是**立即关闭服务器**), 然后再重新启动服务器, 查看这三个文件, 你会发现这个时候test.txt文件内容为空.这是为什么呢?

这里说一下FileOutputStream这个类, 其中flush()并没有实现, 写不写都无所谓. 如果把它换成BufferedOutputStream, (虽然这个类对flush()进行了实现)结果也是一样的.

[root@CentOS-7-64 ~]# ll
    total 4
    -rw-r--r-- 1 root root   0 Nov  1 20:43 test.class
    -rw-r--r-- 1 root root 498 Nov  1 20:43 test.java
    -rw-r--r-- 1 root root   0 Nov  1 20:43 test.txt

明明在关掉服务器之前test.txt有数据的啊, 为什么重启一下服务器数据反而为空?

这里再看一个例子

package com.softeem.wolf.IO;
    
    import java.io.*;
    
    /**
     * Created by 苍狼
     * Time on 2022-11-01
     */
    public class Test15 {
    
        public static String fileUrl = "C:\\Users\\Lenovo\\Desktop\\test.txt";
        public static byte[] bytes = "123456789\n".getBytes();
    
        public static void testRandomAccessFilewrite01() throws Exception {
            RandomAccessFile raf = new RandomAccessFile(fileUrl, "rw");
            for (int i = 0; i<100000; i++){
                raf.write(bytes);
                raf.getChannel().force(true);
            }
            raf.close();
        }
    
        public static void main(String[] args) throws Exception {
            testRandomAccessFilewrite01();
        }
    }

这个时候我们重复上述操作, 发现并不会出现这种问题, 这又是为什么呢?

大家看看这咋图

![12ae7db3dc1242db969cbde5f2643316.png][]

我们所有对于Linux的操作都是在内核中完成的, 包括Linux命令ll, vim等, 所以我们之前用ll, vim查看文件的时候其实是操作内核查看内存中的数据, 而这时内存中的内容并没有写到硬盘中, 所以才导致我们在运行完java代码之后立即关掉服务器会导致数据丢失. 而第二个例子的代码因为一个方法raf.getChannel().force(true);这个方法表示内核会让每次写到内存中的数据都强制写入硬盘当中, 所以我们运行完了之后立即关掉服务器并不会导致数据丢失, 因为此时数据已经写入了硬盘当中了. 但是因为每一次内存写操作都需要写入硬盘所以运行速度相当之慢, 这就跟操作mysql数据库和redis数据库一样, 内存操作永远比硬盘操作快得多. 所以不同的项目技术选型就尤为重要了.

## 二、网络IO ##

### 2.1、计算机网络模型 ###

TCP/IP 与 OSI 都是为了使网络中的两台计算机能够互相连接并实现通信与回应，但他们最大的不同在于，**OSI 是一个理论上的网络通信模型，而 TCP/IP 则是实际上的网络通信标准。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NDUyMzM3MDA_size_16_color_FFFFFF_t_70][]

#### **2.1.1、OSI七层模型** ####

1、物理层：实现计算机节点之间比特流的透明传输，规定传输媒体接口的标准，屏蔽掉具体传输介质和物理设备的差异，使数据链路层不必关心网络的具体传输介质，按照物理层规定的标准传输数据就行

2、数据链路层：通过差错控制、流量控制等方法，使有差错的物理线路变为无差错的数据链路。

> 数据链路层的几个基本方法：数据封装成桢、透明传输、差错控制、流量控制。
> 
> 封装成桢：把网络层数据报加头和尾，封装成帧，帧头中包括源MAC地址和目的MAC地址。  
> 透明传输：零比特填充、转义字符。  
> 差错控制：接收者检测错误,如果发现差错，丢弃该帧，差错控制方法有 CRC 循环冗余码  
> 流量控制：控制发送的传输速度，使得接收方来得及接收。传输层TCP也有流量控制功能，但TCP是端到端的流量控制，链路层是点到点（比如一个路由器到下一个路由器）

3、网络层：实现网络地址与物理地址的转换，并通过路由选择算法为分组通过通信子网选择最适当的路径

> 网络层最重要的一个功能就是：路由选择。路由一般包括路由表和路由算法两个方面。每个路由器都必须建立和维护自身的路由表，一种是静态维护，也就是人工设置，适用于小型网络；另一种就是动态维护，是在运行过程中根据网络情况自动地动态维护路由表。

4、传输层：提供源端与目的端之间提供可靠的透明数据传输，传输层协议为不同主机上运行的进程提供逻辑通信。

>  *  网络层协议负责的是提供主机间的逻辑通信；
>  *  传输层协议负责的是提供进程间的逻辑通信。

5、会话层：是用户应用程序和网络之间的接口，负责在网络中的两节点之间建立、维持、终止通信。

6、表示层：处理用户数据的表示问题，如数据的编码、格式转换、加密和解密、压缩和解压缩。

7、应用层：为用户的应用进程提供网络通信服务，完成和实现用户请求的各种服务。

#### 2.1.2、TCP/IP模型 ####

TCP/IP协议模型（Transmission Control Protocol/Internet Protocol），包含了一系列构成互联网基础的网络协议，是Internet的核心协议。TCP/IP协议族按照层次由上到下，层层包装。

![2e3902b55e135f63d2c0917801a5ae49.png][]

上图表示了TCP/IP协议中每个层的作用，而TCP/IP协议通信的过程其实就对应着数据入栈与出栈的过程。入栈的过程，数据发送方每层不断地封装首部与尾部，添加一些传输的信息，确保能传输到目的地。出栈的过程，数据接收方每层不断地拆除首部与尾部，得到最终传输的数据。

![5e7ada38c342e9078ab2969b3f0b7232.png][]

### 2.2、应用程序通信的大致过程 ###

正常情况下两个应用之间的通信直观的感受是这样的

![1571bae6ab484baea49ee1de1ae1b33d.png][]

真实的详细的通信过程

![7a3b7d517c004eeb8aa45d39dcd17741.png][]APP(应用程序) 实现的协议主要是应用层, 表示层, 会话层, 也就是开发者可以自己自定义的内容, 而传输层, 网络层中的协议是通过操作系统内核实现的, 不同的操作系统是有区别的. 这个一般是改不了的, 而数据链路层, 物理层协议是通过网卡等硬件设备来实现的.

这里APP1(应用程序1)向APP2(应用程序2)传输数据, 先通过APP1将数据传给操作系统内核, 然后操作系统再将数据传给网卡等硬件设备, 通过无线网络(基站)传输(通过ip地址)给APP2中的主机B的网卡等硬件设备. 然后传给操作系统内核, 操作系统内核最后给到APP2, 这个时候用户就可以在APP2看到APP1传来的数据信息了.这是APP1传输给APP2的数据, 同样APP2传输给APP1的数据也是同样的道理.

### 2.3、传输控制层(TCP/UDP协议) ###

![6480a5960f1243a58b06aee33ebd51a3.png][]

这里主要分析一下TCP协议, TCP协议是面向连接的可靠的传输控制层协议, 它是以三次握手来实现的(这里的连接可以理解为资源的创建)

**三次握手的大致过程**

![1bd2ed5c65b4404faad70a5ea810580e.png][]

**分析**

当c(客户端)开始向s(服务端)发送数据包时(第一次握手), 如果s收到了的话, 两端就开辟了资源, 只不过这时的资源状态是不通的. 只要三次握手都能正常执行, 则资源状态就是可以流通的. 当资源正常开辟使用时, APP就可以读取资源中的数据了.

![0d37fdd3260b46769d6ac698026cc524.png][]

如果最后一次握手失败了, 则资源的状态仍然是不可用的(这个时候资源已经开辟了), 那么如果这个时候c向s发送数据, 则会导致数据包的丢失, 不能发送到s的开辟的资源中, 那么这个时候怎么解决呢?

重复第二次握手, 就是s再向c发送syn+ack, 如果c收到了, 则向s发送ack, 如果第三次握手成功, 则开辟资源的状态就是可以正常操作的. 就可以实现正常的通信了.

**这里有人会问, 这个开辟的资源是什么?**

其实就是socket.

[root@CentOS-7-64 ~]# netstat -natp
    Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      906/sshd            
    tcp        0      0 192.168.101.102:22      192.168.101.1:62234     ESTABLISHED 1265/sshd: root@pts 
    tcp6       0      0 :::33060                :::*                    LISTEN      944/mysqld          
    tcp6       0      0 :::3306                 :::*                    LISTEN      944/mysqld          
    tcp6       0      0 :::22                   :::*                    LISTEN      906/sshd

看这个State为ESTABLISHED就代表的是资源可以正常执行的状态.而状态为LISTEN则代表目前资源处于监听状态, 不可以正常数据操作的.

### 2.4、socket通信原理 ###

大家看这张图

![9b43a584b55948919cb85e3765741d08.png][]

在Linux中演示三次握手

**命令**: **tcpdump -nn -i any port 80(抓取端口号为80端口的数据包)**

![c072910b9abe4b3f87b553b750d49436.png][]**命令: curl www.baidu.com(抓取百度主页的内容)**

![66f495b3acea48e68eb73b25c515c22e.png][]

当监听到了80端口有数据包传输, 则可以看到数据包中的详细内容.

![026ea24658844cce8a817aa94203f6f4.png][]

分析一下抓取的包的内容. 首先前面三行, 代表三次握手的控制包.

注: **凡是有.代表确认上一个信息.**

![7d0150cc789f47748835f5fb2db9b58f.png][]**\[S\]**代表syn, 且length为0. 主机(192.168.101.102.39430)向百度(14.215.177.38.80)发送控制包(第一次握手).

**\[S.\]**中的S代表syn, **.**代表ack, length为0. 百度(14.215.177.38.80)向主机(192.168.101.102.39430)发送控制包(第二次握手).

**\[.\]**带表ack, 且length也为0. 主机(192.168.101.102.39430)向百度(14.215.177.38.80)发送控制包(第三次握手).确认收到.

![1042c0d98bf74f23ac43dd3badf9bc66.png][]

在完成三次握手时, 后面就是进行进行数据传输.

*  首先客户端向百度服务器的内核发送length为77的请求头, 发送\[p.\], 这个p代表不要缓冲, 让百度服务器内核立即知道.
 *  然后百度服务器向客户端发送确认信息\[.\]
 *  接着百度服务器向客户端发送length为1460大小的数据包,
 *  客户端回复收到\[.\]
 *  接着百度服务器又向客户端发送length为1321大小的数据包
 *  客户端回复收到\[.\]

这里为什么百度服务器向客户端发送数据时第一次为什么大小是1460? 而第二次为1321?

**这里解释一下1460怎么来的, 首先在三次握手中规定了数据包的最大传输大小为1460(mss 1460)那第二次1321是因为你用的这个命令curl www.baidu.com 是为了获取百度的主页信息, 而百度的主页信息数据大小就是2781, 第一次百度最大只能传输的数据包大小是1460, 所以一个数据包是传输不完的, 那么第二次还剩下1321, 这也没有超过数据包的最大量, 所以就将剩余的数据传输给客户端.**

如果要深究的的话

![bb00ccc330a7424d9098c3a68de4eeca.png][]

输入ifconfig可以查看对应的网卡信息, 可以看到这里有一个mtu 1500, 这个代表**最大传输单元**, 其中其实是包括TCP首部的20和IP首部的20, 减掉40就得到了1460, 代表HTTP数据可以最大传输的大小为1460. 下面的这个图已经有展示了.

![5e7ada38c342e9078ab2969b3f0b7232.png][]

![93e95744229548f2ab6e33f6df81edec.png][]

**最后四个数据包的信息就是四次挥手的过程**了, 我就不详细展开说了, 大家应该都可以看得懂.

**\[F.\]: 客户端开始发送信息给百度服务端, 表示开始断开连接了.**

**\[.\]: 表示百度服务端向客户端发起收到数据包.**

**\[FP.\]: 百度服务端也开始向客户端发送断开数据包.**

**\[.\]: 客户端向百度服务端发起收到数据包.**

[deed222f50b74ed7b288ce09c744d31f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b59fc99d07a54adba294e6896184759c.png
[12ae7db3dc1242db969cbde5f2643316.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8e44069bf54a49bb87e5b71ff17c3de9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NDUyMzM3MDA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1de2735edb3243ce95772748e7bb3881.png
[2e3902b55e135f63d2c0917801a5ae49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/363e840b5f034c5d9f109ded6adc96e0.png
[5e7ada38c342e9078ab2969b3f0b7232.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/235cd105961a458bb2991198c6a7b016.png
[1571bae6ab484baea49ee1de1ae1b33d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/71ed5ace300940e8868636987174024f.png
[7a3b7d517c004eeb8aa45d39dcd17741.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/5df33ef06a5b48d9aedbdd509895841a.png
[6480a5960f1243a58b06aee33ebd51a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/17c43a4da26e4c86a31fa81574cfd8a4.png
[1bd2ed5c65b4404faad70a5ea810580e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/dc658cf57ba04423ad427f935c683c18.png
[0d37fdd3260b46769d6ac698026cc524.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c49706423cc449718259bd978eeda60d.png
[9b43a584b55948919cb85e3765741d08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cc60be30a40442b1b67f0b2e0b49ed0c.png
[c072910b9abe4b3f87b553b750d49436.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f207b0ff06d443d18c18b30e43254dce.png
[66f495b3acea48e68eb73b25c515c22e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ab00371015e74f84bff5438e5d399276.png
[026ea24658844cce8a817aa94203f6f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/109ac35aeb8d4fa98275abbf68863c54.png
[7d0150cc789f47748835f5fb2db9b58f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2845251e1f7444078bf125c9767f906f.png
[1042c0d98bf74f23ac43dd3badf9bc66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e127ef5064204a188afdab2ec454a77e.png
[bb00ccc330a7424d9098c3a68de4eeca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/38bc8eb801004d4f9f950badcc9caf93.png
[93e95744229548f2ab6e33f6df81edec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c227a24a1091452b86dc7bc57554c102.png