HTTP：与HTTP协议相关的概念

超、凢脫俗 2022-08-28 02:50 542阅读 0赞

# 总图 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]

*  左边：与HTTP有关系的各种协议，偏向理论
 *  右边：与HTTP有关系的各种应用技术，偏向实际应用

## 右边 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]

### 网络世界 ###

*  互联网的正式名称是 Internet，里面存储着无穷无尽的信息资源
 *  互联网世界像是由数不清的大小岛屿组成的“千岛之国”，我们可以从一个节点无障碍的访问到另一个节点
    
     *  我们通常所说的“上网”实际上访问的只是互联网的一个子集“万维网”（World Wide Web），它基于HTTP协议，传输HTML等超文件资源，能力也被限制在HTTP协议之内
     *  互联网还有很多万维网之外的资源，比如电子邮件、BT、FTP、SSH等，它们需要用各自的专有协议来访问
     *  不过由于HTTP协议非常灵活、易于扩展，而且“超文本”的表述能力很强，所以很多其他不属于HTTP的资源也可以“包装”成HTTP协议来访问，这就是我们为什么能够总看到各种“网页应用”——例如“微信网页版”“邮箱网页版”——的原因。
     *  现在的互联网 90% 以上的部分都被万维网，也就是 HTTP 所覆盖，所以把互联网约等于万维网或 HTTP 应该也不算大错。  
        ![在这里插入图片描述][c8aaedfbf2354c76af162a48d85070a6.png]

### 浏览器 ###

*  上网就要用到浏览器
 *  所谓的浏览器，就是指web browser，即检索、查看互联网上网页资源的应用程序。名字里面的web，实际上指的是“world wide web”，也就是万维网
 *  浏览器**本质上是一个HTTP协议中的请求方**，使用HTTP协议能够获取网络上的各种资源。当然，为了让我们更好地检索查看网页，它还集成了很多额外的功能。
 *  在HTTP协议里，浏览器的角色被称为“user agent”，即“用户代理”，意思是作为访问者的“代理”来发起HTTP请求。不过在不引起混淆的情况下，我们通常都简单地称之  
    为“客户端”。  
    ![在这里插入图片描述][ef95ff2179e043d29b4cac57e1c7694f.png]

### web服务器 ###

刚刚我们说浏览器是HTTP里的请求方，那么协议另一端的应答方又是什么呢？

*  就是服务器，web server。
 *  web服务器是HTTP协议里响应请求的主体，通常也把控着绝大多数网络资源。

我们谈到“web服务器”是由两个层面的含义：

*  **硬件含义**：就是物理形式或者“云”形式的机器，在大多数情况下它可能不是一台服务器，而是利用反向代理、负载均衡等技术组成的庞大集群。但从外界看来，它仍然表现为一台机器，但这个形象是“虚拟的”。
 *  **软件含义**：（一般概念“web服务器”就是说软件含义的）就是提供web服务的应用程序，通常会运行在硬件含义的服务器上。它利用强大的硬件能力响应海量的客户端HTTP请求，处理磁盘上的网页、图片等静态文件，或者把请求转发给后面的tomcat、node.js等业务应用，返回动态的信息

常用的web服务器如下：

![在这里插入图片描述][602e3d0ecafa44eb82b46545a6bc5800.png]

### CDN ###

浏览器和服务器是HTTP协议的两个端点，但是通常浏览器不会直接连到服务器，中间会经过“重重关卡”，其中一个重要角色就是CDN：

*  CDN，全称是“Content Delivery Network”，翻译过来就是“内容分发网络”。
 *  它应用了HTTP协议里的缓存和代理技术，代替源站响应客户端的请求

CDN 也是现在互联网中的一项重要基础设施，除了基本的网络加速（缓存源站的数据；找到离用户最近的节点等）外，还提供负载均衡、安全防护、边缘计算、跨运营商网络等功能，能够成倍地“放大”源站服务器的服务能力，  
![在这里插入图片描述][7b41b99c694d42139252162cd90936a2.png]

### 爬虫 ###

我们知道，浏览器是一种用户代理，代替我们访问互联网。

但HTTP协议并没有规定用户代理后面必须是“真正的人类”，它也可以是“机器人”，这些“机器人”的正式名称就叫做“爬虫”（Crawler），实际上是**一种可以自动访问web资源的应用程序**。

“爬虫”这个名字非常形象，它们就像是一只只不知疲倦的、辛勤的蚂蚁，在无边无际的网络上爬来爬去，不停地在网站间奔走，搜集抓取各种信息。

> 爬虫是怎么来的

绝大多数是各大搜索引擎“放”出来的，抓取网页存入数据库，在建立关键字索引，这样我们才能在搜索引擎中快速地搜索到互联网角落里的页面。

> 爬虫的缺点

*  过渡消耗网络资源，占用服务器和带宽
 *  影响网站对真实数据的分析，甚至导致敏感信息泄露。

所以，有出现了“反爬虫”技术，通过各种手段来限制爬虫。 其中一项就是“君子协定”robots.txt，约定哪些该爬，哪些不该爬。

> 用到的技术

无论是“爬虫”还是“反爬虫”，用到的基本技术都是两个，一个是 HTTP，另一个就是HTML。

![在这里插入图片描述][900e04074197400fb6279bbd7a655d82.png]

> 问题： 你觉得 CDN 在对待浏览器和爬虫时会有差异吗？为什么？

CDN 应当是不区分的

*  不区分，因为爬虫主要就是无限模仿浏览器行为
 *  不区分，因为爬虫本身也是对 Web 资源的访问，且对于爬虫识别并不是100% 准确的，因此 CDN 只会去计算实际使用了多少资源而不管其中多少来自爬虫；

> 问题： 有些网站全新上线的，没有外链，也没特意提交过，为什么也会有爬虫经过呢，入口在哪里

这可能是从dns域名服务商那里获取了你的网站。

### HTML ###

*  HTML是HTTP协议传输的主要内容之一。它描述了超文本页面，用各种“标签”定义文字、图片等资源和排版布局，最终由浏览器“渲染”出可视化页面。
 *  HTML 目前有两个主要的标准，HTML4 和 HTML5。
 *  广义上的 HTML 通常是指 HTML、JavaScript、CSS 等前端技术的组合，能够实现比传统静态页面更丰富的动态页面。  
    ![在这里插入图片描述][1a73b11f25bc41eb882df8a870e673c6.png]

### Web Service ###

它的名字与 Web Server 很像，但却是一个完全不同的东西。

*  Web Service 是一种由 W3C 定义的应用服务开发规范，使用 client-server 主从架构，通常使用 WSDL 定义服务接口，使用 HTTP 协议传输 XML 或 SOAP 消息
 *  也就是说，它是一个基于 Web（HTTP）的服务架构技术，既可以运行在内网，也可以在适当保护后运行在外网。
 *  因为采用了 HTTP 协议传输数据，所以在 Web Service 架构里服务器和客户端可以采用不同的操作系统或编程语言开发。例如服务器端用 Linux+Java，客户端用 Windows+C\#，具有跨平台跨语言的优点。

Web Service 是网络服务实体，而 Web Server 是网络服务器，后者的存在是为了承载前者。  
![在这里插入图片描述][fd63928fa2874e6cbd55ca512773d7b2.png]

### WAF ###

WAF，意为“网络应用防火墙”。

*  与硬件“防火墙”类似，它是应用层面的“防火墙”，**专门用于检测HTTP流量**，是防护web应用的安全技术
 *  WAF通常位于Web服务器之前，可以阻止SQL注入、跨站脚本等攻击，目前应用较多的一个开源项目是 ModSecurity，它能够完全集成进 Apache 或 Nginx。  
    ![在这里插入图片描述][9e5410fb15b04edf918defd3cb7c7110.png]

## 右边：与http相关的协议 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_19_color_FFFFFF_t_70_g_se_x_16]

### TCP/IP协议 ###

*  TCP/IP协议是目前网络世界“事实上”的标准通信协议
 *  它实际上是一系列网络通信协议的统称，其中最核心的协议是TCP/IP，其他的还有UDP、ICMP、ARP等等，共同组成了一个复杂而有层次的协议栈
 *  这个协议栈有四层：
    
     *  最上层是“应用层”
     *  最下层是“链接层”
     *  TCP 和 IP 则在中间：TCP 属于“传输层”，IP 属于“网际层”  
        ![在这里插入图片描述][7966f26690044c4b90777a3bac3f71ea.png]
 *  **IP协议**是“Internet Protocol”的缩写，主要目的是**解决寻址和路由文件，以及如何在两点键传输数据包**。IP协议使用“IP 地址”的概念来定位互联网上的每一台计算机。IP地址相当于手机号码，目前有两个版本：IPv4和IPv6  
    \+\*\* TCP 协议**是“Transmission Control Protocol”的缩写，意思是“传输控制协议”，它位于IP协议之上，基于IP协议提供**可靠的、字节流\*\*形式的通信，是HTTP协议得以实现的基础。
    
     *  “可靠”是指保证数据不丢失
     *  “字节流”是指保证数据完整，所以在 TCP 协议的两端可以如同操作文件一样访问传输的数据，就像是读写在一个密闭的管道里“流动”的字节。

>  *  HTTP 是一个"传输协议"，但它不关心寻址、路由、数据完整性等传输细节，而要求这些工作都由下层来处理。因为互联网上最流行的是 TCP/IP 协议，而它刚好满足 HTTP 的要求，所以互联网上的 HTTP 协议就运行在了 TCP/IP 上，HTTP 也就可以更准确地称为“HTTP over TCP/IP”。
>  *  如果使用Unix/Linux操作系统，HTTP可以运行在本机的UNIX Domain Socket上，它是一种进程间通信机制，但是页满足HTTP对下层的“可靠传输”的要求，所以就成了“HTTP over UNIX Domain Socket”。

IP协议曾有v1、v2、v3版本，但是因为不够完善而没有对外发布，而v5仅用于实验室内部研究，也从未公开，所以我们只能看到v4、v6两个版本。

### DNS ###

*  在 TCP/IP 协议中使用 IP 地址来标识计算机，数字形式的地址对于计算机来说是方便了，但对于人类来说却既难以记忆又难以输入。
 *  于是“域名系统”（Domain Name System）出现了，用有意义的名字来作为 IP 地址的  
    等价替代。设想一下，你是愿意记“95.211.80.227”这样枯燥的数字，还是“nginx.org”这样的词组呢？
 *  但想要使用 TCP/IP 协议来通信仍然要使用 IP 地址，所以需要把域名做一个转换，“映  
    射”到它的真实 IP，这就是所谓的“域名解析”。

继续用刚才的打电话做个比喻，你想要打电话给小明，但不知道电话号码，就得在手机里的号码簿里一项一项地找，直到找到小明那一条记录，然后才能查到号码。这里的“小明”就相当于域名，而“电话号码”就相当于 IP 地址，这个查找的过程就是域名解析。

HTTP协议并没有明确要求必须使用DNS，但实际上为了方便访问互联网上的Web服务，通常都会使用DSN来定位或者标记主机名，间接的把DNS和HTTP绑定到了一起  
![在这里插入图片描述][f58aaf3aabdf40e3861596e198a13e3b.png]

### URI/URL ###

有了 TCP/IP 和 DNS，是不是我们就可以任意访问网络上的资源了呢？

还不行，DNS 和 IP 地址只是标记了互联网上的主机，但主机上有那么多文本、图片、页面，到底要找哪一个呢？就像小明管理了一大堆文档，你怎么告诉他是哪个呢？

所以就出现了 URI（Uniform Resource Identifier），中文名称是**统一资源标识符**，使用它就能够唯一地标记互联网上资源。

![在这里插入图片描述][8454b35e7dd04f35827b7f8d62776fce.png]  
URI 另一个更常用的表现形式是 URL（Uniform Resource Locator）， 统一资源定位  
符，也就是我们俗称的“网址”，它实际上是 URI 的一个子集，不过因为这两者几乎是相同的，差异不大，所以通常不会做严格的区分。

> DNS和URL的关系

*  URL 包含了协议+主机名+路径，DNS 会将其中的主机名解析为 IP，进而方便根据 IP协议进行寻址、路由；
 *  打个比方：我让老婆帮我去楼下超市买瓶水，DNS可以帮她找到楼下超市，URI可以帮她找到水放在超市的具体位置

### HTTPS ###

在 TCP/IP、DNS 和 URI 的“加持”之下，HTTP 协议终于可以自由地穿梭在互联网世界  
里，顺利地访问任意的网页了。

但是HTTP传输的是明文，很容易被窃听。

这个时候就引入了HTTPS，可以用来加密明文

*  它的全称是“HTTP over SSL/TLS”，也就是运行在 SSL/TLS 协议上的 HTTP。即HTTPS 相当于“HTTP+SSL/TLS+TCP/IP”
 *  注意它的名字，这里是SSL/TLS，而不是TCP/IP，它是一个负责加密通信的安全协议，建立在TCP/IP上，所以它也是个可靠的传输协议，可以被用作HTTP的下层
 *  SSL 的全称是“Secure Socket Layer”，由网景公司发明，当发展到 3.0 时被标准化，改名为 TLS，即“Transport Layer Security”，但由于历史的原因还是有很多人称之为SSL/TLS，或者直接简称为 SSL。
 *  SSL综合了对称加密、非对称加密、摘要算法、数字签名、数字证书等技术，能够在不安全的环境中为通信的双方创建出一个秘密的、安全的传输通道，为 HTTP 套上一副坚固的盔甲

![在这里插入图片描述][fe18112485ee4857afa17225a7e37c7a.png]

## 代理 ##

代理（proxy）是HTTP协议中请求发和应答方中间的一个环节，作为“中转站”，既可以转发客户端的请求，又可以转发服务器的应答。

CDN，实际上就是一种代理，它代替源站服务器响应客户端的请求，通常扮演着透明代理和反向代理的角色。

由于代理在传输过程中插入了一个“中间层”，所以可以在这个环节做很多有意思的事情，比如：

*  负载均衡：把访问请求均匀分散到多台机器，实现访问集群化；
 *  内容缓存：暂存上下行的数据，减轻后端的压力；
 *  安全防护：隐匿 IP, 使用 WAF 等工具抵御网络攻击，保护被代理的机器；
 *  数据处理：提供压缩、加密等额外的功能。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d45fadaf109f4defa1296b2346cd4eda.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/6adf9d4a82b74cb79807a59164801af9.png
[c8aaedfbf2354c76af162a48d85070a6.png]: /images/20220828/54c6261806134041b3c230888bef747b.png
[ef95ff2179e043d29b4cac57e1c7694f.png]: /images/20220828/ba7c615b50ba4352b71c5e7afe62d268.png
[602e3d0ecafa44eb82b46545a6bc5800.png]: /images/20220828/d06900e6bc0943d48fbda20f8d1a1f51.png
[7b41b99c694d42139252162cd90936a2.png]: /images/20220828/4d6c81ee2cca486b93f83464661bd89b.png
[900e04074197400fb6279bbd7a655d82.png]: /images/20220828/1141025b91c745f8a1eca9593833d263.png
[1a73b11f25bc41eb882df8a870e673c6.png]: /images/20220828/7e211bd9a6e14b03b77cb02b68914c82.png
[fd63928fa2874e6cbd55ca512773d7b2.png]: /images/20220828/7d7d1ddeea834a1999566ab24b5a57e3.png
[9e5410fb15b04edf918defd3cb7c7110.png]: /images/20220828/4fa53d2ef59340adbc8d33d49f42e394.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/89c21f9526624e798d7a3c7a4ca3c6bc.png
[7966f26690044c4b90777a3bac3f71ea.png]: /images/20220828/ca519dbae39945f9a1a06a909ddc5341.png
[f58aaf3aabdf40e3861596e198a13e3b.png]: /images/20220828/aa0d14b4788c4364a0513cafe817a801.png
[8454b35e7dd04f35827b7f8d62776fce.png]: /images/20220828/24c1cd9214a344dd80b4d4c3a63a42a8.png
[fe18112485ee4857afa17225a7e37c7a.png]: /images/20220828/96d6171c75da47d0a841d02e6b0226d3.png