3.爬虫基础——网络请求

ゞ浴缸里的玫瑰 2023-06-09 07:57 8阅读 0赞

### 网络请求 ###

1.网络请求的分类：

网络请求主要有八种，如下表所示：

<table style="width:523px;">  HTTP请求  
 <tbody> 
  <tr> 
   <td style="width:103px;">&nbsp; &nbsp;请求方式</td> 
   <td style="width:417px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 描述</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;"><span style="color:#f33b45;"><strong>GET</strong></span></td> 
   <td style="text-align:center;vertical-align:middle;width:417px;"><span style="color:#f33b45;">发送请求来获得服务器上的资源【比如请求百度的页面】</span></td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;"><span style="color:#f33b45;"><strong>POST</strong></span></td> 
   <td style="text-align:center;vertical-align:middle;width:417px;"><span style="color:#f33b45;">向服务器提交资源让服务器处理【比如百度云盘上传资源】</span></td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">HEAD</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;"> <p>主要用来检查资源或超链接的有效性或是否可以可达、检查网页是否被串改或更新</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">PUT</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;">向指定资源位置上上传其最新内容</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">DELETE</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;">请求服务器删除某资源</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">CONNECT</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;">HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">OPTIONS</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;">允许客户端查看服务器的性能</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:103px;">TRACE</td> 
   <td style="text-align:center;vertical-align:middle;width:417px;">回显服务器收到的请求，主要用于测试或诊断</td> 
  </tr> 
 </tbody> 
</table>

最常用的是GET和POST请求。

(1)GET请求：一般情况下，发送请求从服务器上获取资源，不会对服务器资源产生任何影响的时候使用GET请求。

(2)POST请求：向服务器发送数据（登录）、上传文件等让服务器处理，会对服务器资源产生影响的时候使用POST请求。

这两个请求是在网站开发中最常使用的两种请求。

(3)GET请求示例：

网址：[https://www.baidu.com/][https_www.baidu.com]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70][]

(4)POST请求示例：

网址：[https://www.wenjuan.com/][https_www.wenjuan.com]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 1][]

### 2.请求头常见参数 ###

(1)User-Agent

指浏览器的名称。我们在向别人的服务器发送请求的时候，别人的服务器通过这个参数知道请求是从哪种浏览器发出的，这样就能返回正确的信息。但是如果不设置这个参数的话，我们如果使用Python发送去了请求，别人的服务器【大部分服务器】就知道这个请求时Python发出的，从而不给我们返回正确的数据。因此我们必须设定这个参数。

(2)Referer

表明这个网页是从哪个网站跳转过来的。有些网页只能从特定的链接跳转过来，如果不设置这个参数，有些网页就知道你是通过非浏览器方式试图获取他们的html页面，因此就不返回给你正确的数据。所以这个参数可以用来进行反爬虫设计，我们需要设定这个参数。

(3)Cookie

HTTP协议是无状态的。也就是同一个人在浏览器上发送了两次请求，服务器不知道这两个请求是否来自同一个人。因此这时候就用Cookie来做标识。一般登陆后才能访问的网页，这个时候就需要发送Cookie信息。

【网址示例】

百度页面：[https://www.baidu.com/][https_www.baidu.com]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 2][]

CSDN博客页面：[https://www.csdn.net/][https_www.csdn.net]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 3][]

### 3.常见响应状态码 ###

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:106px;">状态码</td> 
   <td style="text-align:center;vertical-align:middle;width:392px;">含义</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:106px;">200</td> 
   <td style="text-align:center;vertical-align:middle;width:392px;">请求成功</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:106px;">301</td> 
   <td style="text-align:center;vertical-align:middle;width:392px;"> <p>&nbsp; &nbsp; &nbsp; &nbsp;永久重定向，资源（网页等）被永久转移到其它URL</p> <p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;【www.jingdong.com ---&gt;&gt;&gt;www.jd.com】</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:106px;">404&nbsp;</td> 
   <td style="text-align:center;vertical-align:middle;width:392px;">请求的资源（网页等）不存在</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:106px;">500&nbsp;</td> 
   <td style="text-align:center;vertical-align:middle;width:392px;">内部服务器错误</td> 
  </tr> 
 </tbody> 
</table>

--------------------

扫描二维码即可参与该课程，解锁更多爬虫知识：

![2021022321251417.png][]

[https_www.baidu.com]: https://www.baidu.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70]: /images/20230531/0a1c793b6f3d4791a162764293b3987b.png
[https_www.wenjuan.com]: https://www.wenjuan.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 1]: /images/20230531/305b7e9ae33b463680f852d02a45b3c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 2]: /images/20230531/5092fe74c0b94f069dd99329f098f248.png
[https_www.csdn.net]: https://www.csdn.net/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgzMDY5Nw_size_16_color_FFFFFF_t_70 3]: /images/20230531/544fda7da1f642f19f035c02ef373963.png
[2021022321251417.png]: /images/20230531/1b7d4226779d4e8bb9bfb3d86c10ea05.png