python爬虫的简介

深藏阁楼爱情的钟 2023-10-05 16:20 8阅读 0赞

## 1.爬虫的介绍 ##

#### 1.1什么是爬虫 ####

*  爬虫就是用来代替人去模拟浏览器进行网页操作

#### 1.2为什么需要爬虫 ####

*  为其他的程序提供数据。例如：百度、谷歌等搜索引擎。数据分析、大数据等等。

#### 1.3企业获取数据的方式 ####

*  1.公司自己保存的数据。
 *  2.在第三方平台购买的数据（百度指数、数据堂）
 *  3.通过爬虫获取的数据

#### 1.4用python做爬虫的优势 ####

*  1.PHP：对多线程、异步支持不太好。
 *  2.Java：代码量大，代码笨重。
 *  3.C/C++：代码量大，难以编写。
 *  python：具有很多强大的第三方库，代码简洁，开发效率高（scrapy框架）

#### 1.5爬虫的分类 ####

*  通用网络爬虫 例如：百度、谷歌
 *  聚焦网络爬虫：根据目标有选择性的爬取某一特定主题的内容
 *  增量式网络爬虫：指对下载网页采取增量式的更新和只爬行新产生的或者已经发生变化的网页爬虫
 *  深层网络爬虫: 指那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的web页面 例如 用户登录注册才能访问的页面

## 2.爬虫必要的几个概念 ##

#### 2.1 GET和POST ####

*  GET : 查询参数都会在URL上显示出来
 *  POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来

#### 2.2 URL的组成部分 ####

*  URL: 统一资源定位符
 *  https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
 *  https: 协议
 *  new.qq.com: 主机名可以将主机理解为一台名叫 news.qq.com 的机器。这台主机在 qq.com 域名下
 *  port 端口号: 80 /new.qq.com 在他的后面有个 :80 可以省略
 *  TWF20200/TWF2020032502924000.html 访问资源的路径
 *  \#anchor: 锚点用前端在做页面定位的
 *  注意 : 在浏览器请求一个url,浏览器会对这个url进行一个编码。(除英文字母、数字和部分标识其他的全部使用% 加 十六进制码进行编码)
 *  例如 : https://tieba.baidu.com/f?ie=utf-8&kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search
 *  %E6%B5%B7%E8%B4%BC%E7%8E%8B = 海贼王

#### 2.3 User-Agent用户代理 ####

*  作用:记录用户的浏览器、操作系统等,为了让用户更好的获取HTML页面效果

#### 2.4 Refer ####

*  表明当前这个请求是从哪个url过来的。一般情况下可以用来做反爬的技术

#### 2.5 响应状态码 ####

*  200 : 请求成功
 *  301 : 永久重定向
 *  302 : 临时重定向
 *  404 : 请求失败(服务器无法根据客户端的请求找到资源（网页）)
 *  500 : 服务器内部请求

## 3.抓包工具 ##

![在这里插入图片描述][20201223112023679.png]

*  Elements : 元素 网页源代码，提取数据和分析数据(有些数据是经过特殊处理的所以并不是都是准确的)
 *  Console : 控制台 (打印信息)
 *  Sources : 信息来源 (整个网站加载的文件)
 *  NetWork : 网络工作(信息抓包) 能够看到很多的网页请求

[20201223112023679.png]: https://img-blog.csdnimg.cn/20201223112023679.png