看懂Python爬虫框架，所见即所得一切皆有可能

Love The Way You Lie 2022-09-14 06:25 278阅读 0赞

### 文章目录 ###

*  内容介绍
 *  Scrapy爬虫框架
 *  Python爬虫自学目录

# 内容介绍 #

说起Python爬虫，非数据分析或是专业的爬虫工程师都会使用爬虫框架，其中包括 **Scrapy、Crawley、Portia、newspaper** 等等，但是其中使用占比最高的是 **Scrapy框架**。顺带说一下光会写爬虫不懂得项目管理的话永远你就是一个兵，所以对于爬虫管理框架来说，首选 **Gerapy框架**。

来一个知乎本人的高赞回答解释一下这个事情。

# Scrapy爬虫框架 #

首先一定要知道 Scrapy爬虫框架 对新手非常的不友好，或者从某些视频网站上跟着视频学或者说从培训机构里学几天技能掌握的，主要原因有以下两个方面。

框架模块内容太多，虽然只是实现了一个简单的爬虫工作，但是实际上完成一个页面的抓取在框架里最少要走8个以上的步骤，但是这些步骤都是基本都是依靠配置文件完成的，没有丰富的爬虫经验，这些模块很多都不知道是做什么的，也不知道怎么配置。

基于框架内进行数据抓取仅限于那些通用的网站抓取，你就简单理解为一个完成重复工作的机器人就行了。但是如果是那种反爬比较厉害的网站那就是另外一种情况了，完全是爬虫工程师和网站开发者的一个博弈了，所以这种情况不适合任何一种爬虫框架。

对于那些想在工作中摸鱼的Python工程师来说就一定要使用爬虫框架，你会发现省不少力气而且效率真心非常高，不过一切都是在对框架熟练掌握的基础上、和对业务的深刻理解来说来说。

但凡说 Scrapy 无用的基本上没有认真阅读过 Scrapy 的源码，对于 Scrapy框架 中的众多功能在搭建爬虫系统的时候能想到用几个？而且是基本是没有做过大型的爬虫系统项目的。

**咱们倒着推这个事，你就知道为什么要用Scrapy框架了。**

我之前的单位是国家互联网的新闻中心，做的项目中的有一项是复现863课题舆情监控系统中的内容，使用的方法是 Scrapy爬虫框架 结合 Django Web 搭建的数据采集系统，抓取的目标对象包括新闻、博客、论坛等等，其中每天目标检测网站成千上万，如果不用框架去做这种数据采集得累死。

**1.抓取的数据存哪里？**

单纯Scrapy爬虫脚本写好了执行抓取任务时数据保存到哪里？ES、Mongodb、MySQL？如果做过开发的人都知道存 Mongodb 中，那些说把数据存到 MySQL 的人基本上99%是从培训机构里出来的，因为大多数培训机构爬虫是不讲 Mongodb 的。通过业务计算逻辑把数据传输到生产 ES 环境中。

在 Centos7.x 上快速搭建 MongoDB 3.4及用户设置

**2.几千、几万个爬虫脚本应该怎么管理？**

很多刚入行的人都觉得爬虫脚本难写，其实并不是这样。最难的是如何管理密密麻麻数不清的爬虫脚本，这里介绍Python如何处理这个事情。  
管理方式无非几种，Web管理环境、GUI管理环境、手动管理环境，不管是哪一种都需要一定的开发基础和管理思路。

在全部文章目录中有相应的文章，自行查找。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]

**3.Scrapy如何面对反爬的？**

跟大多数单线抓取某个网站解决其反爬一样，只要把反爬的逻辑设置好，比如最简单的更换代理IP，更换header，解析JS生成cookie访问等等，都可以在框架中设置配置文件。

# 添加Header和IP类
    from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
    from scrapy.utils.project import get_project_settings
    import random
    settings = get_project_settings()
    
    class RotateUserAgentMiddleware(UserAgentMiddleware):
        def process_request(self, request, spider):
            referer = request.url
            if referer:
                request.headers["referer"] = referer
            USER_AGENT_LIST = settings.get('USER_AGENT_LIST')
            user_agent = random.choice(USER_AGENT_LIST)
            if user_agent:
                request.headers.setdefault('user-Agent', user_agent)
                print(f"user-Agent:{ user_agent}")
    
    
    # 添加随机更换IP代理类（根据实际IP代理情况进行修改获取方式和更改方式）
    import sys
    import requests
    
    sys.path.append('.')
    
    
    class MyProxyMiddleware(object):
        def process_request(self, request, spider):
            url = "这里放购买的代理API地址，进行解析后使用代理访问"
            html = requests.get(url).text
            ip_list = html.split("\r\n")[:-1]
            proxy = random.choice(ip_list)
            request.meta['proxy'] = 'http://' + proxy

**4.如何提高代码编写效率以及数据爬取效率？**

一定要阅读源码，一定要阅读源码，一定要阅读源码你才能知道这个框架里到底有什么内容可以用。

# Python爬虫自学目录 #

**日常开发工具使用**  
[最新版 PyCharm 免激活&免安装专业版安装指南，帮你每年省199美刀][PyCharm _199]  
[在windows下安装Python，Anaconda最新版本、免费Pycharm极简教程][windows_Python_Anaconda_Pycharm]  
[在 Jupyter Notebook 文档页面中添加目录索引及错误解决办法][Jupyter Notebook]  
[在 Centos7.x 上快速搭建 Python 环境最简流程][Centos7.x _ Python]  
[在 Centos7.x 上快速搭建 MySQL 5.7 及错误处理][Centos7.x _ MySQL 5.7]  
[在 Centos7.x 上快速搭建 MongoDB 3.4及用户设置][Centos7.x _ MongoDB 3.4]  
[在 Centos7.x 上处理 Django 3.x 中 sqlite3 安装、升级、使用、错误处理][Centos7.x _ Django 3.x _ sqlite3]  
[解决 Pycharm 输出信息中文乱码问题][Pycharm]  
[Win10+Python3.8+Tensorflow-gpu 2.4.0 环境搭建及使用最简流程][Win10_Python3.8_Tensorflow-gpu 2.4.0]  
[Tensorflow-gpu1.x版本和Tensorflow-gpu2.x版本共存之法][Tensorflow-gpu1.x_Tensorflow-gpu2.x]

**Scrapy框架**

[「Scrapy 爬虫框架」Downloader 中间件（Downloader Middleware）详解][Scrapy _Downloader _Downloader Middleware]  
[「Scrapy 爬虫框架」Spider中间件（Spider Middleware）详解][Scrapy _Spider_Spider Middleware]  
[「Scrapy 爬虫框架」管道（Pipeline）详解][Scrapy _Pipeline]  
[「Scrapy 爬虫框架」架构解析（Architecture overview） 详解][Scrapy _Architecture overview_]  
[「Scrapy 爬虫框架」链接提取器（Link Extractors） 详解][Scrapy _Link Extractors_]  
[「Scrapy 爬虫框架」命令行工具（Command line tool）详解][Scrapy _Command line tool]  
[「Scrapy 爬虫框架」爬虫页（Spiders）详解][Scrapy _Spiders]  
[「Scrapy 爬虫框架」请求和回应（Requests and Responses） 详解][Scrapy _Requests and Responses_]  
[「Scrapy 爬虫框架」设置（Settings） 详解][Scrapy _Settings_]  
[「Scrapy 爬虫框架」设置cookies方法说明和应用举例][Scrapy _cookies]  
[「Scrapy 爬虫框架」输出文件（Feed exports） 详解][Scrapy _Feed exports_]  
[「Scrapy 爬虫框架」物品（Items）详解][Scrapy _Items]  
[「Scrapy 爬虫框架」物品管道（Item Pipeline） 详解][Scrapy _Item Pipeline_]  
[「Scrapy 爬虫框架」物品加载（Item Loaders）详解][Scrapy _Item Loaders]  
[「Scrapy 爬虫框架」选择器（Selectors）详解][Scrapy _Selectors]  
[「Scrapy 爬虫框架」异常操作（Exceptions） 详解][Scrapy _Exceptions_]

**Gerapy爬虫管理框架**

[「Gerapy爬虫管理框架」win & linux端分布式部署你的Scrapy爬虫脚本][Gerapy_win _ linux_Scrapy]  
[「Gerapy爬虫管理框架」分布式爬虫管理框架linux部署踩坑实录][Gerapy_linux]  
[「Gerapy爬虫管理框架」分布式爬虫管理框架与Django版本不兼容报错解决方法][Gerapy_Django]

**爬虫标准化项目**

[「Python3爬虫标准化项目」环境搭建与爬虫框架Scrapy入门][Python3_Scrapy]  
[「Python3爬虫标准化项目」爬虫目标整理和数据准备][Python3]  
[「Python3爬虫标准化项目」标准化爬虫数据抓取通用代码编写模板][Python3 1]

**数据分析师的网络爬虫**

[「数据分析师的网络爬虫」Python 爬虫入门基础原理][Python]  
[「数据分析师的网络爬虫」使用Python快速抓取需要的数据][Python 1]  
[「数据分析师的网络爬虫」网络爬虫数据的存储MySQL和Mongodb][MySQL_Mongodb]  
[「数据分析师的网络爬虫」动态页面和Ajax渲染页面抓取][Ajax]  
[「数据分析师的网络爬虫」简单的模拟登录方法][Link 1]  
[「数据分析师的网络爬虫」Fiddler Web抓取微信公众号历史全部文章][Fiddler Web]

**爬虫总结的技巧**

[「爬虫技巧」Centos7.x 火狐浏览器selenium的安装和使用][Centos7.x _selenium]  
[「爬虫技巧」将相对路径的Url一键处理成绝对路径][Url]  
[「爬虫技巧」解决无法定位页面中 iframe 数据框的问题][iframe]

**爬虫案例日常**

[在中国网工作期间整理的一套基于Scrapy框架的分布式爬虫项目，全自动日抓数据百万][Scrapy]  
[本以为selenium万能，结果爬了优志愿才发现啥都不好使了][selenium]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/5b4fb7b7b4654d228cde3679d21625e5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/0bff0be4d4414efd8bb0b8d2e0fe58eb.png
[PyCharm _199]: https://blog.csdn.net/qq_20288327/article/details/120321810
[windows_Python_Anaconda_Pycharm]: https://blog.csdn.net/qq_20288327/article/details/108256262
[Jupyter Notebook]: https://blog.csdn.net/qq_20288327/article/details/115602774
[Centos7.x _ Python]: https://blog.csdn.net/qq_20288327/article/details/104710857
[Centos7.x _ MySQL 5.7]: https://blog.csdn.net/qq_20288327/article/details/104711233
[Centos7.x _ MongoDB 3.4]: https://blog.csdn.net/qq_20288327/article/details/104711360
[Centos7.x _ Django 3.x _ sqlite3]: https://blog.csdn.net/qq_20288327/article/details/104731065
[Pycharm]: https://blog.csdn.net/qq_20288327/article/details/115502613
[Win10_Python3.8_Tensorflow-gpu 2.4.0]: https://blog.csdn.net/qq_20288327/article/details/115503516
[Tensorflow-gpu1.x_Tensorflow-gpu2.x]: https://blog.csdn.net/qq_20288327/article/details/117135776
[Scrapy _Downloader _Downloader Middleware]: https://blog.csdn.net/qq_20288327/article/details/113524585
[Scrapy _Spider_Spider Middleware]: https://blog.csdn.net/qq_20288327/article/details/113543492
[Scrapy _Pipeline]: https://blog.csdn.net/qq_20288327/article/details/113778510
[Scrapy _Architecture overview_]: https://blog.csdn.net/qq_20288327/article/details/113524228
[Scrapy _Link Extractors_]: https://blog.csdn.net/qq_20288327/article/details/113520529
[Scrapy _Command line tool]: https://blog.csdn.net/qq_20288327/article/details/113454365
[Scrapy _Spiders]: https://blog.csdn.net/qq_20288327/article/details/113480328
[Scrapy _Requests and Responses_]: https://blog.csdn.net/qq_20288327/article/details/113504317
[Scrapy _Settings_]: https://blog.csdn.net/qq_20288327/article/details/113521524
[Scrapy _cookies]: https://blog.csdn.net/qq_20288327/article/details/115061930
[Scrapy _Feed exports_]: https://blog.csdn.net/qq_20288327/article/details/113499876
[Scrapy _Items]: https://blog.csdn.net/qq_20288327/article/details/113491113
[Scrapy _Item Pipeline_]: https://blog.csdn.net/qq_20288327/article/details/113498166
[Scrapy _Item Loaders]: https://blog.csdn.net/qq_20288327/article/details/113494261
[Scrapy _Selectors]: https://blog.csdn.net/qq_20288327/article/details/113483971
[Scrapy _Exceptions_]: https://blog.csdn.net/qq_20288327/article/details/113523437
[Gerapy_win _ linux_Scrapy]: https://blog.csdn.net/qq_20288327/article/details/107971086
[Gerapy_linux]: https://blog.csdn.net/qq_20288327/article/details/107971483
[Gerapy_Django]: https://blog.csdn.net/qq_20288327/article/details/107971227
[Python3_Scrapy]: https://blog.csdn.net/qq_20288327/article/details/113623896
[Python3]: https://blog.csdn.net/qq_20288327/article/details/113626985
[Python3 1]: https://blog.csdn.net/qq_20288327/article/details/113643944
[Python]: https://blog.csdn.net/qq_20288327/article/details/117389936
[Python 1]: https://blog.csdn.net/qq_20288327/article/details/117390427
[MySQL_Mongodb]: https://blog.csdn.net/qq_20288327/article/details/117390874
[Ajax]: https://blog.csdn.net/qq_20288327/article/details/117391015
[Link 1]: https://blog.csdn.net/qq_20288327/article/details/117391255
[Fiddler Web]: https://blog.csdn.net/qq_20288327/article/details/117392335
[Centos7.x _selenium]: https://blog.csdn.net/qq_20288327/article/details/108385098
[Url]: https://blog.csdn.net/qq_20288327/article/details/113771985
[iframe]: https://blog.csdn.net/qq_20288327/article/details/113772218
[Scrapy]: https://blog.csdn.net/qq_20288327/article/details/120373637
[selenium]: https://blog.csdn.net/qq_20288327/article/details/120427243