爬虫学习笔记目录

刺骨的言语ヽ痛彻心扉 2022-05-19 01:45 243阅读 0赞

[【编程学习进度记录】][Link 1]

# 1 scrapy爬虫框架基础 #

--------------------

## 1.1 笔记 ##

1.  [scrapy爬虫【A】1. 笔记 - python网络爬虫实战笔记 - 崔庆才（18年7月）][scrapy_A_1. _ - python_ - _18_7]
2.  [scrapy爬虫【A】2. 笔记 - scrapy创建项目与爬虫 - 嵩天（18年7月）][scrapy_A_2. _ - scrapy_ - _18_7]
3.  [scrapy爬虫【A】3. 笔记 - 精通scrapy网络爬虫 - 刘硕（18年7月）][scrapy_A_3. _ - _scrapy_ - _18_7]

## 1.3 背诵 ##

1.  [scrapy爬虫【C】1. 背诵 - 页面解析常用指令（18年7月）][scrapy_C_1. _ - _18_7]
2.  [scrapy爬虫【C】2. 背诵 - 数据封装、处理、存储常用命令（18年7月）][scrapy_C_2. _ - _18_7]
3.  [scrapy爬虫【C】3. 背诵 - 页面解析常用测试方法（18年7月）][scrapy_C_3. _ - _18_7]
4.  [scrapy爬虫【C】4. 背诵 - 爬虫编写流程（18年7月）][scrapy_C_4. _ - _18_7]

## 1.4 语法 ##

1.  [scrapy爬虫【Z】1. XPath常用的语法][scrapy_Z_1. XPath]
2.  [scrapy爬虫【Z】2. CSS选择器基本语法][scrapy_Z_2. CSS]

## 1.5 环境搭建 ##

1.  [【linux安装scrapy环境】][linux_scrapy]
2.  [【window 配置scrapy环境】][window _scrapy]
3.  [【mac上安装scrapy环境】][mac_scrapy]

# 2 scrapy实战 #

--------------------

## 2.1 实战 ##

1.  [【当当】当当图书列表抓取\_7.22（写入数据库）][7.22]
2.  [【京东】京东图书列表抓取\_8.1 （splash动态页面解析）][8.1 _splash]
3.  [【当当】当当图书列表、评论抓取\_8.13 （提取数据库中图书ID，抓取评论）][8.13 _ID]
4.  [【亚马逊】亚马逊图书详情抓取\_8.17][8.17]
5.  [【京东】抓取京东图书详情、评论\_8.17][8.1 _splash]

## 2.2 数据存储 ##

1.  [scrapy爬虫【B】1. 问题 - MySQL数据库和Front安装时的问题（7.8）][scrapy_B_1. _ - MySQL_Front_7.8]
2.  [scrapy爬虫【B】2. 问题 - 编写scrapy时遇到的问题][scrapy_B_2. _ - _scrapy]

# 3 爬虫模块 #

--------------------

## 3.1 Items模块 - 数据 ##

[Items模块 - 数据][Items_ -]

## 3.2 pipelines模块 - 存储 ##

## 3.3 middlewares模块 - 代理 ##

## 3.4 setting模块 - 添加设置 ##

## 3.5 spider模块 - 页面解析 ##

[Link 1]: https://blog.csdn.net/qq_41682050/article/details/84887534
[scrapy_A_1. _ - python_ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/80963328
[scrapy_A_2. _ - scrapy_ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81013566
[scrapy_A_3. _ - _scrapy_ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81043508
[scrapy_C_1. _ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81043225
[scrapy_C_2. _ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81105886
[scrapy_C_3. _ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81148522
[scrapy_C_4. _ - _18_7]: https://blog.csdn.net/qq_41682050/article/details/81148783
[scrapy_Z_1. XPath]: https://blog.csdn.net/qq_41682050/article/details/81073008
[scrapy_Z_2. CSS]: https://blog.csdn.net/qq_41682050/article/details/81087944
[linux_scrapy]: https://blog.csdn.net/qq_41682050/article/details/81452192
[window _scrapy]: https://blog.csdn.net/qq_41682050/article/details/81676320
[mac_scrapy]: https://blog.csdn.net/qq_41682050/article/details/81807456
[7.22]: https://blog.csdn.net/qq_41682050/article/details/81154855
[8.1 _splash]: https://blog.csdn.net/qq_41682050/article/details/81334120
[8.13 _ID]: https://blog.csdn.net/qq_41682050/article/details/81487408
[8.17]: https://blog.csdn.net/qq_41682050/article/details/81781263
[scrapy_B_1. _ - MySQL_Front_7.8]: https://blog.csdn.net/qq_41682050/article/details/80964264
[scrapy_B_2. _ - _scrapy]: https://blog.csdn.net/qq_41682050/article/details/81088934
[Items_ -]: https://blog.csdn.net/qq_41682050/article/details/82286343