20180310scrapy框架学习笔记总结

╰+攻爆jí腚メ 2022-05-29 04:22 244阅读 0赞

Scrapy 分布式爬虫  
elasticsearch  
django

环境配置和基础知识铺垫  
技术选型  
scrapy  
requests + beautifusoup  
都是库  
scrapy 是框架  
scrapy 框架中可以加入 requests 和 beautifulsoup  
scrapy 基于 twieted (异步IO框架) 性能是最大的优势  
scrapy 方便扩展 提供了内置的很多功能  
scrapy 内置的 css 和 xpath selector 非常方便 \# bs最大的缺点是慢  
常见类型的服务  
静态网页 可以用 github 来代理静态博客  
动态网页  
webservice(restapi)  
爬虫作用  
搜索引擎 垂直领域搜索引擎 baidu google  
推荐引擎 今日头条  
机器学习的数据样本  
数据分析 舆情分析  
爬虫基础知识  
正则表达式  
特殊字符 提取字符  
^ $ \* ? + \{2\} \{2, \} \{2, 5\} |  
\[\] \[^\] \[a-z\] .  
\\s \\S \\w \\W  
\[\\u4E00-\\u9FA5\] () \\d  
深度优先和广度优先遍历算法  
网站的树结构  
url设计  
分层设计  
www.jobbole.com  
top.jobbole.com  
blog.jobbole.com  
web.jobbole.com  
python.jobbole.com  
android.jobbole.com  
ios.jobbole.com  
hao.jobbole.com  
group.jobbole.com  
date.jobbole.com  
design.jobbole.com  
fanyi.jobbole.com  
java专栏 www.importnew.com/  
深度优先算法和实现  
递归实现  
广度优先算法和实现  
url 的去重策略  
将访问过的url保存到数据库中  
将访问过的url保存到内存中 保存到set中 当url比较多的情况 内存占用比较大  
url经过md5等方法哈希后保存到set中 128bit  
用bitmap方法 将访问过的url通过hash函数映射到某一位  
bloomfilter方法对bitmap进行改进 多重hash函数降低冲突  
unicode 和 utf-8 编码  
8 bit = 1 byte  
ASCII 1byte  
GB2312 2byte (3byte or 4byte)  
unicode 16bit or 32bit  
utf8  
英文 1byte  
汉字 3byte  
生僻字 4-6byte  
爬取真实数据  
通过 scrapy 爬取  
知名技术社区  
blog.jobbole.com  
手动创建 scrapy项目  
main.py 启动/调试爬虫  
spider/jobbole.py 网页解析  
xpath实现  
css选择器实现  
items.py 解析内容对象  
pipelines.py 数据下载和存储  
自定义json文件的导出  
调用scrapy提供的json exporter导出json文件  
保存到mysql数据库  
采用异步的方式入库mysql  
还可以用scrapy-djangoitem  
使用ItemLoader + 输入字段预处理的Item  
知名问答网站  
知名招聘网站  
Scrapy 的不同功能  
网站结构和网络请求  
xpath + css 选择器  
模拟登陆  
scrapy  
spider  
item  
item loader  
pipeline  
feed export  
CrawlSpider  
scrapy 突破反爬虫技术  
图片验证码  
IP 访问频率限制  
user-agent 随机切换  
scrapy 进阶  
scrapy 的原理  
基于 scrapy 的中间件开发  
动态网站的抓取处理  
将 selenium 和 phantomjs 集成到 scrapy 中  
scrapy log 配置  
email 发送  
scrapy 信号  
scrapy-redies 分布式爬虫  
多台服务器 分布式爬虫  
理解 scrapy-redies 分布式爬虫  
使用  
源码分析  
集成 bloomfilter 到 scrapy-redies 中  
elasticsearch django 实现搜索引擎  
搭建搜索引擎网站  
搜索引擎原理  
  
  
  
开发爬虫所需要用到的技术 以及 网站分析技巧  
理解 scrapy 的原理 和所有组件的使用以及分布式爬虫 scrapy-redies 的使用和原理  
理解分布式开源搜索引擎 elasticsearch 的使用和搜索引擎的原理  
体验 django 快速搭建网站  
  
  
  
  
  
  
  
  
  
  
  
  
\# 二叉树的深度优先遍历算法  
def depth\_tree(tree\_node):  
if tree\_node is not None:  
print(tree\_node.\_data)  
if tree\_node.\_left is not None:  
return depth\_tree(tree\_node.\_left)  
if tree\_node.\_right is not None:  
return depth\_tree(tree\_node.\_right)  
  
  
\# 二叉树的广度优先遍历算法  
def level\_tree(root):  
if root is not None:  
return  
my\_quere = \[\]  
node = root  
my\_quere.append(node)  
while my\_quere:  
node = my\_quere.pop(0)  
print(node.elem)  
if node.lchild is not None:  
my\_quere.append(node.lchild)  
if node.rchild is not None:  
my\_quere.append(node.rchild)  
  
  
  
  
手动创建 scrapy项目  
fulai@fwwb9:~/PycharmProjects$ scrapy startproject article\_spider  
New Scrapy project 'article\_spider', using template directory '/opt/anaconda3/lib/python3.6/site-packages/scrapy/templates/project', created in:  
/home/fulai/PycharmProjects/article\_spider  
  
  
You can start your first spider with:  
cd article\_spider  
scrapy genspider example example.com  
  
  
scrapy 项目目录结构  
fulai@fwwb9:~/PycharmProjects/article\_spider$ tree  
.  
├── article\_spider  
│ ├── \_\_init\_\_.py  
│ ├── items.py 定义数据保存的格式  
│ ├── middlewares.py 可以存放自定义的middleware  
│ ├── pipelines.py 与数据存储相关  
│ ├── \_\_pycache\_\_  
│ ├── settings.py scrapy的配置  
│ └── spiders 存放具体的某个网站的爬虫  
│ ├── \_\_init\_\_.py  
│ └── \_\_pycache\_\_  
└── scrapy.cfg 配置文件 类似于django  
  
  
4 directories, 7 files  
  
  
  
  
创建某个网站的爬虫文件模板  
fulai@fwwb9:~$ cd PycharmProjects/article\_spider/  
fulai@fwwb9:~/PycharmProjects/article\_spider$ scrapy genspider jobbole blog.jobbole.com  
Created spider 'jobbole' using template 'basic'  
  
  
启动 scrapy  
fulai@fwwb9:~/PycharmProjects/article\_spider$ scrapy crawl jobbole  
  
  
xpath  
xpath简介  
使用路径表达式在xml和html中进行导航  
包含标准函数库  
是一个w3c的标准  
xpath术语  
父节点  
子节点  
同胞节点  
先辈节点  
后代节点  
xpath语法  
article 选取所有article元素的所有子节点  
/article 选取根元素article  
article/a 选取所有属于article的子元素的a元素  
//div 选取所有div元素 不论出现在文档的任何地方  
article//div 选取所有属于article的后代的div元素  
//@class 选取所有名为class的属性  
谓语  
/article/div\[1\]  
/article/div\[last()\]  
/article/div\[last()-1\]  
//div\[@lang\] 选取所有拥有lang属性的div元素  
//div\[@lang='eng'\] 选取所有lang属性为eng的div元素  
特殊符号  
/div/× 选取属于div元素的所有子节点  
//× 选取所有元素  
//div\[@\*\] 选取所有带属性的div元素  
/div/a|/div/p 选取所欲div元素的a和p元素  
//span|//ul 选取文档中的span元素和ul元素  
article/div/p|//span  
  
  
shell调试  
好处：只进行一次http请求  
scrapy shell http://blog.jobbole.com/113735/  
  
  
css 选择器  
× 所有节点  
\#container id  
.container 类  
li a 后代元素  
ul + p 选择ul元素后面的第一个p元素  
div\#container > ul 第一个子元素  
ul ~ a 相邻的所有的a元素  
a\[title\]  
a\[href='http://jobbole.com'\]  
a\[href\*='jobbole'\] 包含  
a\[href^=‘http’\] 开头  
a\[href$='.jpg'\] 结尾  
input\[type=radio\]:checked  
div:not(\#container)  
li:nth-child(3) 选取第三个li元素  
tr:nth-child(2n) 第偶数个tr  
  
  
  
  
爬取文章内容的xpath实现和css选择器实现  
\# -\*- coding: utf-8 -\*-  
import re  
  
  
import scrapy  
  
  
  
  
class JobboleSpider(scrapy.Spider):  
name = 'jobbole'  
allowed\_domains = \['blog.jobbole.com'\]  
start\_urls = \['http://blog.jobbole.com/113674/'\]  
  
  
def parse(self, response):  
\# \# firefox  
\# re\_selector = response.xpath('/html/body/div\[1\]/div\[3\]/div\[1\]/div\[1\]')  
\# print(re\_selector)  
\# \# chrome  
\# re2\_selector = response.xpath('//\*\[@id="post-113735"\]/div\[1\]/h1/text()')  
\# print(re2\_selector)  
\# re3\_selector = response.xpath('//\*\[@class="entry-header"\]/h1/text()')  
\# print(re3\_selector.extract()\[0\])  
  
  
\# 标题  
\# xpath实现  
title = response.xpath('//\*\[@id="post-113735"\]/div\[1\]/h1/text()')  
\# css选择器实现  
title = response.css('.entry-header h1::text')  
  
  
\# 创建时间  
\# xpath  
create\_date = response.xpath('//p\[@class="entry-meta-hide-on-mobile"\]/text()')  
\# css  
create\_date = response.css('p.entry-meta-hide-on-mobile::text')  
create\_date = create\_date.extract()\[0\].strip().replace("·", '').strip()  
  
  
\# 点赞数  
\# xpath  
praise\_nums = int(response.xpath('//span\[contains(@class, "vote-post-up")\]/h10/text()')  
.extract()\[0\])  
\# css  
praise\_nums = int(response.css('.vote-post-up h10::text').extract()\[0\])  
  
  
\# 收藏数  
fav\_nums = 0  
\# xpath  
match\_res = re.match(r'.\*?(\\d+).\*', response.xpath('//span\[contains(@class, "bookmark-btn")\]/text()')  
.extract()\[0\])  
\# css  
match\_res = re.match(r'.\*?(\\d+).\*', response.css('span.bookmark-btn::text')  
.extract()\[0\])  
if match\_res:  
fav\_nums = match\_res.group(1)  
  
  
\# 评论数  
comment\_nums = 0  
\# xpath  
match\_res = re.match(r'.\*?(\\d+).\*', response.xpath('//a\[@href="\#article-comment"\]/span')  
.extract()\[0\])  
\# css  
match\_res = re.match(r'.\*?(\\d+).\*', response.css('a\[href="\#article-comment"\]::text')  
.extract()\[0\])  
if match\_res:  
comment\_nums = match\_res.group(1)  
  
  
\# 标签  
\# xpath  
tag\_list = response.xpath('//p\[@class="entry-meta-hide-on-mobile"\]/a/text()').extract()  
\# css  
tag\_list = response.css('p\[class="entry-meta-hide-on-mobile"\] a::text').extract()  
tag\_list = \[element for element in tag\_list if not element.strip().endswith('评论')\]  
tag = ','.join(tag\_list)  
  
  
\# 文章内容  
\# xpath  
content = response.xpath('//div\[@class="entry"\]').extract()\[0\]  
\# css  
content = response.css('div\[class="entry"\]::text').extract()\[0\]  
  
  
pass  
  
  
  
  
  
  
两个函数  
extract()\[x\]  
extract\_first()  
  
  
  
  
session 和 cookies的区别  
  
  
http状态码  
200 请求被成功处理  
301/302 永久性重定向/临时性重定向  
403 没有权限访问  
404 资源未找到  
500 服务器内部错误  
503 服务器停机或正在维护