python3 使用正则表达式爬取豆瓣影评

冷不防 2022-03-08 01:30 269阅读 0赞

我们这次要爬取的豆瓣的影评 链接：https://movie.douban.com/review/best/?start=0

### 一、使用正则表达式的方式 ###

### 1、爬虫的准备 ###

我们使用Python的第三方库requests，可以在cmd输入pip install requests安装

导入模块

import requests
    import re

# 2、request的使用 #

首先我们要知道网页分为两种请求，一种是get，另一种是post

![20190313220924947.png][]

我们通过谷歌浏览器看到豆瓣的影评是get请求的

req=requests.get('https://movie.douban.com/review/best/?start=0')
    print(req)

输出结果为

200即为请求成功

我们开始下一步，查看网页的源代码，前面的请求就是为获取网页的源代码

txt_1=req.text #req.text返回的是网页的源代码
    print(txt_1)

我们将看到网页源代码

### 3、使用正则表达式获取需要的内容 ###

# 例如： #

我们想要爬取影评的名字以及链接

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhc3Vvd2po_size_16_color_FFFFFF_t_70][]

我们通过查看源代码可以看到

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhc3Vvd2po_size_16_color_FFFFFF_t_70 1][]

而电影名和链接都在h2的标签如下

<h2><a href="https://movie.douban.com/review/9593388/">深藏于心的那份青涩</a></h2>

douban_link_name=re.findall('''<h2><a href="(.*?)">(.*?)</a></h2>''',txt_1)
    for i in douban_link_name:
        print(i)

输出结果

('https://movie.douban.com/review/9593388/', '深藏于心的那份青涩')
    ('https://movie.douban.com/review/9592082/', '从《一出好戏》谈反乌托邦：世界尽头与冷酷仙境')
    ('https://movie.douban.com/review/9590937/', '此味只有天上有')
    ('https://movie.douban.com/review/9590829/', '秒速五厘米，灵魂飘落的速度')
    ('https://movie.douban.com/review/9591655/', '不是我剧透，是墙先开的口')
    ('https://movie.douban.com/review/9590896/', '情书——追忆那逝水年华，一念成殇')
    ('https://movie.douban.com/review/9591858/', '天这么热，打个的吧')
    ('https://movie.douban.com/review/9591927/', '打个商量，放过它，不要折腾，算了吧')
    ('https://movie.douban.com/review/9590031/', '黄渤暗藏的哲思，这篇看得最透——《一出好戏》终极解读')
    ('https://movie.douban.com/review/9589353/', '鲨鲨这么猛，怎么能拿来做腌鱼干！')

## ##

### 4、爬取多页的豆瓣影评 ###

豆瓣的影评第一页的网页链接是[https://movie.douban.com/review/best/?start=0][https_movie.douban.com_review_best_start_0]

第二页网页链接是[https://movie.douban.com/review/best/?start=20][https_movie.douban.com_review_best_start_20]

第三页网页链接是[https://movie.douban.com/review/best/?start=40][https_movie.douban.com_review_best_start_40]

我们得出规律他的链接规律是[https://movie.douban.com/review/best/?start=（页数-1）][https_movie.douban.com_review_best_start_40]\*20

我们在这里写一个迭代器爬取前5页

for number_ in range(5):
        req=requests.get('https://movie.douban.com/review/best/?start=%s'%number_*20)
        # print(req.text)
        douban_link_name=re.findall('''<h2><a href="(.*?)">(.*?)</a></h2>''',req.text)
        for i in douban_link_name:
            print(i)

[20190313220924947.png]: /images/20220308/054c62b74c5f4836a67cf0e299fcc047.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhc3Vvd2po_size_16_color_FFFFFF_t_70]: /images/20220308/86613cbcc48342b8971b876de0855063.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhc3Vvd2po_size_16_color_FFFFFF_t_70 1]: /images/20220308/48eaf4b97e5b4e7384014564d534fda1.png
[https_movie.douban.com_review_best_start_0]: https://movie.douban.com/review/best/?start=0
[https_movie.douban.com_review_best_start_20]: https://movie.douban.com/review/best/?start=20
[https_movie.douban.com_review_best_start_40]: https://movie.douban.com/review/best/?start=40