Python爬虫笔记————抓取猫眼电影排行榜Top100

蔚落 2022-05-08 02:26 355阅读 0赞

> 注：初学爬虫，本节仅使用requests库和使用正则作为解析工具

最近学习爬虫，找个比较简单的网页练习了一下，作为初入爬虫的小白，不足之处还请大家多多指教。

### 一、分析url ###

首先，打开目标站点[https://maoyan.com/board/4][https_maoyan.com_board_4]，打开之后便看到榜单信息：

![70][]

排名第一的电影是霸王别姬，页面中可以看到的信息有电影名称，主演，上映时间，电影封面，评分，排名等。

页面最下面有分页列表，切换到第2页，看看url发生了哪些变化。

![70 1][]

可以看到第2页的url为[https://maoyan.com/board/4?offset=10][https_maoyan.com_board_4_offset_10]，url与第1页相比发生了些变化。再分别把第3页和第4页的url拿来比较一下。

第1页：[https://maoyan.com/board/4][https_maoyan.com_board_4]

第2页：[https://maoyan.com/board/4?offset=10][https_maoyan.com_board_4_offset_10]

第3页：[https://maoyan.com/board/4?offset=20][https_maoyan.com_board_4_offset_10]

第4页：[https://maoyan.com/board/4?offset=30][https_maoyan.com_board_4_offset_10]

貌似发现了一些规律，将第1页改为[https://maoyan.com/board/4?offset=0][https_maoyan.com_board_4_offset_10]试试？

![70 2][]

发现依然可以找到第1页，可以发现offset代表了偏移量，如果偏移量为n，则显示电影的序号就是n+1--n+10，每页10条，总共100条，就是10页，只需分开请求10次，每次的偏移量分别为0，10，20，30，...，90即可，再得到页面信息后，使用正则就可以得到电影的排名主演等信息了。

### 二、获取第一页 ###

1、获取页面内容，将其封装成get\_one\_page（）方法，传入url参数，之后使用main（）调用该方法返回网页内容：

# 请求网页，返回网页内容
    def get_one_page(url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    
    def main(offset):
        url = 'https://maoyan.com/board/4?offset=' + str(offset)
        html = get_one_page(url)
        print(html)

2、正则提取

![70 3][]

观察网页代码可发现，每条电影信息都由一个dd标签括起来，二电影的其他信息已经分别标出。

获取排名信息的正则表达式：<dd>.\*?board-index.\*?>(.\*?)

再获取电影封面：<dd>.\*?board-index.\*?>(.\*?).\*?data-src="(.\*?)"

再提取电影名，主演，上映时间等信息，同样的道理，最后正则表达式为：

'<dd>.*?board-index.*?>(.*?).*?data-src="(.*?)"'
 +'.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)'
 +'.*?releasetime.*?>(.*?).*?integer.*?>(.*?)'
 +'.*?fraction.*?>(.*?).*?</dd>'

有了正则表达式接下来我们在定义解析页面的方法，parse\_one\_page（），传入参数html

# 使用正则将需要的数据剥离
 def parse_one_page(html):
 pattern = re.compile(
 '<dd>.*?board-index.*?>(.*?).*?data-src="(.*?)"'
 +'.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)'
 +'.*?releasetime.*?>(.*?).*?integer.*?>(.*?)'
 +'.*?fraction.*?>(.*?).*?</dd>',
 re.S)
 res = re.findall(pattern, html)
 for i in res:
 yield {
 '排名': i[0],
 '封面': i[1],
 '影片名称': i[2],
 '主演': i[3].strip()[3:],
 '上映时间': i[4].strip()[5:],
 '评分': i[5].strip() + i[6].strip(),
 }

3、写入文件

使用json将字典序列化，指定参数ensure\_ascii=False，保证写入的结果是中文。

def write_to_file(content):
        with open('猫眼电影排行TOP100.txt', 'a', encoding='utf-8') as f:
            f.write(json.dumps(content, ensure_ascii=False) + '\n')

4、优化main函数，将单页电影数据写入到文件。

def main(offset):
        url = 'https://maoyan.com/board/4?offset=0'
        html = get_one_page(url)
        for item in parse_one_page(html):
            print(item)
            write_to_file(item)

5、分页爬取

要实现分页爬取，只需要分别给offset传入不同的值即可，添加如下调用并修改main函数

def main(offset):
        url = 'https://maoyan.com/board/4?offset=' + str(offset)
        html = get_one_page(url)
        for item in parse_one_page(html):
            print(item)
            write_to_file(item)
    
    
    if __name__ == '__main__':
        for i in range(10):
            main(offset=i*10)

至此我们将猫眼电影的top100已经爬取完了，完整代码如下：

import requests
 import re, json
 
 
 # 请求网页，返回响应体
 def get_one_page(url):
 headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
 }
 response = requests.get(url, headers=headers)
 if response.status_code == 200:
 return response.text
 return None
 
 
 # 使用正则将需要的数据剥离
 def parse_one_page(html):
 pattern = re.compile(
 '<dd>.*?board-index.*?>(.*?).*?data-src="(.*?)"'
 +'.*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)'
 +'.*?releasetime.*?>(.*?).*?integer.*?>(.*?)'
 +'.*?fraction.*?>(.*?).*?</dd>',
 re.S)
 res = re.findall(pattern, html)
 for i in res:
 yield {
 '排名': i[0],
 '封面': i[1],
 '影片名称': i[2],
 '主演': i[3].strip()[3:],
 '上映时间': i[4].strip()[5:],
 '评分': i[5].strip() + i[6].strip(),
 }
 
 
 # 将结果写入到文件
 def write_to_file(content):
 with open('猫眼电影排行TOP100.txt', 'a', encoding='utf-8') as f:
 f.write(json.dumps(content, ensure_ascii=False) + '\n')
 
 
 def main(offset):
 url = 'https://maoyan.com/board/4?offset=' + str(offset)
 html = get_one_page(url)
 for item in parse_one_page(html):
 print(item)
 write_to_file(item)
 
 
 if __name__ == '__main__':
 for i in range(10):
 main(offset=i*10)

参考《Python3 网络爬虫开发实战》--崔庆才

[https_maoyan.com_board_4]: https://maoyan.com/board/4
[70]: /images/20220508/123910896df1462bb81684a83e2ed054.png
[70 1]: /images/20220508/feee781f29874258ad74b86844a7d4d1.png
[https_maoyan.com_board_4_offset_10]: https://maoyan.com/board/4?offset=10
[70 2]: /images/20220508/c46806958e8641e5b0ddf4c3511bb0b1.png
[70 3]: /images/20220508/5bd0103577cf40fa9b41526824cd4574.png