爬取豆瓣上的电影

野性酷女 2022-02-13 05:01 389阅读 0赞

爬取豆瓣上分类排行榜的科幻片

首先进入豆瓣 获取 requests url

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70][]

# 一、可以看到页面中有125部电影，那么页面在加载的时候，会吧全部数据一次性加载到页面上吗 #

不会滴

界面不会把这些电影都给用户展现出来，当我们滑动滚动条的时候，会发现当滑动条快完的时候，滑动条又会变长，自己试一试，体会一下

（1）数据量大，在通信过程中要花费大量的时候，会让用户等待很久，用户体验较差

（2）由于数据量较大，一次加载到内存中会占用大量的内存空间

（3）由于用户只关心前几页的数据，后面的数据如果使用通信得来，或加载到内存会被视为浪费资源

（4）html在加载数据时使用到了ajax局部刷新，当前页面只显示部分电影数据，当你向下滑动时，当前页面对应的电影数据开始加载显示，而页面中头部内容或者其他内容不会发生改变，只有对应位置的部分电影数据才会刷新。

# 二、开始编写爬虫代码 #

import requests
    url='https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85&type=11&interval_id=100:90&action='
    response=requests.get(url)
    with open('douban.html','w',encoding=response.encoding) as fp:
        fp.write(response.text)

运行程序后打开生成的html文件发现

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dfb3B0aW1pc3RpYw_size_16_color_FFFFFF_t_70][]

该界面只是一个加载的框架没有实质电影内容

## 1、错误分析 ##

由于改网页通的是ajax局部数据刷新，我们需要获取刷新时的 requests url

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 1][]

## 2、分析接口，总结规律 ##

第一页：https://movie.douban.com/j/chart/top\_list?type=17&interval\_id=100%3A90&action=&start=0&limit=20

第二页：https://movie.douban.com/j/chart/top\_list?type=17&interval\_id=100%3A90&action=&start=20&limit=20

第三页：https://movie.douban.com/j/chart/top\_list?type=17&interval\_id=100%3A90&action=&start=40&limit=20

.............................

第n页：https://movie.douban.com/j/chart/top\_list?type=17&interval\_id=100%3A90&action=&limit=20&start=str（((n-1)\*20)）

## 3、开始编写爬取对应页面的代码 ##

爬取五页电影名字及链接

第一种方法：直接使用url拼接对应页码的方法

import requests
    for page in range(1,6,1):
        url='https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&limit=20&start='+str((page-1)*20)
        print('第%s页:'%page,url)
        response=requests.get(url)
        for movie in response.json():
            title=movie['title']
            address=movie['url']
            with open('douban_movie.txt','a',encoding=response.encoding) as fp:
                fp.write(title+':'+'\t'+address+'\n')

第二种将url写成json格式

import requests
     
    for page in range(1, 6, 1):
        url = 'https://movie.douban.com/j/chart/top_list'
        print('第%s页:'%page,url)
        data_dic = {
            'type': '17',
            'interval_id': '100:90',
            'limit': '20',
            'start': str((page - 1) * 20)
        }
        response=requests.get(url,data_dic)
        # print(response.json())
        for movie in response.json():
            title=movie['title']
            address=movie['url']
            with open('douban_movie.txt','a',encoding=response.encoding) as fp:
                fp.write(title+":\t"+address+"\n")

运行结果：

对应的一百部电影及对应链接保存在对应文件中

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70]: /images/20220213/04b2717a2e2e4edbaac4912b0dc3326e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dfb3B0aW1pc3RpYw_size_16_color_FFFFFF_t_70]: /images/20220213/f4876eeffcd24ec38eb7683d8b1af91d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220213/0359b28b89514beb9f2873503d0257fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 2]: /images/20220213/72f097db362c46c0a8df15538f02f932.png