python爬虫-1.06-MaoyanSpider

ゝ一纸荒年。 2022-08-29 10:43 31阅读 0赞

"""
    猫眼电影TOP100抓取
    """
    from urllib import request
    import random
    import time
    import re
    
    class MaoyanSpider:
        def __init__(self):
            self.url = 'https://maoyan.com/board/4?offset={}'
            self.headers = {
        
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36',
                'Cookie': '__mta=214675752.1627866406865.1627875459110.1627875460018.12; uuid_n_v=v1; uuid=E85FEA50F32D11EB8C9F5D6CCA53AC9DD7DBAF07A29F40DB93EF3FC782A0F81F; _csrf=38f9740349f3f3b55a88970a5164681765e4611ccbd2fc8ef5f526914970614d; Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1627866407; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; _lxsdk_cuid=17b04661fb4c8-0813968a22224b-d7e1938-e1000-17b04661fb4c8; _lxsdk=E85FEA50F32D11EB8C9F5D6CCA53AC9DD7DBAF07A29F40DB93EF3FC782A0F81F; __mta=214675752.1627866406865.1627866406865.1627866409991.2; Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1627875460; _lxsdk_s=17b04f00a6e-9d7-717-d8%7C%7C9'
            }
            #添加计数变量
            self.i = 0
    
        def get_html(self,url):
            "获取HTML内容"
            req = request.Request(url=url, headers=self.headers)
            res = request.urlopen(req)
            html = res.read().decode()
            # print(html)
            #直接调用解析函数
            self.parse_html(html)
    
        def parse_html(self,html):
            "提取HTML内容"
            regex = '<div class="movie-item-info">.*?title="(.*?)".*?">.*?</a></p>.*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>'
            pattern = re.compile(regex,re.S)
            r_list = pattern.findall(html)
            #调用数据处理函数
            self.save_html(r_list)
    
        def save_html(self,r_list):
            "数据处理函数"
            item = {
        }
            for r in r_list:
                item['name'] = r[0].strip()
                item['star'] = r[1].strip()
                item['time'] = r[2].strip()
                print(item)
                self.i += 1
    
    
    
        def run(self):
            "程序运行调配"
            for page in range(0,91,10):
                url = self.url.format(page)
                # print(url)
                self.get_html(url)
                #控制数据抓取频率
                time.sleep(random.randint(1,2))
    
    if __name__ == '__main__':
        spider = MaoyanSpider()
        spider.run()
        print('电影数量：',spider.i)

**输出结果**

C:\Users\shiya.liu\PycharmProjects\pythonProject\venv\Scripts\python.exe C:/Users/shiya.liu/PycharmProjects/pythonProject/Reptile/06_maoyanSpider.py
    {'name': '我不是药神', 'star': '主演：徐峥,周一围,王传君', 'time': '上映时间：2018-07-05'}
    {'name': '肖申克的救赎', 'star': '主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿', 'time': '上映时间：1994-09-10(加拿大)'}
    {'name': '绿皮书', 'star': '主演：维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼', 'time': '上映时间：2019-03-01'}
    {'name': '海上钢琴师', 'star': '主演：蒂姆·罗斯,比尔·努恩 ,克兰伦斯·威廉姆斯三世', 'time': '上映时间：2019-11-15'}
    {'name': '小偷家族', 'star': '主演：中川雅也,安藤樱,松冈茉优', 'time': '上映时间：2018-08-03'}
    {'name': '霸王别姬', 'star': '主演：张国荣,张丰毅,巩俐', 'time': '上映时间：1993-07-26'}
    {'name': '哪吒之魔童降世', 'star': '主演：吕艳婷,囧森瑟夫,瀚墨', 'time': '上映时间：2019-07-26'}
    {'name': '美丽人生', 'star': '主演：罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克', 'time': '上映时间：2020-01-03'}
    {'name': '这个杀手不太冷', 'star': '主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼', 'time': '上映时间：1994-09-14(法国)'}
    {'name': '盗梦空间', 'star': '主演：莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特', 'time': '上映时间：2010-09-01'}
    {'name': '怦然心动', 'star': '主演：玛德琳·卡罗尔,卡兰·麦克奥利菲,艾丹•奎因', 'time': '上映时间：2010-07-26(美国)'}
    {'name': '阿甘正传', 'star': '主演：汤姆·汉克斯,罗宾·怀特,加里·西尼斯', 'time': '上映时间：1994-07-06(美国)'}
    {'name': '千与千寻', 'star': '主演：柊瑠美,周冬雨,入野自由', 'time': '上映时间：2019-06-21'}
    {'name': '星际穿越', 'star': '主演：马修·麦康纳,安妮·海瑟薇,杰西卡·查斯坦', 'time': '上映时间：2014-11-12'}
    {'name': '楚门的世界', 'star': '主演：金·凯瑞,劳拉·琳妮,诺亚·艾默里奇', 'time': '上映时间：1998(罗马尼亚)'}
    {'name': '触不可及', 'star': '主演：弗朗索瓦·克鲁塞,奥玛·希,安娜·勒尼', 'time': '上映时间：2011-11-02(法国)'}
    {'name': '辛德勒的名单', 'star': '主演：连姆·尼森,拉尔夫·费因斯,本·金斯利', 'time': '上映时间：1993-11-30(美国)'}
    {'name': '寻梦环游记', 'star': '主演：安东尼·冈萨雷斯,本杰明·布拉特,盖尔·加西亚·贝纳尔', 'time': '上映时间：2017-11-24'}
    {'name': '情书', 'star': '主演：中山美穗,丰川悦司,酒井美纪', 'time': '上映时间：1999-03-01'}
    {'name': '摔跤吧！爸爸', 'star': '主演：阿米尔·汗,沙克希·坦沃,法缇玛·萨那·纱卡', 'time': '上映时间：2017-05-05'}
    {'name': '少年派的奇幻漂流', 'star': '主演：苏拉·沙玛,伊尔凡·可汗,塔布', 'time': '上映时间：2012-11-22'}
    {'name': '何以为家', 'star': '主演：赞恩·阿尔·拉菲亚,约丹诺斯·希费罗,博鲁瓦蒂夫·特雷杰·班科尔', 'time': '上映时间：2019-04-29'}
    {'name': '小丑', 'star': '主演：华金·菲尼克斯,罗伯特·德尼罗,亚历克·鲍德温', 'time': '上映时间：2019-10-04(美国)'}
    {'name': '忠犬八公的故事', 'star': '主演：Forest,理查·基尔,琼·艾伦', 'time': '上映时间：2009-06-13(美国)'}
    {'name': '泰坦尼克号', 'star': '主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩', 'time': '上映时间：1998-04-03'}
    {'name': '当幸福来敲门', 'star': '主演：威尔·史密斯,贾登·史密斯,坦迪·牛顿', 'time': '上映时间：2008-01-17'}
    {'name': '三傻大闹宝莱坞', 'star': '主演：阿米尔·汗,黄渤,卡琳娜·卡普', 'time': '上映时间：2011-12-08'}
    {'name': '天堂电影院', 'star': '主演：菲利浦·诺瓦雷,雅克·贝汉,马克·莱昂纳蒂', 'time': '上映时间：2021-06-11'}
    {'name': '放牛班的春天', 'star': '主演：热拉尔·朱尼奥,让-巴蒂斯特·莫尼耶,玛丽·布奈尔', 'time': '上映时间：2004-10-16'}
    {'name': '龙猫', 'star': '主演：秦岚,糸井重里,岛本须美', 'time': '上映时间：2018-12-14'}
    {'name': '熔炉', 'star': '主演：孔刘,郑有美,金智英', 'time': '上映时间：2011-09-22(韩国)'}
    {'name': '教父', 'star': '主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩', 'time': '上映时间：2015-04-18'}
    {'name': '看不见的客人', 'star': '主演：马里奥·卡萨斯,阿娜·瓦格纳,何塞·科罗纳多', 'time': '上映时间：2017-09-15'}
    {'name': '头号玩家(3D IMAX)', 'star': '主演：泰伊·谢里丹,奥利维亚·库克,本·门德尔森', 'time': '上映时间：2018-03-30'}
    {'name': '被嫌弃的松子的一生', 'star': '主演：中谷美纪,永山瑛太,伊势谷友介', 'time': '上映时间：2006-05-27(日本)'}
    {'name': '活着', 'star': '主演：葛优,巩俐,牛犇', 'time': '上映时间：1994-05-17(法国)'}
    {'name': '三块广告牌', 'star': '主演：弗兰西斯·麦克多蒙德,伍迪·哈里森,山姆·洛克威尔', 'time': '上映时间：2018-03-02'}
    {'name': '请以你的名字呼唤我', 'star': '主演：提莫西·查拉梅,艾米·汉莫,迈克尔·斯图巴', 'time': '上映时间：2017-01-22(美国)'}
    {'name': '死亡诗社', 'star': '主演：罗宾·威廉姆斯,伊桑·霍克,柯特伍德·史密斯', 'time': '上映时间：1989-06-02(加拿大)'}
    {'name': '机器人总动员', 'star': '主演：本·贝尔特,艾丽莎·奈特,杰夫·格尔林', 'time': '上映时间：2008-06-27(美国)'}
    {'name': '闻香识女人', 'star': '主演：阿尔·帕西诺,克里斯·奥唐纳,加布里埃尔·安瓦尔', 'time': '上映时间：1992-12-23(美国)'}
    {'name': '疯狂动物城', 'star': '主演：金妮弗·古德温,杰森·贝特曼,伊德瑞斯·艾尔巴', 'time': '上映时间：2016-03-04'}
    {'name': '复仇者联盟4：终局之战', 'star': '主演：小罗伯特·唐尼,克里斯·埃文斯,马克·鲁法洛', 'time': '上映时间：2019-04-24'}
    {'name': '末代皇帝', 'star': '主演：尊龙,陈冲,彼得·奥图尔', 'time': '上映时间：1987-10-04(日本)'}
    {'name': '西西里的美丽传说', 'star': '主演：莫妮卡·安娜·玛丽亚·贝鲁奇,朱塞佩·苏尔法罗,玛蒂尔德·皮亚纳', 'time': '上映时间：2000-10-26(意大利)'}
    {'name': '让子弹飞', 'star': '主演：姜文,周润发,葛优', 'time': '上映时间：2010-12-16'}
    {'name': '本杰明·巴顿奇事', 'star': '主演：布拉德·皮特,凯特·布兰切特,塔拉吉·P·汉森', 'time': '上映时间：2008-12-25(美国)'}
    {'name': '阿凡达', 'star': '主演：萨姆·沃辛顿,佐伊·索尔达娜,米歇尔·罗德里格兹', 'time': '上映时间：2010-01-04'}
    {'name': '搏击俱乐部', 'star': '主演：爱德华·哈里森·诺顿,布拉德·皮特,海伦娜·伯翰·卡特', 'time': '上映时间：1999-09-10(意大利)'}
    {'name': '飞屋环游记', 'star': '主演：爱德华·阿斯纳,乔丹·长井,鲍勃·彼德森', 'time': '上映时间：2009-08-04'}
    {'name': '天使爱美丽', 'star': '主演：奥黛丽·塔图,马修·卡索维茨,吕菲斯', 'time': '上映时间：2001-04-25(比利时)'}
    {'name': '心灵奇旅', 'star': '主演：杰米·福克斯,蒂娜·菲,菲利西亚·拉斯海德', 'time': '上映时间：2020-12-25'}
    {'name': '飞越疯人院', 'star': '主演：杰克·尼科尔森,路易丝·弗莱彻,威尔·萨姆森', 'time': '上映时间：1975-11-19(美国)'}
    {'name': '窃听风暴', 'star': '主演：乌尔里希·穆埃,塞巴斯蒂安·科赫,马蒂娜·格德克', 'time': '上映时间：2006-03-23(德国)'}
    {'name': '美国往事', 'star': '主演：罗伯特·德尼罗,詹姆斯·伍兹,伊丽莎白·麦戈文', 'time': '上映时间：2015-04-23'}
    {'name': '乱世佳人', 'star': '主演：费雯·丽,克拉克·盖博,奥利维娅·德哈维兰', 'time': '上映时间：1939-12-15(美国)'}
    {'name': '大话西游之大圣娶亲', 'star': '主演：周星驰,朱茵,莫文蔚', 'time': '上映时间：2014-10-24'}
    {'name': '美丽心灵', 'star': '主演：罗素·克劳,詹妮弗·康纳利,艾德·哈里斯', 'time': '上映时间：2001-12-13(美国)'}
    {'name': '一一', 'star': '主演：吴念真,金燕玲,李凯莉', 'time': '上映时间：2017-07-28(中国台湾)'}
    {'name': '消失的爱人', 'star': '主演：本·阿弗莱克,裴淳华,尼尔·帕特里克·哈里斯', 'time': '上映时间：2014-09-26(美国)'}
    {'name': '罗马假日', 'star': '主演：格利高里·派克,奥黛丽·赫本,埃迪·艾伯特', 'time': '上映时间：1953-08-20(意大利)'}
    {'name': '蝴蝶效应', 'star': '主演：约翰·帕特里克·阿梅多利,罗根·勒曼,卡梅隆·布莱特', 'time': '上映时间：2004-01-23(美国)'}
    {'name': '布达佩斯大饭店', 'star': '主演：拉尔夫·费因斯,托尼·雷沃罗利,西尔莎·罗南', 'time': '上映时间：2014-06-14'}
    {'name': '低俗小说', 'star': '主演：约翰·特拉沃尔塔,乌玛·瑟曼,塞缪尔·杰克逊', 'time': '上映时间：1994-05-21(法国)'}
    {'name': '海边的曼彻斯特', 'star': '主演：卡西·阿弗莱克,卢卡斯·赫奇斯,米歇尔·威廉姆斯', 'time': '上映时间：2017-08-25'}
    {'name': '爱在黎明破晓前', 'star': '主演：伊桑·霍克,朱莉·德尔佩,安德莉亚·埃克特', 'time': '上映时间：1995-01-27(美国)'}
    {'name': '超脱', 'star': '主演：艾德里安·布洛迪,马西娅·盖伊·哈登,詹姆斯·肯恩', 'time': '上映时间：2011-04-25(美国)'}
    {'name': '海蒂和爷爷', 'star': '主演：阿努克·斯特芬 ,布鲁诺·甘茨,昆林·艾格匹', 'time': '上映时间：2019-05-16'}
    {'name': '七宗罪', 'star': '主演：布拉德·皮特,摩根·弗里曼,格温妮斯·帕特洛', 'time': '上映时间：1995-09-22(美国)'}
    {'name': '菊次郎的夏天', 'star': '主演：北野武,关口雄介,岸本 加世子', 'time': '上映时间：2020-09-25'}
    {'name': '釜山行', 'star': '主演：孔刘,郑有美,马东锡', 'time': '上映时间：2016-05-13(法国)'}
    {'name': '无间道', 'star': '主演：刘德华,梁朝伟,黄秋生', 'time': '上映时间：2003-09-05'}
    {'name': '春光乍泄', 'star': '主演：张国荣,梁朝伟,张震', 'time': '上映时间：1997-05-30(中国香港)'}
    {'name': '剪刀手爱德华', 'star': '主演：约翰尼·德普,薇诺娜·瑞德,黛安娜·维斯特', 'time': '上映时间：1990-12-06(美国)'}
    {'name': '爱在日落黄昏时', 'star': '主演：伊桑·霍克,朱莉·德尔佩,弗农·多布切夫', 'time': '上映时间：2015-04-20'}
    {'name': '心灵捕手', 'star': '主演：罗宾·威廉姆斯,马特·达蒙,明妮·德里弗', 'time': '上映时间：1997-12-05(美国)'}
    {'name': '辩护人', 'star': '主演：宋康昊,郭度沅,吴达洙', 'time': '上映时间：2013-12-18(韩国)'}
    {'name': '穿条纹睡衣的男孩', 'star': '主演：阿沙·巴特菲尔德,维拉·法梅加,大卫·休里斯', 'time': '上映时间：2008-08-28(英国)'}
    {'name': '重庆森林', 'star': '主演：梁朝伟,王菲,金城武', 'time': '上映时间：1994-07-14(中国香港)'}
    {'name': '素媛', 'star': '主演：李甄,薛耿求,严智苑', 'time': '上映时间：2013-10-02(韩国)'}
    {'name': '天空之城', 'star': '主演：寺田农,鹫尾真知子,龟山助清', 'time': '上映时间：1992-05-01'}
    {'name': '波西米亚狂想曲', 'star': '主演：拉米·马雷克,本·哈迪,约瑟夫•梅泽罗', 'time': '上映时间：2019-03-22'}
    {'name': '断背山', 'star': '主演：希斯·莱杰,杰克·吉伦哈尔,米歇尔·威廉姆斯', 'time': '上映时间：2005-09-02(意大利)'}
    {'name': '控方证人', 'star': '主演：泰隆·鲍华,玛琳·黛德丽,查尔斯·劳顿', 'time': '上映时间：1957-12-17(美国)'}
    {'name': '蝙蝠侠：黑暗骑士', 'star': '主演：克里斯蒂安·贝尔,希斯·莱杰,阿伦·伊克哈特', 'time': '上映时间：2008-07-14(阿根廷)'}
    {'name': '两杆大烟枪', 'star': '主演：杰森·弗莱明,德克斯特·弗莱彻,杰森•斯坦森', 'time': '上映时间：1998-08-28(英国)'}
    {'name': '时空恋旅人', 'star': '主演：瑞秋·麦克亚当斯,多姆纳尔·格里森,比尔·奈伊', 'time': '上映时间：2013-09-04(英国)'}
    {'name': '十二怒汉', 'star': '主演：亨利·方达,李·科布,马丁·鲍尔萨姆', 'time': '上映时间：1957-04-13(美国)'}
    {'name': '血战钢锯岭', 'star': '主演：安德鲁·加菲尔德,雨果·维文,卢克·布雷西', 'time': '上映时间：2016-12-08'}
    {'name': '网络谜踪', 'star': '主演：约翰·赵,米切尔·拉,黛博拉·梅辛', 'time': '上映时间：2018-12-14'}
    {'name': '猫鼠游戏', 'star': '主演：莱昂纳多·迪卡普里奥,汤姆·汉克斯,克里斯托弗·沃肯', 'time': '上映时间：2003-04-11'}
    {'name': '真爱至上', 'star': '主演：休·格兰特,比尔·奈伊,连姆·尼森', 'time': '上映时间：2003-11-21(英国)'}
    {'name': '奇迹男孩', 'star': '主演：雅各布·特瑞布雷,朱莉娅·罗伯茨,欧文·威尔逊', 'time': '上映时间：2018-01-19'}
    {'name': '大鱼', 'star': '主演：伊万·麦克格雷格,阿尔伯特·芬尼,杰西卡·兰格', 'time': '上映时间：2003-12-04(美国)'}
    {'name': '致命魔术', 'star': '主演：休·杰克曼,克里斯蒂安·贝尔,迈克尔·凯恩', 'time': '上映时间：2006-10-17(意大利)'}
    {'name': '饮食男女', 'star': '主演：郎雄,吴倩莲,杨贵媚', 'time': '上映时间：1994-08-03(美国)'}
    {'name': '钢琴家', 'star': '主演：艾德里安·布洛迪,艾米莉娅·福克斯,米哈乌·热布罗夫斯基', 'time': '上映时间：2002-05-24(法国)'}
    {'name': '模仿游戏', 'star': '主演：本尼迪克特·康伯巴奇,凯拉·奈特莉,马修·古迪', 'time': '上映时间：2015-07-21'}
    {'name': '禁闭岛', 'star': '主演：莱昂纳多·迪卡普里奥,马克·鲁法洛,本·金斯利', 'time': '上映时间：2010-02-13(德国)'}
    {'name': '蜘蛛侠：平行宇宙', 'star': '主演：沙梅克·摩尔,彭昱畅,杰克·M·约翰森', 'time': '上映时间：2018-12-21'}
    电影数量： 100
    
    Process finished with exit code 0

**PS:**  
做的过程中有遇到猫眼需要验证的状态  
如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjUwNjU5OQ_size_16_color_FFFFFF_t_70]

多尝试了几次以及加入cookie就解决了  
好不容易才复现出来 差点尴尬了 ,ԾㅂԾ,

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjUwNjU5OQ_size_16_color_FFFFFF_t_70]: /images/20220829/f7d0fcc2254e480ca2b1805ac6a64379.png