豆瓣电影Top250——电影详细

￡神魔★判官ぃ 2022-02-25 04:47 389阅读 0赞

闲得无聊去爬了一下豆瓣的Top250电影信息

代码如下，直接可以运行，

import requests
    from lxml import etree
    from bs4 import BeautifulSoup
    s = requests.Session()
    for id in range(0, 251, 25): 
        url = 'https://movie.douban.com/top250/?start=' + str(id)+ '&filter='
        r = s.get(url)
        r.encoding = 'utf-8'
        # print(r.content)
        root = etree.HTML(r.content)       #解析为HTML文档
        items = root.xpath('//ol/li/div[@class="item"]')      #主要信息的xpath路径
    
        for item in items:
            title = item.xpath('./div[@class="info"]//a/span[@class="title"]/text()')
    
            name = title[0].encode('gb2312', 'ignore').decode('gb2312')
            try:            #为了解决中文名，不合编码continue跳过
                english = title[1]
            except:
                continue
            other = item.xpath('./div[@class="info"]//a/span[@class="other"]/text()')
            author = other[0].encode('gb2312', 'ignore').decode('gb2312')
            # rank = item.xpath('./div[@class="pic"]/em/text()')[0]
            rating = item.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0]
            direct = item.xpath('./div[@class="info"]/div[2]/p/text()')[0]
            direcs = str(direct)
            dire = direcs.lstrip()
            print(name,english,author,rating)
            print(dire)
            print('\n')

发表评论取消回复

表情：

评论列表（有 0 条评论，389人围观）

还没有评论，来说两句吧...

相关阅读

相关 BeautifulSoup爬取豆瓣电影Top250

> 任务要求： > > 爬取[豆瓣电影][Link 1]Top250的电影名、评分、短评、评分人数等信息 ![在这里插入图片描述][resize_m_lfit_w_962_

╰半橙微兮°/ 2022年12月29日 11:21/ 0 赞/ 278 阅读

相关 python爬虫实战之爬取豆瓣Top250电影信息

在学习python基础以及一些爬虫基础概念之后，为了加深自己对知识的理解，于是跟着视频以及结合自己的心得，记录自己这段时间学习爬虫的实战项目心得。【准备工作】 1.豆瓣电

末蓝、/ 2022年12月08日 05:11/ 0 赞/ 408 阅读

相关 Java爬取豆瓣电影排行Top250

文章目录一、准备二、引入依赖三、源代码一、准备使用Java抓包要用到jsoup，来，了解一下。

我会带着你远行/ 2022年09月05日 13:56/ 0 赞/ 305 阅读

相关（7）Python爬虫——爬取豆瓣电影Top250

利用python爬取豆瓣电影Top250的相关信息，包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容，然后将爬取

妖狐艹你老母/ 2022年07月29日 08:48/ 0 赞/ 305 阅读

相关 Scrapy爬虫（4）爬取豆瓣电影Top250图片

在用Python的urllib和BeautifulSoup写过了很多爬虫之后，本人决定尝试著名的Python爬虫框架——Scrapy. 本次分享将详细讲述如何利用S

旧城等待，/ 2022年05月29日 01:12/ 0 赞/ 363 阅读

相关豆瓣电影Top250——电影详细

闲得无聊去爬了一下豆瓣的Top250电影信息代码如下，直接可以运行， import requests from lxml import etree

￡神魔★判官ぃ/ 2022年02月25日 04:47/ 0 赞/ 390 阅读

相关 Python数据可视化：豆瓣电影TOP250

豆瓣电影TOP250，对于众多爬虫爱好者，应该并不陌生。很多人都会以此作为第一个练手的小项目。当然这也多亏了豆瓣的包容，没有加以太多的反爬措施，对新手比较友

╰+攻爆jí腚メ/ 2022年02月02日 09:15/ 0 赞/ 871 阅读

相关 python爬取豆瓣电影Top250

爬取豆瓣电影Top250 首先来看看我们要爬什么环境爬取的步骤爬取所有250条数

拼搏现实的明天。/ 2021年09月28日 03:40/ 0 赞/ 934 阅读

相关使用python爬取豆瓣电影TOP250

使用python爬取豆瓣电影TOP250 ①获取指定界面的html文本信息板块 ②获取排名和链接，名字：因为名字，排名和链接同在div cl

分手后的思念是犯贱/ 2021年09月21日 07:12/ 0 赞/ 588 阅读

相关 python爬虫爬取豆瓣电影Top250

python爬虫爬取豆瓣电影Top250 话不多说，直接上代码！ import re import requests import json

爱被打了一巴掌/ 2021年07月26日 18:14/ 0 赞/ 902 阅读