python爬取豆瓣网页短评实战！

妖狐艹你老母 2022-05-29 07:08 357阅读 0赞

首先我们打开我的父亲母亲的网页界面：链接（https://book.douban.com/subject/20389038/comments/），可以观察到如下界面以及读者对本书的评价：

![Image 1][]

接下来我们直接附上代码：

# 书名：我的父亲母亲
    # 作者:  [英] 多丽丝·莱辛
    # 出版社: 南海出版公司
    # 原作名: Alfred and Emily
    # 译者: 匡咏梅
    # 出版年: 2013-1
    # 页数: 238
    # 定价: 29.50元
    # 装帧: 精装
    # 丛书: 新经典文库·莱辛作品
    # ISBN: 9787544263863
    
    
    import requests
    from lxml import etree
    import pandas as pd
    #通过观察的url翻页的规律，使用for循环得到10个链接，保存到urls列表中
    urls=['https://book.douban.com/subject/20389038/comments/hot?p={}'.format(str(i)) for i in range(1, 11, 1)]
    
    comments = [] #初始化用于保存短评的列表
    for url in urls: #使用for循环分别获取每个页面的数据，保存到comments列表
        r = requests.get(url).text
        s = etree.HTML(r)
        file = s.xpath('//div[@class="comment"]/p/text()')
        comments = comments + file
    
    df = pd.DataFrame(comments) #把comments列表转换为pandas DataFrame
    df.to_excel('190.xlsx') #使用pandas把数据保存到excel表格

**结果如下：**

![Image 1][]

大家可以尝试更换网址对其它书籍的爬取，多动手实践，就可爬取更多公开的数据，并对其进行分析，不一样的惊喜等着你，只要你可努力。

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，357人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬取豆瓣TOP100电影

如果你想爬取豆瓣TOP100电影，你可以使用Python的第三方库来帮助你爬取网页信息。你可以使用Python的requests库来发送HTTP请求并获取网页的内容，再使用

叁歲伎倆/ 2024年03月26日 09:40/ 0 赞/ 72 阅读

相关 Python爬虫学习记录——3.使用Requests爬取豆瓣短评

文章目录 Requests库介绍 Requests库安装 Requests库的简单用法实战爬虫协议

ゝ一世哀愁。/ 2023年05月31日 10:19/ 0 赞/ 126 阅读

相关【爬虫案例】Requests爬取豆瓣短评以及入门爬虫注意事项

一、Requests是什么？ > Requests 是一个 Python 的 HTTP 客户端库。 > 支持的 HTTP 特性： > > 保持活动和连接池、国际域名和UR

本是古典何须时尚/ 2022年11月30日 12:46/ 0 赞/ 220 阅读

相关使用python爬取豆瓣

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

桃扇骨/ 2022年10月05日 04:42/ 0 赞/ 235 阅读

相关学习python爬取网页

新手学习python爬取网页先用下面4个库就够了：（第4个是实在搞不定用的，当然某些特殊情况它也可能搞不定） 1. 打开网页，下载文件：urllib 2

柔情只为你懂/ 2022年07月14日 09:21/ 0 赞/ 302 阅读

相关 Python爬虫实战(九)：爬取动态网页

coding=utf-8 import re import json import requests from prettyt

电玩女神/ 2022年06月06日 04:10/ 0 赞/ 308 阅读

相关 python爬取豆瓣网页短评实战！

首先我们打开我的父亲母亲的网页界面：链接（https://book.douban.com/subject/20389038/comments/），可以观察到如下界面以及读者对本

妖狐艹你老母/ 2022年05月29日 07:08/ 0 赞/ 358 阅读

相关爬取豆瓣图书

未运行出想要的结果 -- coding:UTF-8 -- import sys import time import urllib

Bertha 。/ 2021年12月15日 08:11/ 0 赞/ 365 阅读

相关 selenium 模拟登陆豆瓣，爬取武林外传的短评

selenium 模拟登陆豆瓣，爬去武林外传的短评：　　在最开始写爬虫的时候，抓取豆瓣评论，我们从F12里面是可以直接发现接口的，但是最近豆瓣更新，数据是JS异步加载的，所

╰半橙微兮°/ 2021年11月11日 09:42/ 0 赞/ 327 阅读

相关 python爬取豆瓣电影Top250

爬取豆瓣电影Top250 首先来看看我们要爬什么环境爬取的步骤爬取所有250条数

拼搏现实的明天。/ 2021年09月28日 03:40/ 0 赞/ 934 阅读