爬虫爬取豆瓣前500名书单

清疚 2024-04-17 05:37 59阅读 0赞

### 爬虫爬取豆瓣前500名书单 ###

*  排名书名所在标签
 *  进一步提取文本

# 排名书名所在标签 #

![在这里插入图片描述][20190822224612339.png]

# 观察上面的文档结果
    
    import requests
    from bs4 import BeautifulSoup
    import bs4
    
    
    def main(page):
        url = u'http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-'+str(page)
        html = requests.get(url)
        html.encoding = 'gb2312'
        bs = BeautifulSoup(html.content, 'lxml')
        a = bs.find_all('div', 'name')
        # print(a)
        file = open('../file/out.txt', mode='a+', encoding='utf-8')
        # 将结果追加文本中
        for i in a:
            file.write(str(i)+'\n')
        file.close()
    
    
    if __name__ == '__main__':
    # 每页20页记录
        for i in range(1, 26):
            main(i)

# 进一步提取文本 #

import requests
    from bs4 import BeautifulSoup
    import bs4
    
    
    def main():
        file = open('../file/out1.txt', mode='w+', encoding='utf-8')
        with open('../file/out.txt', mode='r', encoding='utf-8') as f:
            for i in f:
                bs = BeautifulSoup(i, 'lxml')
                file.write(str(bs.div.a['title'])+'\n')
        file.close()
    
    
    if __name__ == '__main__':
        main()

[20190822224612339.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/f3936d55f06a4c3aaf534df85e78347c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，59人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫爬取豆瓣前500名书单

爬虫爬取豆瓣前500名书单 * 排名书名所在标签 * 进一步提取文本排名书名所在标签 ![在这里插入图片描述][20190822224612339....

清疚/ 2024年04月17日 05:37/ 0 赞/ 60 阅读

相关爬虫---爬取豆瓣网评论内容

　　这段时间肯定经常听到一句话“我命由我不由天”，没错，就是我们国产动漫---哪咤，今天我们通过python还有上次写的pyquery库来爬取豆瓣网评论内容爬取豆瓣

浅浅的花香味﹌/ 2023年08月17日 17:26/ 0 赞/ 56 阅读

相关（8）Python爬虫——爬取豆瓣影评数据

利用python爬取豆瓣最受欢迎的影评50条的相关信息，包括标题,作者,影片名,影片详情链接,推荐级,回应数,影评链接,影评,有用数这9项内容，然后将爬取的信息写入Excel表

一时失言乱红尘/ 2022年07月29日 08:48/ 0 赞/ 239 阅读

相关 python爬虫爬取豆瓣电影榜单

起因起因就是博主自己头脑发热想要爬取豆瓣的电影榜单,然后把里面的文字部分提取出来自己之前看别人的网上的教程写到了如何爬取某个网页的图片并将其下载,自己试了好使但是

Love The Way You Lie/ 2022年06月08日 07:21/ 0 赞/ 416 阅读

相关爬虫利器初体验 scrapy，爬取豆瓣电影

目录前言 scrapy 数据流 scrapy 组件爬取豆瓣电影 Top250 后记送书后话前言为什么要学 scrap

妖狐艹你老母/ 2022年02月02日 03:13/ 0 赞/ 420 阅读

相关爬取豆瓣前250本书籍信息

[参考了这个哥们的思路:https://blog.csdn.net/qq\_40123329/article/details/81807759][https_blog.csdn

朱雀/ 2022年01月29日 11:21/ 0 赞/ 202 阅读

相关 JAVA爬虫 - 爬取豆瓣租房信息

最近打算换房子，豆瓣上面的租房小组相对来说较为真实，但是发现搜索功能不是那么友好，所以想把帖子的数据都爬到数据库，自己写sql语句去筛选，开搞！每步过程都贴上完整代码，感兴

柔情只为你懂/ 2021年12月17日 12:04/ 0 赞/ 430 阅读

相关爬取豆瓣图书

未运行出想要的结果 -- coding:UTF-8 -- import sys import time import urllib

Bertha 。/ 2021年12月15日 08:11/ 0 赞/ 368 阅读

相关 python爬虫爬取豆瓣电影Top250

python爬虫爬取豆瓣电影Top250 话不多说，直接上代码！ import re import requests import json

爱被打了一巴掌/ 2021年07月26日 18:14/ 0 赞/ 907 阅读

相关 python爬虫爬取豆瓣读书Top250

python爬虫爬取豆瓣读书Top250 话不多说，直接上代码！ from urllib.request import urlopen, Request

淡淡的烟草味﹌/ 2021年07月26日 11:19/ 0 赞/ 677 阅读