python爬豆瓣top250书籍_python爬虫练习-爬取豆瓣图书top250

忘是亡心i 2022-10-25 15:28 249阅读 0赞

个人自学，完整学习请访问以下链接

学习链接：https://study.163.com/course/courseMain.htm?courseId=1004714034

代码

\# -\*-coding:utf-8-\*-

import requests

from lxml import etree

import time

count = 1 \#计数器

\#一页25本书，一共10页，循环十次。

for i in range(10):

\#第一页：https://book.douban.com/top250?start=0

\#第二页：https://book.douban.com/top250?start=25

\#第三页：https://book.douban.com/top250?start=50

\#。。。以此类推得：

url = 'https://book.douban.com/top250?start=\{\}'.format(i\*25)

data = requests.get(url).text \#获取页面的text

s = etree.HTML(data) \#解析data

books = s.xpath('/html/body/div\[3\]/div\[1\]/div/div\[1\]/div/table')

\#print(scores)

for div in books:

name = div.xpath('./tr/td\[2\]/div\[1\]/a/@title')\[0\]

athor= div.xpath('./tr/td\[2\]/p\[1\]/text()')\[0\]

score = div.xpath('./tr/td\[2\]/div\[2\]/span\[2\]/text()')\[0\]

quote = div.xpath('./tr/td\[2\]/p\[2\]/span/text()')

print(count)

\#有的文章没有quote部分

if len(quote)>0:

\#print("title:\{\}\\tathor:\{\}\\nscore:\{\}\\tquote:\{\}\\n\\n".format(name,athor,score,quote)

\#直接输入上文会产生问题，加上 .encode('GBK','ignore').decode('GBk') 也就是先用gbk编码,

\#忽略掉非法字符,然后再译码

print("title:\{\}\\tathor:\{\}\\nscore:\{\}\\tquote:\{\}\\n\\n".format(name,athor,score,quote).encode('GBK','ignore').decode('GBk'))

else:

print("title:\{\}\\tathor:\{\}\\nscore:\{\}\\n\\n".format(name,athor,score))

count += 1 \#计数器加一

效果

![96e9b23c23f6af7a089c7d60d8fda31f.png][]

[96e9b23c23f6af7a089c7d60d8fda31f.png]: /images/20221024/0447989a262b4b32ba645698b43e005d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，249人围观）

还没有评论，来说两句吧...

相关阅读

相关 BeautifulSoup爬取豆瓣电影Top250

> 任务要求： > > 爬取[豆瓣电影][Link 1]Top250的电影名、评分、短评、评分人数等信息 ![在这里插入图片描述][resize_m_lfit_w_962_

╰半橙微兮°/ 2022年12月29日 11:21/ 0 赞/ 278 阅读

相关 python爬虫实战之爬取豆瓣Top250电影信息

在学习python基础以及一些爬虫基础概念之后，为了加深自己对知识的理解，于是跟着视频以及结合自己的心得，记录自己这段时间学习爬虫的实战项目心得。【准备工作】 1.豆瓣电

末蓝、/ 2022年12月08日 05:11/ 0 赞/ 408 阅读

相关 python爬豆瓣top250书籍_python爬虫练习-爬取豆瓣图书top250

个人自学，完整学习请访问以下链接学习链接：https://study.163.com/course/courseMain.htm?courseId=1004714034

忘是亡心i/ 2022年10月25日 15:28/ 0 赞/ 250 阅读

相关（7）Python爬虫——爬取豆瓣电影Top250

利用python爬取豆瓣电影Top250的相关信息，包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容，然后将爬取

妖狐艹你老母/ 2022年07月29日 08:48/ 0 赞/ 305 阅读

相关 golang爬取豆瓣Top250书籍信息

都说python是爬虫的利器，有各种各样的第三方库。今天尝试了下golang，一字个爽～～爬取[豆瓣Top250书籍][Top250]的整体思路是：书籍列表页（一个列表

小咪咪/ 2022年05月29日 13:44/ 0 赞/ 256 阅读

相关 python爬取豆瓣电影Top250

爬取豆瓣电影Top250 首先来看看我们要爬什么环境爬取的步骤爬取所有250条数

拼搏现实的明天。/ 2021年09月28日 03:40/ 0 赞/ 934 阅读

相关 R语言爬取豆瓣图书Top250

新手爬虫，使用R中最简单的读取网页，然后获取所需内容所在行进行解析。下面介绍爬取豆瓣图书Top250的案例。 1.首先，我们知道网页规律为：“[http://book.do

女爷i/ 2021年09月26日 15:08/ 0 赞/ 725 阅读

相关使用python爬取豆瓣电影TOP250

使用python爬取豆瓣电影TOP250 ①获取指定界面的html文本信息板块 ②获取排名和链接，名字：因为名字，排名和链接同在div cl

分手后的思念是犯贱/ 2021年09月21日 07:12/ 0 赞/ 588 阅读

相关 python爬虫爬取豆瓣电影Top250

python爬虫爬取豆瓣电影Top250 话不多说，直接上代码！ import re import requests import json

爱被打了一巴掌/ 2021年07月26日 18:14/ 0 赞/ 903 阅读

相关 python爬虫爬取豆瓣读书Top250

python爬虫爬取豆瓣读书Top250 话不多说，直接上代码！ from urllib.request import urlopen, Request

淡淡的烟草味﹌/ 2021年07月26日 11:19/ 0 赞/ 674 阅读