python爬虫入门之爬万本书籍

怼烎@ 2021-09-19 02:12 322阅读 0赞

## **STEP1.分析网站** ##

![20190425115051552.png][]

--------------------

一开始我想通过一篇文章引用的链接，将书爬完，后来发现并不需要这样做。比如我们可以打开人生哲学这个栏目。

如图1所示，会把页面数全列出来。  
并且这个url

http://txt.rain8.com/txtzx/list_93_1.html

也非常的有规律。  
可以看出是由

'http://txt.rain8.com/txt'+'栏目名称'+'list_栏目编号_页数.html'

组成的。  
知道了这点后，我们就能轻松的把网站爬完了。

小编整理的一整套系统的python学习教程从最基础的的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习的学习资料都有整理，送给每一位小伙伴, 有想学习python编程的，或是转行，或是大学生，还有工作中想提升自己能力的，正在学习的小伙伴欢迎加入学习。

**加维信：TZpy6880（招募中）**

## **STEP2.初始化** ##

首先我们来理清思路。

![20190425115003917.png][]

这是我们需要的库

import requestsimport reimport os

其实这个项目用urllib2也能完成。  
我们首先来初始化,在self.urls里，我们定义一些需要fetch的栏目。(比如言情，恐怖仙侠之类的书就可以跳过)。然后写一些正则表达式，供其他的method使用。

class fetchBook:    def __init__(self):        self.header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0'}        self.urls = [                     'http://txt.rain8.com/txtgw/',                     'http://txt.rain8.com/txtzj/',                     'http://txt.rain8.com/txtzx/',                     'http://txt.rain8.com/txtsh/'                     ]        self.rePageIndex = re.compile('list_\d+_\d+.html')#得到栏目编号        self.rePageCount = re.compile('<strong>\d+</strong>')#得到页面数目        self.reDownloadGet1 = re.compile('href=.http://txt.rain8.com/plus/xiazai_yfx.php?[^>]+')#得到下载链接        self.reGetTitle = re.compile('<title>.+</title>')#得到标题        self.reGetAuthor = re.compile("</small><span>[^>]+")#得到作者名称        self.reBookGetNew = re.compile('')#得到书籍链接        self.reBookGetOld = re.compile('')        self.cnt = 0

## **STEP3.获取所有的页面** ##

我们可以查看人生哲学源代码。可以找到总共的页数。

![20190425114940123.png][]

然后我们就能得到每一页的数据。  
代码如下

def viewAllPage(self,url):        """        函数功能为把该栏目下所有页面全过一遍。        """        req = requests.get(url,headers = self.header)        pageIndex = self.rePageIndex.findall(req.text)[0][5:7]        pageCount = int(self.rePageCount.findall(req.text)[0][8:-9])        urlToFetch = [url,'list_',pageIndex,'_','1','.html']        foldname = self.reGetTitle.findall(req.text)[0][7:]        foldname = foldname.encode('unicode_escape').decode('string_escape')        foldname = foldname.split('|')[0]        self.createDir(foldname)        for page in range(1,pageCount+1):            urlToFetch[4] = str(page)            url_to_get = ''.join(urlToFetch)#得到所有页面的url

## **STEP4.得到下载链接** ##

然后我们用上面写好的正则表达式，来匹配她的下载链接。

def fetchDownloadUrl(self,bookurl):        req = requests.get(bookurl,headers = self.header)        result = self.reDownloadGet1.findall(req.text)        result = result[0][6:-17]        authorname = self.reGetAuthor.findall(req.text)[0][14:-6].encode('unicode_escape').decode('string_escape')        req = requests.get(result,headers = self.header)        bookname = self.reGetTitle.findall(req.text)[0][7:-24]        downloadurl = self.reDownloadGet1.findall(req.text)[0][6:-17]        return downloadurl,bookname,authorname

## **STEP5.下载** ##

下载的时候，由于该网站下载的书都是rar格式的。所以我们只要用二进制的方式写就可以了。  
我们调用

self.req = requests.get(downloadUrl,headers = self.header)

然后

f = open(posi+'/'+bookname+'.rar','wb')

就可以写进去了。

## **STEP6.编码问题** ##

之前一直被python的编码问题搞的头大，这次又遇见了。于是找了点资料看了看。  
因为python工作使用的编码是unicode，如果要在编码间进行转化，推荐要先decode成unicode，然后再encode成别的编码。  
然后我在爬内容的过程中碰到了这个问题：

s = u'\xb9\xc5\xca\xab\xb4\xca\xc3\xfb\xd6\xf8'

\\xb9这样的很明显应该是gbk编码。而python却在字符串前加了个u。然后我对这串字符encode还是decode都会报错。或者打印出来乱码。  
经过查阅资料，我找到了一种解决办法

s.encode('unicode_escape').decode('string_escape')

经过这样处理后

>>> print repr(s)>>> '\xb9\xc5\xca\xab\xb4\xca\xc3\xfb\xd6\xf8'

很明显就恢复了正常。这时我们只要decode('gb2312')就能转换成unicode编码了。

## **STEP7.结果展示** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 1][]

github地址：https://github.com/bloodycoder/craw\_books

喜欢的可以点一下喜欢。

如果在学习中遇到问题有不明白的地方，推荐加小编微信：**Pythonsusu**

有视频教程 ，直播课程 ，等学习资料，期待你的加入

[20190425115051552.png]: /images/20210812/0a577203749a4a1dad9283028c3dd34c.png
[20190425115003917.png]: /images/20210812/d0b8e323f45f4557851a1131a2d8730a.png
[20190425114940123.png]: /images/20210812/b5b1386c7548421a95646d948e8a7b2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70]: /images/20210812/5482673c530442eabfd40e0bd1152600.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 1]: /images/20210812/192c7554e57a4fc18f14fc7d1e4180be.png