python3爬汽车之家

绝地灬酷狼 2022-04-15 07:16 212阅读 0赞

记录一次python3爬汽车之家。

百度上一堆python2写的爬虫，python3的少之又少，而且由于对方网站也在更新，能用的也没有找到，于是动手写一次。

**第一部分：问题代码；**

**第二部分：可运行代码**

**先上结果：**

![20181122234752221.gif][]

测试时间：2018年11月22日

## 第一部分 ##

最开始用习惯的urllib.request包写的，但由于能力有限对python不是很了解，**出了问题没有解决，问题代码如下**（也望有大佬可以指点）：

#-*- encoding=utf-8 -*-
    
    
    import re  # 不用安装
    import os  # 文件夹等的操作
    import time
    import urllib.request
    
    
    
    
    # 根据url获取网页html内容
    def getHtmlContent(url):
        page = urllib.request.urlopen(url)
        return page.read()
    
    # 从html中解析出所有jpg图片的url
    # html中jpg图片的url格式为：<img ... src="XXX.jpg" width=...>
    def getJPGs(html):
        # 解析jpg图片url的正则
        jpgReg = re.compile(b'<img.+?src="(.+?\\.jpg)" width')  # 注：这里最后加一个'width'是为了提高匹配精确度
        # 解析出jpg的url列表
        jpgs = re.findall(jpgReg,html)
        print(jpgs)
        
    def downloadJPG(imgUrl,fileName):
        urllib.request.urlretrieve(imgUrl,fileName)
    
    # 批量下载图片，默认保存到当前目录下    
    def batchDownloadJPGs(imgUrls,path = './'):
        # 用于给图片命名
        count = 1
        for url in imgUrls:
            downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
            count = count + 1
            
    # 封装：下载图片        
    def download(url):
        html = getHtmlContent(url)
        print(html)
        html = bytes(html, 'unicode')
        print(html)
        jpgs = getJPGs(html)
        batchDownloadJPGs(jpgs)
       
    
       
    def main():
        #定义URL地址
        url='http://car.autohome.com.cn/pic/series/2123-1.html'
        download(url)
        
    if __name__ == '__main__':
        main()

原因：由于汽车之家使用的自定义字体，而且这个字体还是好几种，没法一概而论，编码还很奇怪，直接爬的时候是byte类型的数据，用正则不好匹配。当然也不是没法解决，但是实际问题中有更好的解决方案，自然选择更好的方式，就像有个电线杆挡住了你的路，你可以爬过去，当然也可以绕过去。因此直接更换解决方案，如下：

## 第二部分 ##

#-*- coding=utf-8 -*-
    import requests
    from bs4 import BeautifulSoup
    import uuid
    
    #pageCount为总页数，-1代表未初始
    pageCount = -1
    #获取当前页的所有图片
    def getImage(url):
        #url='http://car.autohome.com.cn/pic/series/2123-1.html'
        response=requests.get(url)
        response.encoding=response.apparent_encoding
    
        soup=BeautifulSoup(response.text,'html.parser')
    
        target = soup.find(attrs={"class":"uibox-con carpic-list03 border-b-solid"})
        li_list=target.find_all('li')
    
        #如果未把页数初始化
        global pageCount
        if pageCount == -1:
            pageDiv = soup.find(attrs={"class":"page"})
            a_list=pageDiv.find_all('a')
            if a_list:
                pageCount = len(a_list) - 2#获取到的为上一页，页数。。。下一页，页数为a标签的个数-2,【如果页数过多，暂未测试，可能有BUG】
            
        for i in li_list:
            a=i.find('a')
            if a:
                img = a.find('img').attrs.get('src')
                print(img)
    
                img_response=requests.get(url='http:'+img)
                
                file_name='F:/py/result/' + str(uuid.uuid4())+'.jpg' 
                with open(file_name,'wb')as f:
                    f.write(img_response.content)
    #根据baseUrl来爬取,观察发现后序页的url地址规律：url-pX.hml，X代表页数，如果是第一页则url中不包含-pX，第二页在基础上多-p2，第三页为-p3。。。
    def getAll(baseUrl):
        print("正在爬第1页----------------------")
        getImage(baseUrl)
        global pageCount
        for currentPageNum in range(2,pageCount+1):
            print("正在爬第{0}页----------------------".format(currentPageNum))
            tempBase = baseUrl
            otherUrl = tempBase.replace('.html','-p{0}.html'.format(currentPageNum))
            getImage(otherUrl)
        
    FirstUrl='http://car.autohome.com.cn/pic/series/2123-1.html'
    getAll(FirstUrl)

观察发现url规则：除了第一页，都是以 "-p" + 页码数 结尾的

![20181122234911935.png][]

获取到page的div然后遍历a标签的个数获得总页数，（这里未测试其他页面，如果页面数多，不显示，可能有bug，建议通过不断下一页获取，可以免去该问题）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDI1MDcw_size_16_color_FFFFFF_t_70][]

**代码中仍存留大量的实际问题，比如如果请求1个url出了问题，后面就都没法跑下去了，可以设置重试次数和超时等待上限，此处仅为举例，当抛砖引玉了~**

**-----------------------------**

**我的环境：**

**python3.6.5**

**如果缺少依赖模块可以通过    python -m pip install 模块名               来安装，如：**

**python -m pip install bs4**

[20181122234752221.gif]: /images/20220415/b627fb8376f6471cb7f41923cb437205.png
[20181122234911935.png]: /images/20220415/ee268f89240f4cecb0ed81b6fa038e50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDI1MDcw_size_16_color_FFFFFF_t_70]: /images/20220415/bc77ed3998ba4fd9b73e85a14ff85c2f.png