【Python爬虫】使用美味汤BeautifulSoup爬取数据并保存为Excel文件

痛定思痛。 2022-02-25 13:24 244阅读 0赞

### 文章目录 ###

*  01 需求描述
 *  02 获取医院详情页url
 *  03 获取医院属性信息
 *  04 写入Excel文件
 *  05 完整代码

# 01 需求描述 #

--------------------

我们想要爬取`https://yyk.99.com.cn/wuhan/`页面上江岸、江汉、硚口、汉阳、武昌、洪山、青山等7个城区的医院信息。医院信息包括医院名称、医院等级、医院性质、占地面积、建筑面积等5个属性。

点击进入网站主页，这里是各个城区的医院名称列表，点击可以进入医院详情页，我们要的数据都在详情页中。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 1]  
**根据上述情况，我们可以将爬取分为三个过程：**

1.  请求并解析首页，获取所有医院详情页的url，可以将其保存为列表结构供后续调用；
2.  请求医院详情页url，解析页面内容，得到医院的各个属性信息；
3.  将医院信息写入`xls`文件中。

# 02 获取医院详情页url #

--------------------

无论是何种爬虫，在实际爬取内容之前，都需要先分析网站页面层级结构，想办法汇总需要爬取内容的页面对应的url，后续过程统一请求这些url来获取数据。

我们分析网站的首页，医院详情页的url被保存在`a`标签的`href`属性中。点击进入武汉翌高少年中医门诊部的详情页，发下其实际`url`为`https://yyk.99.com.cn/huaqiaojiedao/134093/`，可知医院的`url`组织方式为`baseUrl + individualUrl`，需要将首页`a`标签上的`url`附加到基础`url`即`https://yyk.99.com.cn`之后。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 2]通过分析网页结构，我们可以得知，所有的`a`标签都位于`table`标签下的`td`标签中，我们可以先从页面中找到所有`table`元素，然后遍历每个`table`元素的`td`标签，从`td`标签下的`a`标签中即可获取医院`href`属性。实例代码如下：

def getUrls(self, urlStart):
    	print("开始获取所有url...")
    	zone_index = [0,1,2,3,4,5,12]                     # 我们指定的7个城区的下标
    	hospitalUrl = []                                  # 存放所有医院详情页url
    	htmlContent = self.getResponseContent(urlStart)   # 请求首页
    	soup = BeautifulSoup(htmlContent, 'lxml')
    	tables = soup.find_all('table')                   # 找到所有table标签
    	
    	# 遍历各个城区
    	for zi in zone_index:
    	    table_zone = tables[zi]
    	    tds = table_zone.find_all('td')               # 找到所有td标签
    	    
    	    # 遍历每个医院
    	    for td in tds:
    	        item_url = self.urlBase + td.a.get('href')  # 获得a标签的href属性并组装目标url
    	        hospitalUrl.append(item_url) 
    	
    	return hospitalUrl

# 03 获取医院属性信息 #

--------------------

分析医院详情页，我们可以得到几个属性信息的在页面中的位置：

**医院名称**：在`class`为`wrap-name`的`div`下的`h1`标签中  
**医院等级**：在`class`为`grade`的`span`中  
**医院性质**：在`class`为`wrap-info`的`div`下的`dl`标签下的`dd`标签下的第二个`p`标签中  
**占地面积、建筑面积**：在`class`为`hospital-info`的`div`下的`p`标签中  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 5]从页面中我们还可以得知，医院名称、等级、性质三个属性可以直接读取标签文本内容的方式来获得，但是医院的占地面积和建筑面积则不一样：一是因为占地面积和建筑面积只是该段落内容的一句话，需要对段落内容进行提取；二是医院介绍信息不一定存在占地面积、建筑面积；三是不一定存在医院介绍。因此，医院占地面积、建筑面积需要采用正则匹配的方式来提取。具体代码如下：

def spider(self, urls):
    	print('开始爬取数据...')
    	for url in urls:  # 遍历所有医院的url
    	    htmlContent = self.getResponseContent(url)
    	    soup = BeautifulSoup(htmlContent, 'lxml')
    	    item = HospitalItem()
    	    
    	    div = soup.find('div', attrs={ 'class': 'wrap-name'})  # 获取医院名称
    	    item.HospitalName = soup.find('h1').get_text()
    	    
    	    item.HospitalLevel = soup.find('span', attrs={ 'class': 'grade'}).get_text()  # 获取医院等级
    	    
    	    hospitalProperty = soup.find('div', attrs={ 'class': 'wrap-info'}).dl.dd.find_all('p')[1].get_text()    # 获取医院性质
    	    item.HospitalProperty = hospitalProperty.replace('性质：','')
    	    
    	    hospital_info = soup.find('div', attrs={ 'class': 'hospital-info'}).p.get_text()  # 获取医院占地面积
    	    pattern = re.compile('[，。]?占地.*?[，。]')
    	    match = pattern.search(hospital_info)
    	    if match:
    	        item.HospitalArea = match[0]
    	    else:
    	        item.HospitalArea = '无'
    	    pattern = re.compile('[，。]?建筑面积.*?[，。]')  # 获取医院建筑面积
    	    match = pattern.search(hospital_info)
    	    if match:
    	        item.HospitalBuild = match[0]
    	    else:
    	        item.HospitalBuild = '无'
    	    
    	    self.hospitalItems.append(item)

# 04 写入Excel文件 #

--------------------

Python环境下的Excel文件的读写可以借助xlrt、xlwt两个包，本文需要将医院信息写入Excel文件，因此主要用到xlwt包，实例代码如下：

# 保存数据
    def pipelines(self, hospitalItems):
        print('开始保存数据...')
        now = time.strftime('%Y-%m-%d', time.localtime())
        fileName = 'hospital-' + now + '.xls'
        book = xlwt.Workbook(encoding='utf-8', style_compression=0)  # 新建一个工作簿
        sheet = book.add_sheet('hospital')                           # 新建一个工作表
        i = 0
        while i < len(hospitalItems):                                # 遍历所有的医院信息，写入
            item = hospitalItems[i]
            sheet.write(i,0,item.HospitalName)
            sheet.write(i,1,item.HospitalLevel)
            sheet.write(i,2,item.HospitalProperty)
            sheet.write(i,3,item.HospitalArea)
            sheet.write(i,4,item.HospitalBuild)
            i = i + 1
        book.save(fileName)

# 05 完整代码 #

--------------------

用美味汤库来写爬虫还是有一定的套路的：

1.  定义数据项类，其属性为需要爬取的内容，对应代码中的`class HospitalItem(object)`部分
2.  获取页面url，这些url是实际爬取内容的页面的url，对应代码中的`def getUrls(self, urlStart)`部分
3.  定义爬虫方法Spider，爬取页面内容，对应代码中的`def spider(self, urls)`部分
4.  页面内容后处理以及保存数据，对应代码中的`def pipelines(self, hospitalItems)`部分

from bs4 import BeautifulSoup
    import urllib.request
    import re
    import codecs
    import time
    import xlwt
    
    
    class HospitalItem(object):
        HospitalName = None  # 医院名称
        HospitalLevel = None  # 医院等级
        HospitalProperty = None  # 医院属性
        HospitalArea = None  # 占地面积
        HospitalBuild = None  # 建筑面积
    
    
    class GetHospital(object):
        def __init__(self):
            self.urlStart = 'https://yyk.99.com.cn/wuhan/'
            self.urlBase = 'https://yyk.99.com.cn'
            self.hospitalUrls = self.getUrls(self.urlStart)  # 拿到所有urls
            self.hospitalItems = []
            self.spider(self.hospitalUrls)  # 爬虫开始爬取
            self.pipelines(self.hospitalItems)  # 爬取的数据经过几个处理流程
    
    
        def getUrls(self, urlStart):
            print("开始获取所有url...")
            zone_index = [0,1,2,3,4,5,12]
            hospitalUrl = []
            htmlContent = self.getResponseContent(urlStart)
            soup = BeautifulSoup(htmlContent, 'lxml')
            tables = soup.find_all('table')
            
            # 遍历各个城区
            for zi in zone_index:
                table_zone = tables[zi]
                tds = table_zone.find_all('td')
                
                # 遍历每个医院
                for td in tds:
                    item_url = self.urlBase + td.a.get('href')
                    hospitalUrl.append(item_url)
            
            return hospitalUrl
    
    
        def getResponseContent(self,url):
            try:
                response = urllib.request.urlopen(url)
            except:
                print('~~~~~~')
            else:
                return response.read()
    
    
        def spider(self, urls):
            print('开始爬取数据...')
            for url in urls:
                htmlContent = self.getResponseContent(url)
                soup = BeautifulSoup(htmlContent, 'lxml')
                item = HospitalItem()
                div = soup.find('div', attrs={ 'class': 'wrap-name'})
                item.HospitalName = soup.find('h1').get_text()
                item.HospitalLevel = soup.find('span', attrs={ 'class': 'grade'}).get_text()
                hospitalProperty = soup.find('div', attrs={ 'class': 'wrap-info'}).dl.dd.find_all('p')[1].get_text()
                item.HospitalProperty = hospitalProperty.replace('性质：','')
                hospital_info = soup.find('div', attrs={ 'class': 'hospital-info'}).p.get_text()
                pattern = re.compile('[，。]?占地.*?[，。]')
                match = pattern.search(hospital_info)
                if match:
                    item.HospitalArea = match[0]
                else:
                    item.HospitalArea = '无'
                pattern = re.compile('[，。]?建筑面积.*?[，。]')
                match = pattern.search(hospital_info)
                if match:
                    item.HospitalBuild = match[0]
                else:
                    item.HospitalBuild = '无'
                self.hospitalItems.append(item)
    
    
        def pipelines(self, hospitalItems):
            print('开始保存数据...')
            now = time.strftime('%Y-%m-%d', time.localtime())
            fileName = 'hospital-' + now + '.xls'
            book = xlwt.Workbook(encoding='utf-8', style_compression=0)
            sheet = book.add_sheet('hospital')
            i = 0
            while i < len(hospitalItems):
                item = hospitalItems[i]
                sheet.write(i,0,item.HospitalName)
                sheet.write(i,1,item.HospitalLevel)
                sheet.write(i,2,item.HospitalProperty)
                sheet.write(i,3,item.HospitalArea)
                sheet.write(i,4,item.HospitalBuild)
                i = i + 1
            book.save(fileName)
    
    
    if __name__ == '__main__':
        GH = GetHospital()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20190402091332457.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220225/b9c3e0cf86374b8cbbfebfb9c419ebaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220225/347c63e8d6ee43cdbc5dd4e71b699b1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220225/501eba602e624faf9887553aa97b3bdc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220225/9b971fc120424bc88af646b77d7f6652.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWR1XzI2NjQ2MTI5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220225/7ad7c2e14db3475db228db3384684265.png