中国大学排名定向爬虫实例-蒲公英云

中国大学排名定向爬虫实例

男娘i 2023-07-18 14:03 84阅读 0赞

功能描述：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70

程序的结构设计：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 1

网页结构：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 2

网页代码框架：

#第一个大学

… … … …….

…….

…….

#第N个大学

… … … …….

爬虫代码：

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):   #输入url，返回HTML
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except :
        return "爬取失败"
def fillUnivList(ulist,html):  #将HTML页面放到ulist列表中
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):  #将tr不是Tag的标签过滤
            tds=tr('td')   #查tr中的td标签
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format("排名","学校名称","省市","总分"))  #打印表头
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3]))
if __name__=="__main__":
    uinfo=[]
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)  #20个学校的信息

爬取结果：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 3

输出格式优化：

上述爬取结果可以看出格式不是很好对齐，进行优化

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 4

原代码：

def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format("排名","学校名称","省市","总分"))  #打印表头
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3]))

优化后代码：

def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    tplt="{0:^10}\t{1:{4}^10}\t{2:^6}\t{3:^10}"  #{1:{4}^10}中的{4}表示用format格式中的4（即第五个）参数：chr(12288)
    print(tplt.format("排名","学校名称","省市","总分",chr(12288)))  #打印表头
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))