【Python网络爬虫实战案例】Python爬取中国前20强大学

短命女 2022-04-17 04:42 393阅读 0赞

### 基于Requests库、BeautifulSoup库实现中国前20强大学排名爬取 ###

梳理程序设计步骤：

1、从网络上获取大学排名网页内容——getHTMLText()

2、提取网页内容中信息到合适的数据结构【二维列表】——fillUnivList()

3、利用数据结构展示并输出结束——printUnivList()

完整代码：

import requests
    from bs4 import BeautifulSoup
    import bs4
    
    #获取网页内容
    def getHTMLText(url):
        try:
            r = requests.get(url,timeout = 30)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            return ""
    
    #给点数据结构
    def fillUnivList(Ulist,html):
        soup = BeautifulSoup(html,"html.parser")
        for tr in soup.find("tbody").children:
            if isinstance(tr,bs4.element.Tag):
                tds = tr("td")
                Ulist.append([tds[0].string,tds[1].string,tds[3].string,tds[2].string])
    
    #内容输出
    def printUnivList(Ulist,num):
        #print("Suc"+str(num))
        #中文输出对齐
        tplit = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
        print(tplit.format("排名","学校名称","总分","省市",chr(12288)))
        for i in range(num):
            u = Ulist[i]
            print(tplit.format(u[0],u[1],u[2],u[3],chr(12288)))
    
    #主函数
    def main():
        Uinfo = []
        url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"
        html = getHTMLText(url)
        fillUnivList(Uinfo,html)
        printUnivList(Uinfo,20) #20 uinvs
    main()

结果：![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZG9uZV9oc3g_size_16_color_FFFFFF_t_70][]

排名    	　　　学校名称　　　	    总分    	    省市    
        1     	　　　清华大学　　　	   95.9   	   北京市    
        2     	　　　北京大学　　　	   82.6   	   北京市    
        3     	　　　浙江大学　　　	    80    	   浙江省    
        4     	　　上海交通大学　　	   78.7   	   上海市    
        5     	　　　复旦大学　　　	   70.9   	   上海市    
        6     	　　　南京大学　　　	   66.1   	   江苏省    
        7     	　中国科学技术大学　	   65.5   	   安徽省    
        8     	　哈尔滨工业大学　　	   63.5   	   黑龙江省   
        9     	　　华中科技大学　　	   62.9   	   湖北省    
        10    	　　　中山大学　　　	   62.1   	   广东省    
        11    	　　　东南大学　　　	   61.4   	   江苏省    
        12    	　　　天津大学　　　	   60.8   	   天津市    
        13    	　　　同济大学　　　	   59.8   	   上海市    
        14    	　北京航空航天大学　	   59.6   	   北京市    
        15    	　　　四川大学　　　	   59.4   	   四川省    
        16    	　　　武汉大学　　　	   59.1   	   湖北省    
        17    	　　西安交通大学　　	   58.9   	   陕西省    
        18    	　　　南开大学　　　	   58.3   	   天津市    
        19    	　　大连理工大学　　	   56.9   	   辽宁省    
        20    	　　　山东大学　　　	   56.3   	   山东省

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZG9uZV9oc3g_size_16_color_FFFFFF_t_70]: /images/20220417/7c3ffae9b90a44ca87cabb965d306eac.png