中国大学排名定向爬虫实例

男娘i 2023-07-18 14:03 1阅读 0赞

### 功能描述： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70][]

### 程序的结构设计： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 1][]

### 网页结构： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 2][]

### 网页代码框架： ###

<tbody>

<tr> \#第一个大学

<td>...</td> <td>...</td> <td>...</td> .......

</tr>

.......

<tr> \#第N个大学

<td>...</td> <td>...</td> <td>...</td> .......

</tr>

</tbody>

### 爬虫代码： ###

import requests
    from bs4 import BeautifulSoup
    import bs4
    
    def getHTMLText(url):   #输入url，返回HTML
    	try:
    		r=requests.get(url,timeout=30)
    		r.raise_for_status()
    		
    		r.encoding=r.apparent_encoding
    		return r.text
    	except :
    		return "爬取失败"
    
    def fillUnivList(ulist,html):  #将HTML页面放到ulist列表中
    	soup=BeautifulSoup(html,"html.parser")
    	for tr in soup.find('tbody').children:
    		if isinstance(tr,bs4.element.Tag):  #将tr不是Tag的标签过滤
    			tds=tr('td')   #查tr中的td标签
    			ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
    
    def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    	print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format("排名","学校名称","省市","总分"))  #打印表头
    	for i in range(num):
    		u=ulist[i]
    		print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3]))
    
    if __name__=="__main__":
    	uinfo=[]
    	url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    	html=getHTMLText(url)
    	fillUnivList(uinfo,html)
    	printUnivList(uinfo,20)  #20个学校的信息

### 爬取结果： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 3][]

### 输出格式优化： ###

上述爬取结果可以看出格式不是很好对齐，进行优化

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 4][]

![20200328214521753.png][]

原代码：

def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    	print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format("排名","学校名称","省市","总分"))  #打印表头
    	for i in range(num):
    		u=ulist[i]
    		print("{:^10}\t{:^6}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3]))

优化后代码：

def printUnivList(ulist,num):   #将ulist信息打印出来，num为个数
    	tplt="{0:^10}\t{1:{4}^10}\t{2:^6}\t{3:^10}"  #{1:{4}^10}中的{4}表示用format格式中的4（即第五个）参数：chr(12288)
    	print(tplt.format("排名","学校名称","省市","总分",chr(12288)))  #打印表头
    	for i in range(num):
    		u=ulist[i]
    		print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

优化后的结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70]: /images/20230528/2cfc18189cb443238bfd9ac448e8368b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 1]: /images/20230528/9b9b3c230f1f4cc3a7c439c5c9800253.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 2]: /images/20230528/4e32240878c649a98ba337e8b12a3699.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 3]: /images/20230528/4d40c6c317e04cb29cbfd14fe28a98d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 4]: /images/20230528/ef8201d92f10410b9537c8e16dbcaa2f.png
[20200328214521753.png]: /images/20230528/190177156f864206aa43c72307f1f125.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xZXzYyNA_size_16_color_FFFFFF_t_70 5]: /images/20230528/b28c3def25984d6ea6c59b94db68314d.png