python将网页内容写入world_python爬虫——利用requests库BeautifulSoup定向爬取网页内容写入txt文件...

朴灿烈づ我的快乐病毒、 2022-10-31 15:58 167阅读 0赞

简单爬取“最好大学网2018大学排名”，爬取结果存入指定 目录下txt文件中

爬取对象 url = http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html

工具：python3.6 IDLE

程序总体上也是分为三步：一、requests.get()获取url信息，并返回r.text；二、用BeautifulSoup解析r.text内容，后去标签中的信息，将爬取到的类似于 “大学名称”、“省份”、“排名”等信息用存入 ulist 列表中；三、对存入ulist列表中的信息进行：打印、输出、保存等进一步详细的操作。

附上程序所有代码：(同样生成了.exe程序文件)

import requests

from bs4 import BeautifulSoup

import bs4

import os

def getHTMLText(url):

try:

r = requests.get(url, timeout = 30)

r.raise\_for\_status()

r.encoding = r.apparent\_encoding

return r.text

except:

return ""

def fillUnivList(ulist, html):

soup = BeautifulSoup(html, "html.parser")

for tr in soup.find('tbody').children:

if isinstance(tr, bs4.element.Tag): \#如果tr标签不是bs4库定义的Tag类型将过滤掉

tds = tr('td') \#将所有的td标签存为一个列表类型tds

ulist.append(\[tds\[0\].string, tds\[1\].string, tds\[2\].string, tds\[3\].string, tds\[4\].string\])

def printUnivList(ulist, num, province):

root = "F://pics//"

tplt = "\{0:^4\}\\t\{1:\{5\}^10\}\\t\{2:\{5\}^6\}\\t\{3:^4\}\\t\{4:^16\}"

print(tplt.format("排名", "学校名称", "省市", "总分", "新生高考成绩得分", chr(12288)))

if not os.path.exists(root):

os.mkdir(root)

with open('F://pics//university\_infos.txt', 'a', encoding = 'utf-8') as f:

f.write(tplt.format("排名", "学校名称", "省市", "总分", "新生高考成绩得分", chr(12288)) + '\\n')

f.close()

for i in range(num):

u = ulist\[i\]

p = province\[0:2\] \#获取省份的前两个字符

if p in u\[2\]:

print(tplt.format(u\[0\], u\[1\], u\[2\], u\[3\], u\[4\], chr(12288)))

with open('F://pics//university\_infos.txt', 'a', encoding = 'utf-8') as f:

f.write(tplt.format(u\[0\], u\[1\], u\[2\], u\[3\], u\[4\], chr(12288)) + '\\n')

f.close()

elif province in \["所有"\]:

print(tplt.format(u\[0\], u\[1\], u\[2\], u\[3\], u\[4\], chr(12288)))

with open('F://pics//university\_infos.txt', 'a', encoding = 'utf-8') as f:

f.write(tplt.format(u\[0\], u\[1\], u\[2\], u\[3\], u\[4\], chr(12288)) + '\\n')

f.close()

def check(inputchar):

a = \['北京市', '天津市', '上海市', '江苏省', '浙江省', '安徽省', '福建省', '江西省', '湖南省',\\

'山东省', '河南省', '内蒙古自治区', '湖北省', '宁夏回族自治区', '新疆维吾尔自治区', \\

'广东省', '海南省', '四川省','西藏自治区', '广西壮族自治区', '河北省', '贵州省', \\

'重庆省', '陕西省', '山西省', '云南省', '辽宁省','吉林省', '甘肃省', '黑龙江省', '青海省'\\

'北京', '天津', '上海', '江苏', '浙江', '安徽', '福建', '江西', '湖南',\\

'山东', '河南', '内蒙古', '湖北', '宁夏', '新疆', \\

'广东', '海南', '四川','西藏', '广西', '河北', '贵州', \\

'重庆', '陕西', '山西', '云南', '辽宁','吉林', '甘肃', '黑龙江', '青海','所有'\]

if inputchar\[0:2\] in a:

main(inputchar\[0:2\])

else:

cha = input("请正确输入省/市: ")

check(cha)

def main(province):

uinfo = \[\]

url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html'

html = getHTMLText(url)

fillUnivList(uinfo, html)

printUnivList(uinfo, 600, province)

while True:

comd = input("是否继续检索(是/否)：")

if comd in \["是"\]:

str\_province = input("请输入需要查询的'省份或所有'：")

check(str\_province)

else:

break

if \_\_name\_\_ == '\_\_main\_\_':

print('爬取《最好大学网》2018大学排名，输出信息，保存到F:/pics/university\_infos.txt')

str\_province = input("请输入需要查询的'省份或所有'：")

check(str\_province)

check函数主要是用来检验 输入的信息是否符合要求，自己觉得代码写的太繁琐，以后养成好习惯，慢慢完善。

运行实例：![e5bd6782ad412290670ada82d467e2fb.png][]

![57fb311392fdae386084348584f337fb.png][]![96bf0e73e605de22d5373d10b0af471d.png][]

[e5bd6782ad412290670ada82d467e2fb.png]: /images/20221024/365677b866474a5f9584c6b686a8eb0b.png
[57fb311392fdae386084348584f337fb.png]: https://img-blog.csdnimg.cn/img_convert/57fb311392fdae386084348584f337fb.png
[96bf0e73e605de22d5373d10b0af471d.png]: /images/20221024/db3e28d410f2474db73ee6c36f5e26ba.png