neuqacm技术组周会-python爬虫实战

淩亂°似流年 2021-09-07 06:13 200阅读 0赞

# 爬取豆瓣top250电影的所有信息并且存入表格和数据库 #

# 源码及注释： #

# 爬取豆瓣top250电影的所有信息
 import urllib.request, urllib.error # 用于发送网络请求和requests功能相近
 from bs4 import BeautifulSoup # 用于解析网页
 import re # 用于正则匹配
 import xlwt # 用于表格的操作
 import sqlite3 # 用于数据库的操作
 
 
 def main():
 dbpath = "movie.db" # 数据库路径（相对路径）
 base_url = "https://movie.douban.com/top250?start=" # 待爬取网页
 data_list = get_data(base_url) # 获取数据
 save_xls(data_list) # 存储数据进表格
 save_db(data_list, dbpath) # 存储数据进数据库
 
 
 def ask_url(url): # 访问网页的函数
 head = { 
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
 } # 用于绕过418反爬虫机制
 request = urllib.request.Request(url=url, headers=head) # 制作请求头
 try:
 response = urllib.request.urlopen(request) # 用于访问网页
 html = response.read().decode("utf-8") # 接收网页信息
 except urllib.error.URLError as e: # 异常处理
 if hasattr(e, "code"):
 print(e.code) # 打印状态码
 if hasattr(e, "reason"):
 print(e.reason) # 打印异常原因
 return html
 
 
 def get_data(base_url):
 data_list = [] # 用于存取250条数据
 for i in range(10):
 url = base_url + str(i * 25) # 制作目标网页列表
 html = ask_url(url)
 soup = BeautifulSoup(html, "html.parser") # 解析网页，形成树型数据结构
 for item in soup.find_all("div", { "class": "item"}): # 获取class=item的div内容
 data = [] # 用于存一部电影的所有信息
 item = str(item)
 link = re.findall(r'<a href="(.*?)">', item)[0] # 获取详情链接
 data.append(link)
 img_src = re.findall(r'<img alt=.*? class="" src="(.*?)"', item)[0] # 获取图片链接
 data.append(img_src)
 title = re.findall(r'(.*?)', item)[0] # 获取电影名
 data.append(title)
 other_title = re.findall(r'(.*?)', item)[0] # 获取其他名字
 if len(other_title) != 0:
 data.append(other_title.replace("\xa0/\xa0", " ")) # 替代掉不能识别的部分
 else:
 data.append(" ") # 对于没有其他标题的电影用空格占位，防止存入表格和数据库的时候出现问题
 rating = re.findall(r'(.*?)', item)[0] # 获取评分
 data.append(rating)
 rating_number = re.findall(r'span>(\d+)人评价', item)[0] # 获取评价人数
 data.append(rating_number)
 inq = re.findall(r'(.*?)', item) # 获取评语
 if len(inq) != 0:
 inq = " ".join(inq) # 从列表中取出数据
 data.append(inq.replace("。", " ")) # 用空格替代句号
 else:
 data.append("") # 对于没有评价的电影用空格占位，防止存入表格和数据库的时候出现问题
 find_info = re.compile(r'(.*?)', re.S)
 info = re.findall(find_info, item)[0]
 info = info.replace(" ", " ") # 替换多余部分
 info = info.replace("\n", " ")
 info = info.strip() # 去除首尾空格
 data.append(info.replace("\xa0", " ")) # 替代掉不能识别的部分
 data_list.append(data) # 存进总列表
 return data_list
 
 
 def save_xls(data_list):
 book = xlwt.Workbook(encoding="utf-8") # 建工作簿，用utf-8编码
 sheet = book.add_sheet("top250") # 建工作表
 title = ["电影详情", "图片", "电影名", "其他名称", "评分", "评价人数", "评语", "其他信息"] # 设置标题栏
 for i in range(8):
 sheet.write(0, i, title[i]) # 写入标题
 for i in range(250):
 data = data_list[i] # 获取单条数据
 for j in range(8):
 sheet.write(i + 1, j, data[j]) # 存入数据
 book.save("test.xls") # 数据库路径（相对路径）
 
 
 def create_db(dbpath): # 建表
 con = sqlite3.connect(dbpath) # 建立数据库连接
 cur = con.cursor() # 获取游标
 sql = ''' create table movie250 ( id integer primary key autoincrement, link text, img_scr text, title varchar , other_title varchar , rating numeric , rating_number numeric , inq text, info text ) '''
 cur.execute(sql) # 执行sql语句
 cur.close() # 关闭游标
 con.close() # 关闭数据库
 
 
 def save_db(data_list, dbpath):
 con = sqlite3.connect(dbpath) # 建立数据库连接
 cur = con.cursor() # 获取游标
 for data in data_list:
 for index in range(len(data)): # 给每条数据加双引号，以符合数据库语言
 data[index] = '"' + data[index] + '"'
 sql = ''' insert into movie250 ( link,img_scr,title,other_title,rating,rating_number,inq,info ) values (%s)''' % ",".join(data) # 从列表中取出数据
 cur.execute(sql) # 执行sql语句
 con.commit() # 提交操作
 cur.close() # 关闭游标
 con.close() # 关闭数据库
 
 
 if __name__ == '__main__': # 如果运行的是该文件则执行如下操作
 main()