以requests方式爬取的数据并且以csv文件的方式存储

缺乏、安全感 2022-05-18 08:42 141阅读 0赞

以爬取豆瓣电影的排行榜前十的电影为例进行说明：

代码如下：

import requests  
from bs4 import BeautifulSoup  
import re  
from lxml import etree  
import codecs  
import csv

class FirstCrawl():  
    \#初始化数据  
    def \_\_init\_\_(self):  
        self.headers=\{  
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',  
        \}  
        self.url = 'https://movie.douban.com/chart'  
        \#proxies = \{ "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", \}   
        self.proxies = \{'http': '171.14.90.249:30733'\}  
        \#设置csv文件  
        self.CsvFileName="movie\_data1.csv"  
        \#存储Csv数据  
        self.CsvData=\[\]  
        \#爬取的电影计数  
        self.num = 0

\#解析网页中的内容  
    def GetMovieProfile(self,content):  
        soup = BeautifulSoup(content,'lxml')  
        \#爬取所有的电影图片以及链接  
        img\_list = soup.select('.item > td > .nbg')  
        \#计数第几个电影  
        for img in img\_list:  
            self.num += 1  
            print('现在开始爬取第%d个电影的详细信息...'% self.num)  
            \#获取电影图片链接  
            img\_src = img.img\['src'\]  
            \#获取电影链接  
            movie\_href = img\['href'\]  
            \#发送请求  
            r = requests.get(movie\_href,headers=self.headers)  
            \#解析内容，通过电影链接去获取电影的详情  
            soup = BeautifulSoup(r.text,'lxml')  
            tree = etree.HTML(r.text)  
            \#每部影片的影片名字  
            movie\_name = tree.xpath('//div\[@id="content"\]/h1\[1\]//text()')  
            movie\_name = ''.join(movie\_name).strip('\\n ').replace('\\n','').replace(' ','')  
            \#print(movie\_name)  
            \#每部影片的信息包括导演、编剧、  
            movie\_all\_info = soup.select('\#info')  
            movie\_base\_info = movie\_all\_info\[0\].select('span')  
            \#电影的导演  
            movie\_direction = movie\_base\_info\[0\].select('.attrs')\[0\].text  
            \#print(movie\_direction)  
            \#电影的编剧  
            \#movie\_base\_info\[1\].select('.attrs')\[0\].text  
            movie\_scriptwrite = tree.xpath('//div\[@id="info"\]/span\[2\]//text()')\[2:\]  
            movie\_scriptwrite = ''.join(movie\_scriptwrite).strip('\\n ').replace('\\n','').replace(' ','')  
            \#print(movie\_scriptwrite)  
            \#电影的主演  
            movie\_actor = movie\_base\_info\[2\].text  
            \#print(movie\_actor)  
            \#电影类型  
            movielist = movie\_all\_info\[0\].find\_all('span',property="v:genre")  
            movie\_type\_list = \[\]  
            for i in range(0,len(movielist)):  
                movie\_type\_list.append(movielist\[i\].text + '/')  
            movie\_type = ''.join(movie\_type\_list)  
            \#print(''.join(movie\_type\_list))  
              
            movie\_section\_list = \[\]  
            section\_list = tree.xpath('//div\[@id="info"\]/text()')  
            i = 0  
            for section in section\_list:  
                sec = section.strip('  \\n /')  
                movie\_section\_list.append(sec)  
            movie\_section\_info = \[\]  
            for i in range(0,len(movie\_section\_list)):  
                if movie\_section\_list\[i\] != '':  
                    movie\_section\_info.append(movie\_section\_list\[i\])  
            \#print(''.join(movie\_section\_info))

\#产出地  
            birth\_palace = movie\_section\_info\[0\]  
            \#电影语言  
            movie\_language = movie\_section\_info\[1\]  
            \# print(movie\_language)  
            \#电影上映日期  
            show\_date = movie\_all\_info\[0\].find('span',property='v:initialReleaseDate').text  
            \#print(date)  
            \#电影片长  
            running\_time = movie\_all\_info\[0\].find('span',property ='v:runtime').text  
            \#print(running\_time)  
            \#电影的又名  
            try:  
                other\_name = movie\_section\_info\[2\]  
            except Exception:  
                other\_name = '无'  
            \# print(other\_name)  
            \# print(other\_name)  
            \#豆瓣电影总评分  
            sum\_rating = soup.select('.clearfix > .rating\_num')\[0\].text  
            \#电影的总评分人数  
            sum\_person = soup.select('.rating\_people > span')\[0\].text + '人评价过'  
            \#推荐电影的百分比列表  
            stars\_list = soup.select('.ratings-on-weight > .item')  
            \#力荐这部电影人数的百分比（五星）  
            stars5 = stars\_list\[0\].find('span',class\_ = 'rating\_per').text  
            \# print(stars5)  
            \#推荐这部电影人数的百分比（4星）  
            stars4 = stars\_list\[1\].find('span',class\_ = 'rating\_per').text  
            \# print(stars4)  
            \#觉得这部电影还行的人数的百分比（3星）  
            stars3 = stars\_list\[2\].find('span',class\_ = 'rating\_per').text  
            \# print(stars3)  
            \#觉得这部电影较差的人数的百分比（2星）  
            stars2 = stars\_list\[3\].find('span',class\_ = 'rating\_per').text  
            \# print(stars2)  
            \#觉得这部电影很差的人数的百分比（1星）  
            stars1 = stars\_list\[4\].find('span',class\_ = 'rating\_per').text  
            \# print(stars1)

\#在哪可以看这个电影的视频  
            \# watch\_movie\_list = soup.select('.gray\_ad > .bs > li')  
            \# watch\_movie\_show\_list = \[\]  
            \# i = 0  
            \# for watch\_movie in watch\_movie\_list:  
            \#     watch\_movie\_name = watch\_movie.find('a',class\_ = 'playBtn').text  
            \#     watch\_movie\_show = watch\_movie.find('a',class\_ = 'playBtn' )\['href'\]  
            \#     watch\_movie\_show\_list.append(\{watch\_movie\_name:watch\_movie\_show\})  
            \#print(watch\_movie\_show\_list)  
            \#该电影的简介  
            \#movie\_introduce = tree.xpath('//div\[@id="link-report"\]//span\[@property="v:summary"\]/text()')  
            \#print(movie\_introduce)  
            \#拼凑行数据  
            d=\[movie\_name,  
               movie\_direction,  
               movie\_scriptwrite,  
               movie\_actor,  
               movie\_type,  
               birth\_palace,  
               movie\_language,  
               show\_date,  
               running\_time,  
               other\_name,  
               sum\_rating,  
               sum\_person,  
               stars5,  
               stars4,  
               stars3,  
               stars2,  
               stars1,  
              \]  
            self.CsvData.append(d)  
            print('结束爬取第%d个电影的详细信息...'% self.num)

\#获取页面数据  
    def GetContent(self):  
        try:  
            r = requests.get(self.url,headers=self.headers,proxies=self.proxies)  
            self.GetMovieProfile(r.text)

\#写入Csv文件中  
            with open(self.CsvFileName, 'w',encoding='utf8') as csvfile:  
                    spamwriter = csv.writer(csvfile, dialect='excel')  
                    \#设置标题  
                    spamwriter.writerow(\["电影名称","导演","编剧","主演","类型","产出地","语种","上映日期","放映时长","又名","总评分(十分制)","总评分人数","力荐这部电影人数的百分比（五星）","推荐这部电影人数的百分比（4星）","觉得这部电影还行的人数的百分比（3星）","觉得这部电影较差的人数的百分比（2星）","觉得这部电影很差的人数的百分比（1星）"\])  
                    \#将CsvData中的数据循环写入到CsvFileName文件中  
                    for item in self.CsvData:  
                        spamwriter.writerow(item)     
            print("成功导出CSV文件！")

except Exception as e:  
            print("404 error!%s" % e )  
\#实例化类  
fc = FirstCrawl()  
\#执行获取内容的方法  
fc.GetContent()