0302网络爬虫

我就是我 2022-03-15 12:47 333阅读 0赞

### 一、正则表达式 ###

1、正则表达式：通用的字符串表达框架，简洁表达一组字符串的表达式。针对字符串表达“简洁”和“特征”思想的工具。判断某字符串的特征归属。主要应用在字符串匹配中

正则表达式在文本处理中常用：表达文本类型的特征（病毒、入侵等）；同时查找或替换一组字符串；匹配字符串的全部或部分。

正则表达式的使用：  
编译：将符合正则表达式语法的字符串转换成正则表达式特征。  
正则表达式语法：正则表达式是由字符和操作符构成。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]

2、Re库介绍  
Re库是Python的标准库，主要用于字符串匹配。import re  
正则表达式的表示类型：  
（1）raw string类型（原生字符串类型），不包含转义符的字符串  
re库采用raw string类型表示正则表达式，表示为：r’text’

r'[1-9'\d{
        5} 中国大陆地区邮政编码
    r'\d{3}-\d{8}|d{4}-\d{7}' 国内电话号码

（2）string类型，更繁琐。  
2、Re库的主要功能函数

<table> 
 <thead> 
  <tr> 
   <th>函数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>re.search()</td> 
   <td>在一个字符串中搜索匹配正则表达式的第一个未知，返回match对象</td> 
  </tr> 
  <tr> 
   <td>re.match()</td> 
   <td>从一个字符串的开始位置起匹配正则表达式，返回match对象</td> 
  </tr> 
  <tr> 
   <td>re.findall()</td> 
   <td>搜索字符串，以列表类型返回全部能匹配的自串</td> 
  </tr> 
  <tr> 
   <td>re.split()</td> 
   <td>将字符串按照正则表达式匹配结果进行分割，返回列表类型</td> 
  </tr> 
  <tr> 
   <td>re.finditer()</td> 
   <td>搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象</td> 
  </tr> 
  <tr> 
   <td>re.sub()</td> 
   <td>在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串</td> 
  </tr> 
 </tbody> 
</table>

Re库的match对象：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]

#### 二、爬取豆瓣Top250电影内容 ####

每个页面有25部电影，前25部电影对应的url：[https://movie.douban.com/top250?start=0&filter=][https_movie.douban.com_top250_start_0_filter]  
每往后翻一页，url对应的start增加25。

import csv
    import requests
    from bs4 import BeautifulSoup
    import codecs
    
    def get_info(link):
        r = requests.get(url)
        soup = BeautifulSoup(r.text, 'lxml')
    
        titles = soup.findAll(class_='hd')
        nums = soup.findAll('em')
        scores = soup.findAll(class_='rating_num')
    
        for num, title, score in zip(nums, titles, scores):
            data.append((num.text, title.find(class_='title').text, score.text))
    
        print('Done one page')
    
    
    if __name__ == '__main__':
        urls = ['https://movie.douban.com/top250?start={}&filter='.format(i) for i in range(0, 226, 25)]
        csvfile = codecs.open('top250.csv', 'w+', 'utf_8_sig')
        writer = csv.writer(csvfile)
        data = []
        for url in urls:
            get_info(url)
        for i in data:
            writer.writerow(i)
        csvfile.close()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]: /images/20220315/5387a4f0f76a4bc2abf10e3f460c8d64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]: /images/20220315/3b69126e876d465fbd61be2e19f980e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]: /images/20220315/4c55b96bc3754026946027ce0ced29e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]: /images/20220315/87797001f7034f278de63fc0a44a8046.png
[https_movie.douban.com_top250_start_0_filter]: https://movie.douban.com/top250?start=0&filter=