爬虫必会知识点---＞正则表达式

àì夳堔傛蜴生んèń 2022-12-04 01:03 166阅读 0赞

### 正则表达式 ###

*  一、为什么要学正则表达式
 *  二、正则表达式的原理
 *  三、元字符
 *   *   *  1、匹配边界
         *  2、匹配字符
         *  3、重复次数
 *  四、python中正则表达式模块-------re
 *   *  一、re的使用步骤
     *   *  1、将正则表达式编译成一个pattern对象
         *  2、pattern对象有以下几个方法：
     *  二、贪婪模式与非贪婪模式

# 一、为什么要学正则表达式 #

实际上爬虫一共就四个主要步骤：

(1)明确目标(要知道你准备在哪个范围或者网站去搜索)

(2)爬(将所有的网站的内容全部爬下来)

(3)取(去掉对我们没用处的数据)

(4)处理数据(按照我们想要的方式存储和使用)

我们在之前的案例里实际上省略了第 3 步，也就是"取"的步骤。因为我们 down 下了的

数据是全部的网页，这些数据很庞大并且很混乱，大部分的东西是我们不关心的，因此我们

需要将之按我们的需要过滤和匹配出来。

那么对于文本的过滤或者规则的匹配，最强大的就是正则表达式，是 Python 爬虫世界

里必不可少的神兵利器。

# 二、正则表达式的原理 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExMzA5NTI1ODAy_size_16_color_FFFFFF_t_70_pic_center]

# 三、元字符 #

### 1、匹配边界 ###

### 2、匹配字符 ###

<table> 
 <thead> 
  <tr> 
   <th>\d</th> 
   <th>数字</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>\w</td> 
   <td>数字，字符，下划线</td> 
  </tr> 
  <tr> 
   <td>\b</td> 
   <td>单词的边界</td> 
  </tr> 
  <tr> 
   <td>\s</td> 
   <td>空白字符</td> 
  </tr> 
  <tr> 
   <td>.</td> 
   <td>除换行符以外的任意字符</td> 
  </tr> 
  <tr> 
   <td>[a-z1-9A-Z]</td> 
   <td>字母和数字</td> 
  </tr> 
  <tr> 
   <td>[\u4e00-\u9fa5]</td> 
   <td>中文</td> 
  </tr> 
  <tr> 
   <td>[^123abc]</td> 
   <td>匹配除了123abc这几个字符以外的任意字符</td> 
  </tr> 
 </tbody> 
</table>

### 3、重复次数 ###

# 四、python中正则表达式模块-------re #

## 一、re的使用步骤 ##

第一步: 使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象

第二步:通过Pattern对象提供的一系列方法对文本进行匹配查找,获取匹配结果,一个Match对象

第三步:最后使用Match对象提供的属性和方法获取信息,根据需要进行其他的操作

**import re**

### 1、将正则表达式编译成一个pattern对象 ###

pattern = re.compile(
    			r'正则表达'，
    			'匹配模式')

re.S----.可以匹配换行符—.现在啥都能匹配了。

re.I—忽略大小写

### 2、pattern对象有以下几个方法： ###

（1）**match：从头开始匹配，只匹配一次，返回match对象**

Match = pattern.match(
    	string,#要匹配的目标字符串
    	pos,#要匹配目标字符串的起始位置（可选）
    	endpos#结束位置（可选）
    )
    
    #match对象属性
    #1、取内容
    print(m3.group(0))
    #2、取匹配范围
    print(m3.span(0))
    # 3、取起始位置
    print(m3.start(0),m3.end())

**（2）search:从任意位置匹配，只匹配一次，返回match的对象**

Match = pattern.search(
    	string,#要匹配的目标字符串
    	pos,#要匹配目标字符串的起始位置（可选）
    	endpos#结束位置（可选）
    )

**（3）findall：全文匹配，匹配多次，返回list。**

list= pattern.findall(
    	string,#要匹配的目标字符串
    	pos,#要匹配目标字符串的起始位置（可选）
    	endpos，#结束位置（可选）
    )

**(4)finditer：全文匹配，匹配多次，返回可迭代对象**

补充：

可迭代对象和迭代器。

可迭代对象：——iter——

迭代器：——next——，——iter——

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExMzA5NTI1ODAy_size_16_color_FFFFFF_t_70_pic_center 1]

**对于可迭代对象，我们都是通过for循环来进行遍历获取数据的。**

## 二、贪婪模式与非贪婪模式 ##

1、贪婪和非贪婪是对数量控制符的限时，作用对象就是数量控制符。

2、贪婪表示数量控制符取最大值，非贪婪表示数量控制符取最小值。

3、正则模式数量控制符取最大值也是默认贪婪模式。非贪婪需要通过？来控制。

\d+？

4、非贪婪主要用于精确查找。

import re
    
    # p1 = re.compile(r'ab*')#[0,3]
    p1 = re.compile(r'ab*?')#[0,3]
    r1 = p1.findall('abbbc')
    # print(r1)
    #在非贪婪的情况下，就取最小值：0
    
    p3 = re.compile(r'ab+?')#[1,3]
    r3 = p3.findall('abbbc')
    print(r3)
    # p4 = re.compile(r'ab?')
    p5 = re.compile(r'ab??')#[0,1]
    r5 = p5.findall('abbbc')
    print(r5)

import re
    
    s = 'aa<div>test1</div>bb<div>test2</div>cc'
    pattern1 = re.compile('<div>.*</div>')#[5,24]
    pattern2 = re.compile('<div>.*?</div>')#[5,24]
    result1 = pattern1.findall(s)
    result2 = pattern2.findall(s)
    print(result1) #['<div>test1</div>bb<div>test2</div>']
    print(result2) #['<div>test1</div>']
    #.*?---

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExMzA5NTI1ODAy_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b60c3ee0607c440083de1c2acc094e09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExMzA5NTI1ODAy_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1a0f91d782f04d08b1ef4ef405598222.png