Python 爬虫——爬取文章自动发送QQ群

旧城等待， 2021-07-25 22:54 597阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70]

--------------------

QQ 1285575001  
Wechat M010527  
技术交流 QQ群599020441  
纪年科技aming

--------------------

##### Python的re模块 正则表达式 #####

###### 正则表达式处理函数 ######

特殊的字符序列 检查一个字符串是否与某种模式匹配  
测试字符串内的模式。  
—— 例如，可以测试输入字符串，以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。  
替换文本。  
—— 可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。  
基于模式匹配从字符串中提取子字符串。  
—— 可以查找文档内或输入域内特定的文本。

贪婪模式和非贪婪模式

正则表达式通常使用于查找匹配字符串。  
python里数量词默认是贪婪的，总是尝试匹配尽可能多的字符；  
非贪婪模式正好相反，总是尝试匹配尽可能少的字符。  
使用非贪婪模式的话，只需要在量词后面直接加上一个问号”?”。  
贪婪模式可以与固化分组结合，提升匹配效率，而非贪婪模式却不可以。

方法/属性 作用

match()	只检查 RE 是否在字符串刚开始的位置匹配 
    只报告一次成功的匹配，它将从 0 处开始； 不是从 0 开始的 ，不会报告
    search()	扫描整个字符串，找到这个 RE 匹配的位置  
    findall()	找到 RE 匹配的所有子串，并把它们作为一个列表返回
    finditer()	找到 RE 匹配的所有子串，并把它们作为一个迭代器返回

###### \- 如果匹配成功则返回一个Match Object对象，该对象有以下属性、方法： ######

方法/属性 作用

group()	返回re整体匹配的字符串
    	可以一次输入多个组号，对应组号匹配的字符串
    	group (n,m) 返回组号为n，m所匹配的字符串，如果组号不存在，则返回indexError异常
    start()	返回匹配开始的位置
    end()	返回匹配结束的位置
    span()	返回一个元组包含匹配 (开始,结束) 的位置

re.compile  
　　可以把正则表达式编译成一个正则表达式对象。  
　　可以把那些经常使用的正则表达式编译成正则表达式对象，这样可以提高一定的效率。

re.findall 以列表形式 获取字符串中 返回所有匹配的字符串  
　 Python 2.2中，也可以用 finditer() 方法

re.split 以列表形式返回分割的字符串

re.sub 替换所有的匹配项，返回一个替换后的字符串，如果匹配失败，返回原字符串

re.search 在字符串内查找匹配，找到第一个匹配，返回Match Object，或None

##### 语法 #####

'.'     匹配所有字符串，除\n以外
    '-'     表示范围[0-9]
    '*'     匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。
    '+'     匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+
    '^'     匹配字符串开头
    '$'     匹配字符串结尾 re
    '\'     转义字符， 使后一个字符改变原来的意思，如果字符串中有字符*需要匹配，可以\*或者字符集[*] re.findall(r'3\*','3*ds')结['3*']
    '*'     匹配前面的字符0次或多次 re.findall("ab*","cabc3abcbbac")结果：['ab', 'ab', 'a']
    '?'     匹配前一个字符串0次或1次 re.findall('ab?','abcabcabcadf')结果['ab', 'ab', 'ab', 'a']
    '{m}'   匹配前一个字符m次 re.findall('cb{1}','bchbchcbfbcbb')结果['cb', 'cb']
    '{n,m}' 匹配前一个字符n到m次 re.findall('cb{2,3}','bchbchcbfbcbb')结果['cbb']
    '\d'    匹配数字，等于[0-9] re.findall('\d','电话:10086')结果['1', '0', '0', '8', '6']
    '\D'    匹配非数字，等于[^0-9] re.findall('\D','电话:10086')结果['电', '话', ':']
    '\w'    匹配字母和数字，等于[A-Za-z0-9] re.findall('\w','alex123,./;;;')结果['a', 'l', 'e', 'x', '1', '2', '3']
    '\W'    匹配非英文字母和数字,等于[^A-Za-z0-9] re.findall('\W','alex123,./;;;')结果[',', '.', '/', ';', ';', ';']
    '\s'    匹配空白字符 re.findall('\s','3*ds \t\n')结果[' ', '\t', '\n']
    '\S'    匹配非空白字符 re.findall('\s','3*ds \t\n')结果['3', '*', 'd', 's']
    '\A'    匹配字符串开头
    '\Z'    匹配字符串结尾
    '\b'    匹配单词的词首和词尾，单词被定义为一个字母数字序列，因此词尾是用空白符或非字母数字符来表示的
    '\B'    与\b相反，只在当前位置不在单词边界时匹配
    []      是定义匹配的字符范围。比如 [a-zA-Z0-9] 表示相应位置的字符要匹配英文字符和数字。[\s*]表示空格或者*号
    '(?P<name>...)'  分组，除了原有编号外在指定一个额外的别名

re.search("(?P\[0-9\]\{4\})(?P\[0-9\]\{2\})(?P\[0-9\]\{8\})",“371481199306143242”).groupdict(“city”)

结果\{‘province’: ‘3714’, ‘city’: ‘81’, ‘birthday’: ‘19930614’\}

#### 反斜杠的困扰 ####

python 的字符串中，  
\\ 是被当做转义字符的。

在正则表达式中，\\ 也是被当做转义字符。

这就导致了一个问题：  
如果你要匹配 \\ 字符串，那么传递给 re.compile() 的字符串必须是"\\\\"。

由于字符串的转义，  
所以实际传递给 re.compile() 的是"\\"，然后再通过正则表达式的转义，  
“\\” 会匹配到字符""。

这样虽然可以正确匹配到字符 \\，但是很麻烦，而且容易漏写反斜杠而导致 Bug。那么有什么好的解决方案呢？

原始字符串很好的解决了这个问题，通过在字符串前面添加一个r，  
表示原始字符串，不让字符串的反斜杠发生转义。  
那么就可以使用r"\\"来匹配字符\\了。

正则表达式实例

[Pp]ython           匹配 "Python" 或 "python"    
    rub[ye]               匹配 "ruby" 或 "rube"          
    [aeiou]               匹配中括号内的任意一个字母     
    [0-9]                   匹配任何数字。类似于 [0123456789]
    [a-z]                   匹配任何小写字母                 
    [A-Z]                  匹配任何大写字母                 
    [a-zA-Z0-9]        匹配任何字母及数字         
    [^aeiou]              除了aeiou字母以外的所有字符  
    [^0-9]                 匹配除了数字外的字符

特殊字符类

.                  匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。    
    \d                匹配一个数字字符。等价于 [0-9]。                                                       
    \D                匹配一个非数字字符。等价于 [^0-9]。                                                    
    \s                匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。                 
    \S                匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。                                            
    \w                匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。                                   
    \W               匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 1]

#### lxml中etree ####

*  xpath解析DOM树 ( XPath是一门在 XML文档中查找信息的语言)
 *  方法：etree.HTML()和etree.tostrint()

1.  解析字符串格式的HTML文档对象，  
    将传进去的字符串转变成\_Element对象。  
    作为\_Element对象，  
    可以方便的使用getparent()、remove()、xpath()等方法

2.用来将\_Element对象转换成字符串。  
一般通过简单的xpath表达式无法得到想要的内容的时候我就会用该方法

##### 采用的etree去选取对应的xpath #####

组合成文档  
(这边可将获取的html写入本地文件，看看是不是可以直接获取值得)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 2]

– url 访问

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 3]

import urllib.request
    
    url = "https://www.t00ls.net/"
    res = urllib.request.Request(url)
    resfind = urllib.request.urlopen(res)
    data = resfind.read().decode('utf-8')
    print(data)

*  xpath语法  
    [xxxooo][]
 *  BeautifulSoup  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 4]

import urllib.request
    from bs4 import BeautifulSoup
    
    url = "https://www.t00ls.net/"
    res = urllib.request.Request(url)
    resfind = urllib.request.urlopen(res)
    data = resfind.read().decode('utf-8')
    
    soup = BeautifulSoup(data, 'html.parser') 
    # print(soup)
    for k in soup.find_all('a'):
        #print(k)
        #查找href标签
        link=k.get('href')
        print(link)

#### requests.get()参数 ####

查询参数-params  
1.参数类型 ： 字典,字典中键值对作为查询参数

2.使用方法

1、res = requests.get(url,params=params,headers=headers)  
2、特点:

*  url为基准的url地址，不包含查询参数
 *  该方法会自动对params字典编码,然后和url拼接

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 5]

#### web客户端验证 参数-auth ####

1.作用类型

1、针对于需要web客户端用户名密码认证的网站  
2、auth = (‘username’,‘password’)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 7]

from urllib import request
    from bs4 import BeautifulSoup
    import numpy as np
    
    url = "https://tophub.today/"
    headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
    res = request.Request(url,headers=headers)
    page = request.urlopen(res).read().decode('utf-8')
    soup = BeautifulSoup(page, 'html.parser')
    titles = soup.find_all('span', 't')
    urls  = soup.find_all('a', rel='nofollow')
    urllink = []
    for url in urls:
        xll = url.get('href')
        urllink.append(xll)
    titlink = []
    for title in titles:
        tit = title.get_text()
        titlink.append(tit)
    for i in range(4):
        del urllink[0]
    x = { }
    x[0] = urllink
    x[1] = titlink
    y1 = zip(x[0],x[1]) #py3改动
    finish = []
    for xx in y1:
        xxx = np.array(xx).flatten()
        # finish.extend(xxx)
    # finish.extend(np.array(xx).flatten()) 
    # print(finish)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70]: /images/20210725/d240468c831d455d833c9a76f6b20097.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 1]: /images/20210725/f0f8ea4f0a2b44ce880fa40af911445e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 2]: /images/20210725/a176d76c5c854cd082b98dad30eae8e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 3]: /images/20210725/d11529f2dbb048889383057b1f24e53a.png
[xxxooo]: http://www.w3school.com.cn/xpath/xpath_syntax.asp
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 4]: /images/20210725/799d34e84ca844a4b4b895f8589a5904.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 5]: /images/20210725/bc460a7210a54f8e99a2490481318227.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 6]: /images/20210725/77b7b8a1843c4f93984b8d3442f7e425.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNjA4MDAw_size_16_color_FFFFFF_t_70 7]: /images/20210725/61a18c945c274c29a431f00555f63a32.png