Python爬虫-xpath

爱被打了一巴掌 2022-05-23 12:40 285阅读 0赞

# Python爬虫-xpath #

*  Python爬虫-xpath
    
     *  说明
     *  再说明
     *  插件推荐
     *  语法讲述
     *  举栗子
     *  代码里使用
     *  实战句子迷
     *  需要的总结：

## 说明 ##

关于Python爬虫请求数据方面的知识点基本讲完，但请求到数据之后呢？  
当然是提取数据，抓出对我们有价值的内容是整个爬虫流程的关键步骤之一。现下流行方法有：xapth，BeautifulSoup，正则，PyQuery。如无意外，我会一一笔记下来。今天说说我的最爱吧。  
——xpath

## 再说明 ##

一般情况下，我们爬到的是整个静态网页页面，得到的是html源码，包含各种标签。但那些标签并非我们想要，如：  
![这里写图片描述][70]  
我们只需要里边的文字，这种时候就可以xpath了。如上所说，类似的解决方法包括正则以及BeautifulSoup，前者难度较大，后者广受追捧。从解析速度上说，正则最快，xpath次之，BeautifulSoup再次之；从上手难度来说，BeautifulSoup最易，xpath次之，正则再次之。综合考虑，我偏爱xpath。也有人推崇PyQurey，认为比起繁琐的“美丽汤”语法，它短小精悍，而且如果使用者是前端工程师，掌握起来不需要耗费任何学习成本。这大概因为PyQurey的语法源于JQurey吧。

## 插件推荐 ##

基于chrome浏览器的插件，它可以让我们提前看到提取效果，使用快捷键`ctrl+shift+x`  
![这里写图片描述][70 1]

## 语法讲述 ##

只说常用的：  
1. `/`从根节点开始  
2. `//`从任意位置开始  
`可以这样理解两个的区别，前者从顶端开始，且前者的左右必须是紧邻的标签；后者任意位置开始，且左右间的标签允许存在间隔`  
3. `div/p` div标签下的p标签  
4. 提取标签中某个属性的值 `div/img/@某个属性`  
5. 确定带有a属性且值为b的div标签`//div[@a="b"]`  
6. 如果需要取出标签中的文字`//span/text()`  
7. 模糊查询 `//div/a[contains(@某属性, "对应属性的部分值")]`  
8. 多个相同标签用索引方式定位，表示div下div下的第3个a标签 ：`//div/div/a[3]`

## 举栗子 ##

1.  以腾讯社招为例  
    ![这里写图片描述][70 2]  
    可以发现tr的class值不同，而属性href只有数字部分不同，此时想要获取a标签中的字符串两种方法  
    a) 模糊查询  
    `//tbody/tr/td/a[contains(@href, "position")]`  
    ![这里写图片描述][70 3]  
    b) “|”或  
    `//tbody/tr[@class="even"]//a | //tbody/tr[@class="odd"]//a`  
    ![这里写图片描述][70 4]

## 代码里使用 ##

from lxml import etree
    # 实例化一个对象
    selector = etree.HTML(response.text)
    # 通过选择器进行筛选
    result = selector.xpath("规则")

**说明：返回的result是列表类型，如果没有提取到符合规则的信息会返回空列表**

## 实战句子迷 ##

页面呈现如下，要求：获取每个句子，以及“喜欢”量，以及“评论”数  
![这里写图片描述][70 5]

import requests
    from lxml import etree
    import json
    
    
    url = "http://www.juzimi.com/search/node/%E5%82%B2%E6%85%A2%E4%B8%8E%E5%81%8F%E8%A7%81%20type%3Asentence"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
        "Referer": "http://www.juzimi.com/search/node/%E5%82%B2%E6%85%A2%E4%B8%8E%E5%81%8F%E8%A7%81%20type%3Asentence",
    }
    
    def get_html(params):
        """ 获取html页面 """
        try:
            response = requests.get(url, params=params, headers=headers)
            response.raise_for_status()
            print(response.url)
            print(response.status_code)
        except ：
            print("connection error")
            return None
    
        response.encoding = response.apparent_encoding
        return response.text
    
    def parse_html(html):
        """ 处理html页面，提取需要数据 """    
        data = {}
        selector = etree.HTML(html)
        # 构建xpath规则
        ruler = '//div[@class="view-content"]/div[contains(@class, "views-row")]'
        roots = selector.xpath(ruler) #拿到根对象的列表，可以对这个列表中的成员继续xpath
        # 由于这次是在win上测试，所以文件打开设定编码方式为utf-8
        with open("sentence.txt", "a", encoding="utf-8") as ob:
            for root in roots:
                try:
                    data["sentence"] = root.xpath('./div/div[1]/a/text()')[0] #句子
                    data["loved"] = root.xpath('./div/div[3]/a/text()')[0] # 喜欢
                    data["comment"] = root.xpath('./div/div[5]/a/text()')[0] # 评论
                except IndexError:
                    # 处理第一页的杂质问题
                    continue
                # 关闭默认的ascii编码
                ob.write(json.dumps(data, ensure_ascii=False))
                ob.write("\n")
    
    
    def main():
        for i in range(4):
            if i:
                params = {
       "page":i}
            else:
                # 第一页的url地址比较特别，所以单独处理
                params ={}
            html = get_html(params)
            if html:
                parse_html(html)
        print("结束")
    
    if __name__ == "__main__":
        main()

结果：  
![这里写图片描述][70 6]

## 需要的总结： ##

原本没打算总结的。原本只是做一次用xpath提取数据的示范。以为像句子迷这样的小网站爬起来会很容易，确实是，却也不是。  
网页静态呈现，需要的数据都可以通过xpath直接拿到。主要遇到的问题是该网站设置了重定向，就是说直接访问我设置的url地址时，会被重定向到另一个地址去。根据xpath没拿到返回值这一现象，我打印了实际请求地址，结果显示的确被重定向了。我当然第一反应关闭了 get请求中的重定向开关。这之后拿不到数据，状态码返回302。特地百度一下，302是暂时性重定向的意思，它的危害性比较大，主要是可能被黑客利用进行url劫持，也可能恶意刷网站排名，被建议尽量不用或少用。  
**正确处理方式：**请求报文头中一定要加`Referer`值。老实说，之前也爬过一些大型网站，Referer值从来不带的，这次是长知识了。

[70]: /images/20220523/f98d288f406747f48c07073a072b3201.png
[70 1]: /images/20220523/2df3793085664d8c9043ff6287b6f07f.png
[70 2]: /images/20220523/d9c016ae5cf04d818807bc0355a7de09.png
[70 3]: /images/20220523/c37ee6e9e5384b6f90a05d555b78e3ec.png
[70 4]: /images/20220523/7f1f347ccce64c2ba409164d331a78e1.png
[70 5]: /images/20220523/61f3ee8dc98d4f97a71f9394eee70643.png
[70 6]: /images/20220523/e9cd285f37b24082aa4fd52df54aaf69.png