Python使用xpath爬取数据返回空列表解决方案

Dear 丶 2021-12-12 12:17 999阅读 0赞

版权声明：本文为博主原创文章，转载请注明出处：                        https://blog.csdn.net/SL_World/article/details/84893957                    </div>
                                                    <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                                        <div id="content_views" class="markdown_views prism-atom-one-dark">
                    
                    <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                        <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                    </svg>
                                            <blockquote>

笔者以爬取**2018年AAAI人工智能顶会**论文元数据为例。其中包括标题(title)和摘要(abstract)等字段

# 前言： #

**首先需要查看该网页是否可以爬取，通过在URL后加入`/robots,txt`可以查看。**

# ①`tbody`问题 #

**URL**:[2018AAAI的第一篇论文元数据页面][2018AAAI] 页面如下：  
![2323][]

笔者通过谷歌浏览器选取上图红框内容的xpath如下：

from lxml import etree
    import requests
    url = 'https://aaai.org/ocs/index.php/AAAI/AAAI18/rt/metadata/16583/0/'
    response = requests.get(url)
    html = response.content
    data = etree.HTML(html).xpath('//*[@id="content"]/table/tbody/tr[4]/td[4]/text()')
    print(data)
    
     
      
     
      
       1
       2
       3
       4
       5
       6
       7

返回结果是一个**空列表**  
![2323434][]  
经查询得知原因是：**浏览器会对html文本进行一定的规范化，所以会自动在路径中加入`tbody`，导致读取失败，在此处直接在路径中去除`tbody`即可。**  
**正确xpath：**

data = etree.HTML(html).xpath('//*[@id="content"]/table/tr[4]/td[4]/text()')
    
     
      
     
      
       1

# ②URL问题 #

**URL**:[2018AAAI的第一篇论文页面][2018AAAI 1]  
![675][]  
笔者通过谷歌浏览器选取上图红框内容的xpath如下：

from lxml import etree
    import requests
    url = 'https://aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16065'
    response = requests.get(url)
    xml = response.content
    data = etree.HTML(xml).xpath('//*[@id="abstract"]/div/text()')
    
     
      
     
      
       1
       2
       3
       4
       5
       6

返回结果是一个**空列表**  
**1.首先查看是否成功获取了`XML`**  
可见成功获取了`xml`，说明请求服务器成功获得响应。但仔细查看获取的`xml`发现里面没有相关的摘要和作者相关信息。肯定也就无法通过`xpath`获取摘要文本。逐步查看`xml`发现里面有一条URL和请求的URL很相似，点进去发现两个URL是同一个页面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NMX1dvcmxk_size_16_color_FFFFFF_t_70]  
发现第二个URL路径中多了一个`Paper`字段。

'https://aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16065'
    'https://aaai.org/ocs/index.php/AAAI/AAAI18/paper/viewPaper/16065'
    
     
      
     
      
       1
       2

尝试请求第二个URL后发现返回了完整的包含网页摘要、作者标题等信息的`XML`，遂成功爬取到该网页的摘要。  
![62][]

# 补充： #

## ①建议使用`requests.content` ##

**建议获取请求得到的响应用`requests.content`返回二进制响应内容,使用`requests.text`可能会出现编码声明不支持问题**

xml = response.content
    
     
      
     
      
       1

![11][]

## ②建议加入请求头(headers) ##

以模拟浏览器登录

from lxml import etree
    import requests
    headers = { 
        'Cookie':'OCSSID=4df0bjva6j7ejussu8al3eqo03',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
                     ' (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }
    url = 'https://aaai.org/ocs/index.php/AAAI/AAAI18/rt/metadata/16583/0/'
    response = requests.get(url,headers=headers)
    html = response.content
    data = etree.HTML(html).xpath('//*[@id="content"]/table/tbody/tr[4]/td[4]/text()')
    print(data)
    
     
      
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12

获取请求头，使用谷歌浏览器可获取，一般选取`User-Agent`，`Cookie`等字段，使用浏览器登录某个网页时，需要向服务器端发出请求，请求头就包含自己使用的浏览器的相关信息。相关介绍见：[百度百科][Link 1]

![61][]

</div>
                <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
                    </div>

[2018AAAI]: https://aaai.org/ocs/index.php/AAAI/AAAI18/rt/metadata/16583/0/
[2323]: /images/20211211/8f1c80685c954a43b3a51d33900e5eb3.png
[2323434]: /images/20211211/166b33aa38be4fa2a222246243d0c007.png
[2018AAAI 1]: https://aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16065
[675]: /images/20211211/550993ee5fd0483d9652b1cd1c61571b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NMX1dvcmxk_size_16_color_FFFFFF_t_70]: /images/20211211/c0823f31e2744594af4c1426ab8c29ac.png
[62]: /images/20211211/cf1d12d8a3974391ac508a5fe0c062ef.png
[11]: /images/20211211/7d94e2f3069446d4b8d19515f328db2d.png
[Link 1]: https://baike.baidu.com/item/http%E8%AF%B7%E6%B1%82%E5%A4%B4/6623287
[61]: /images/20211211/91789f3f31b44c3babdb9bed157199c1.png