python3爬虫(基于requests、BeautifulSoup4)之项目实战(二)

清疚 2022-05-18 03:19 488阅读 0赞

紧接着上期话题，我在这里为大家详细解释一下BeautifulSoup的用法

soup=BeautifulSoup(res.text,'html.parser')

当我们获取了soup内容后该如何随心所欲的抓取自己想要的内容呢?  
我在这里给大家介绍几个方法：  
1.soup.select(’.class’):  
这个方法可以返回特定div class下的内容

import requests
    from bs4 import BeautifulSoup
    
    def getInfo(url):
        res=requests.get(url)
        res.encoding='utf-8'
        soup=BeautifulSoup(res.text,'html.parser')
        results=soup.select('.intim')
        for result in results:
            print(result.text)
    
    if __name__ == '__main__':
        url='http://jwc.tyut.edu.cn/'
        getInfo(url)

这样写我可以返回 div class叫intim下的所有内容，部分结果如下：  
![这里写图片描述][70]

--------------------

2.soup.select(’\#id’):  
这个方法可以返回特定div id下的内容

results=soup.select('#select')

部分结果如下：  
![这里写图片描述][70 1]

--------------------

3.那么我想进一步获取特定div 特定标签下的内容呢?  
BeautifulSoup支持嵌套结构  
比如我想获得intmc class下的a标签的title内容：

results=soup.select('.intmc a')
        for result in results:
            print(result['title'])

结果部分如下：  
![这里写图片描述][70 2]

## 今天的实战就到这里了，我们下期再见！ ##

[70]: /images/20220518/5071aed7c9f3401fb5623c8fa7f7af86.png
[70 1]: /images/20220518/eedafd45b2d94b2db2a4b551f2a1fbe2.png
[70 2]: /images/20220518/adc1b4a95e734c59ad9f92528ba2c01d.png