Python爬虫实战：抓取博客文章列表

电玩女神 2022-11-05 01:57 265阅读 0赞

本文节选自《Python爬虫技术：深入理解原理、技术与开发》。

![197cf1e5a091586e07209453d1556bf7.png][]

本文将实现可以抓取博客文章列表的定向爬虫。定向爬虫的基本实现原理与全网爬虫类似，都需要分析HTML代码，只是定向爬虫可能并不会对每一个获取的URL对应的页面进行分析，即使分析，可能也不会继续从该页面提取更多的URL，或者会判断域名，例如，只抓取包含特定域名的URL对应的页面。

这个例子抓取博客园（https://www.cnblogs.com)首页的博客标题和URL，并将博客标题和URL输出到Console。

编写定向爬虫的第一步就是分析相关页面的代码。现在进入博客园页面，在页面上单击鼠标右键，在弹出菜单中单击“检查”菜单项打开开发者工具，然后单击开发者工具左上角黑色箭头，并用鼠标单击博客园首页任意一个博客标题，在开发者工具的Elements面板会立刻定位到该博客标题对应的HTML代码，图1中黑框内就是包含博客园首页所有博客标题以及相关信息的HTML代码。

![12291b285a56fea787a510c966521d8e.png][]

图1 博客标题以及相关信息对应的HTML代码

接下来让我们分析相关的HTML代码。为了更容易识别相关的代码，将第一条博客相关的HTML代码提出来，如下所示：

<div class="post_item">
      ... ...    
      <div class="post_item_body">
        <a class="titlelnk" href="https://www.cnblogs.com/5ishare/p/10407226.html" target="_blank">Docker容器Tomcat部署war包</a>     
        ... ...                           
      </div>
      ... ...
    </div>

从这段代码中可以找到很多规律，例如，每条博客的所有信息都包含在一个<div>节点中，这个<div>节点的class属性值都是post\_item，每一条博客的标题和URL都包含在一个<a>节点中，这个<a>节点的classs属性值是titlelnk。根据这些规律，很容易过滤出我们想要的信息。由于本例只需要得到博客的标题和URL，所以只关注<a>节点即可。

本例的基本原理就是通过正则表达式过滤出所有class属性值为titlelnk的<a>节点，然后从<a>节点中提炼出博客标题和URL。

from urllib3 import *
    from re import *
    http = PoolManager()
    # 禁止显示警告信息
    disable_warnings()
    # 下载url对应的Web页面
    def download(url):
        result = http.request('GET', url)
        # 获取Web页面对应的HTML代码
        htmlStr = result.data.decode('utf-8')
        return htmlStr
    # 分析HTML代码
    def analyse(htmlStr):
        # 通过正则表达式获取所有class属性值为titlelnk的<a>节点
        aList = findall('<a[^>]*titlelnk[^>]*>[^<]*</a>',htmlStr)
        result = []
        # 提取每一个<a>节点中的URL
        for a in aList:
            # 利用正则表达式提取<a>节点中的URL
            g = search('href[\s]*=[\s]*[\'"]([^>\'""]*)[\'"]', a)
            if g != None:
                url = g.group(1)  # 得到URL
            # 通过查找的方式提取<a>节点中博客的标题
            index1 = a.find(">")
            index2 = a.rfind("<")
            # 获取博客标题
            title = a[index1 + 1:index2]
            d = {}
            d['url'] = url
            d['title'] = title
            result.append(d)
        # 返回一个包含博客标题和URL的对象
        return result
    # 抓取博客列表
    def crawler(url):
        html = download(url)
        blogList = analyse(html)
        # 输出博客园首页的所有博客的标题和URL
        for blog in blogList:
            print("title:",blog["title"])
            print("url:",blog["url"])
    # 开始抓取博客列表
    crawler('https://www.cnblogs.com')

程序运行结果如图2所示。

![9c04fda7b9a4dd64792c226eb3e36ecf.png][]

图2  抓取博客列表的效果

本例在提取<a>节点以及URL时使用了正则表达式，而提取博客标题时直接通过Python语言的字符串搜索功能实现的。其实过滤HTML代码的方式非常过，包括普通的字符串搜索API，正则表达式，以及后面要学习的XPath、Beautiful Soup、pyquery。读者可以根据实际情况来选择过滤方式。例如，过滤规则比较简单，就可以直接用Python语言的字符串搜索API进行过滤，如果过滤规则非常复杂，可以利用Beautiful Soup和XPath来完成任务。

\- EOF -

推荐阅读  点击标题可跳转

[卧槽，好强大的魔法，竟能让Python支持方法重载][Python]

[Python装饰器（decorator）不过如此，是我想多了][Python_decorator]

[这样合并Python字典，可以让程序的运行效率提高4倍][Python_4]

[Python字典不是不可以排序，是你方法没用对！][Python 1]

[文件侠告诉你，Python复制文件的N种姿势！][Python_N]

[Python代码可以加密吗？Python字节码告诉你！][Python_Python]

[使出Python的六脉神剑，让Python拥有无限扩展性][Python_Python 1]

[看我用元类（metaclass）花式创建Python类][metaclass_Python]

[你不知道\_\_name\_\_变量是什么意思吗？][name]

[Python生成器（Generator）最完美解释][Python_Generator]

关注「极客起源」公众号，加星标，不错过精彩技术干货

![124b1dd9b91eed1c1b502ed7f6c12b27.png][]

[197cf1e5a091586e07209453d1556bf7.png]: /images/20221023/6217d584d94245b1be09a557d35926e4.png
[12291b285a56fea787a510c966521d8e.png]: /images/20221023/592147ad53a1429f82ca2b35664244fc.png
[9c04fda7b9a4dd64792c226eb3e36ecf.png]: /images/20221023/a807ba007c224ed0a2ec41e45c17ca27.png
[Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f3b8a1eb62d3c68093e7bbc4664c877b9a1d561eae2fe28cc15b5ff97897578d43e3b65&idx=1&mid=2651365837&scene=21&sn=a50df8971721c4298579d98aa7db0011#wechat_redirect
[Python_decorator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f568a1eb6400427ed936f0ba73feb70ef139da1a650529ac1d0606a69bee9aeaa6f5547&idx=1&mid=2651365792&scene=21&sn=9d969fea7030c5b6ffca79461be88ffd#wechat_redirect
[Python_4]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f948a1eb682cbbd11beac44afb562f92716142b61b286a95d44247fb0d421f062396460&idx=1&mid=2651365730&scene=21&sn=4ef4ab8e3f0dff7fa79fe8fffec0f088#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f988a1eb68e3125393946e6050d9224c497324a082998ffd35f1876fe5f864d0b335b2e&idx=1&mid=2651365742&scene=21&sn=8d79163bb7b2d1b1a2132d10dbe75245#wechat_redirect
[Python_N]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb88a1eb6ae7b88f6943e7852693856ec5d94e0ae365ef3b4ba2dfd3c8df9e05c75eb2e&idx=1&mid=2651365710&scene=21&sn=fee949a85ccf358ee151f582e4a110a2#wechat_redirect
[Python_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb68a1eb6a02a55a3387e881009abbffa24d3f128fee9715ee7d1184378fe816699a3b1&idx=1&mid=2651365696&scene=21&sn=b3e8106e2a5b49ed8a36014a89b814be#wechat_redirect
[Python_Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e4e8a1eb7587daf3d596210cd7ebb9abc53253da2757798a8232cea7c4e40b2caec5de4&idx=1&mid=2651365560&scene=21&sn=dfa01f756026cd4783f78289f47908e3#wechat_redirect
[metaclass_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e518a1eb747ba5bfb1c95b7734ba6f003a3629c904e929265a28e2b7379064e05f4a59b&idx=1&mid=2651365543&scene=21&sn=49d128105f9cf0e60e6f29d37f4042db#wechat_redirect
[name]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e6d8a1eb77b7ea2c3dd5bc34365f6f16a9e311b171777275faf91ed355e73e4ce080580&idx=1&mid=2651365531&scene=21&sn=b13ae5e0b8b6513eb2b9ea37d7941643#wechat_redirect
[Python_Generator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e748a1eb762e07dcf354ac469e727e305d62b33647c833480ca09e407fec913ef4820c7&idx=1&mid=2651365506&scene=21&sn=7a8f298b48bec412b279188e9033853e#wechat_redirect
[124b1dd9b91eed1c1b502ed7f6c12b27.png]: /images/20221023/8ea6165a0fb645778ceb7961fc11262d.png