Python爬取练习：指定百度搜索的内容并提取网页的标题内容

约定不等于承诺〃 2022-12-25 09:58 441阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章源于白菜学python ，作者小白菜

刚接触Python的新手、小白，可以复制下面的链接去**免费观看Python的基础入门教学视频**

https://v.douyu.com/author/y6AZ4jn9jwKW

![12261098d412e8ff93e66040110f5a26.png][]

# 一、前言： #

hello，大家好。今天为大家带来的是之前分享过的requests库与lxml库的结合使用案例一：指定百度搜索的内容并提取网页的标题内容。好的，废话不多说，直接上主菜。

# 二、第一步：完成初步分析 #

下面我们来完成我们的第一步，分析我们的目标。大家可千万不要小看这一步哦，因为我们只有思路清晰才能在较短的时间里面写出漂亮的代码。

# **1.确定url：** #

首先，我们想要请求网页，必须知道我们的url（即网址）是什么。下面，我打开Chrome（谷歌）浏览器，并且打开百度页面，指定搜索“python”，得到下图结果：

![8d2d60d658b102e35bc9edb04e9f6c6e.png][]

我们看地址一栏，得到下面的结果：

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&fenlei=256&rsv_pq=e6c98fa60000b3c7&rsv_t=ff23ux%2Fo0HUBjQUrZDgdM9P%2FKpED%2BPhg%2BHbC6wUj0TJVJOIiQELff7EpXUc&rqlang=cn&rsv_dl=tb&rsv_enter=1&rsv_sug3=7&rsv_sug1=5&rsv_sug7=101&rsv_sug2=0&rsv_btype=i&inputT=1370&rsv_sug4=2044&rsv_sug=2

这么长的内容其实并不是我们都需要的（**当然你也可以选择不删除，直接使用这个url，但是这个太冗长了，我就不选择这么做了**），我们可以尝试去裁剪掉一些可能多余的字母。

当然我们去掉一些可能多余的项也不是乱去的，而是得有一定的依据，这里我们打开浏览器的开发者工具，可以按快捷键F12，或者鼠标右击选择检查。然后选择其中的Network项，再选择Network中的第一个文件。如下图操作：

![1c2363ca3bd31169a85d2faea1d4e890.png][]

![5527aeb38b93810b58ba67e556cb125a.png][]

然后观察右边，将滑动条拉至底部，你会发现，有一个wd：python的内容，显然，这个就是我们搜索的内容，那么我们就要根据这个提示来删除一些不必要的东西。

删除后得到下面的结果：

https://www.baidu.com/s?wd=python

然后使用这个url去访问，发现成功访问，好的这个就是我们需要的url。

# **2.确定headers参数内容：** #

这个简单，如果你之前看过我写的requests库教程，那么这个headers参数的确认可以直接跳过。

一般来说，我们写headers参数，优先只写User-Agent参数，当单独使用这个参数爬取失败的时候，可以考虑添加其他的headers参数，或者考虑是否是因为其他反爬措施的影响。

下面以图片和文字的方式讲解去哪里获取headers参数内容：

![1143f6bc876ee14bda89e5d20b108b8b.png][]

![4b0ebef13d893f9ec40a1444155c49cb.png][]

# 三、第二步：完成获取页面程序主体框架 #

写python程序，有时候很矛盾，是用面向对象呢？还是面向过程呢？其实都随意（我比较随意，因为没有人要求我必须使用什么写），这里我采取面向对象的方式来写这个程序。

# **1.首先，我们需要写出大体的框架：** #

#文件一
    import requests
    
    class MySpider(object):
        def __init__(self):
            self.url = 'http://www.baidu.com/s?wd={name}' #这里采用format的格式化输入
            self.headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
            }
    
        def main(self):
            #处理url
            self.target = input('请输入你感兴趣的内容：')
            self.url = self.url.format(name=self.target)  #重新构建url，大家测试的时候可以尝试打印
            #请求
            text = self.get() 
            #写入文件
            self.write(text)
    
        def get(self):
            '''请求并返回网页源代码'''
            pass
        
        def write(self,text):
            '''将返回的源代码写入文件，等待之后解析用'''
            pass
    
    if __name__ == '__main__':
        spider = MySpider()
        spider.main()

# **2.为什么需要写入文件，而不直接解析：** #

这里有几个原因。

1>我们写代码，一般来说都不可能一次写成功，总是需要修改和测试的。平时我们写代码，自然可以随意的测试运行，都可以检测代码是否正确，但是爬虫却不能这样。因为如果你在较短时间内访问了网站次数过多，可能会导致网站对你做出一些限制性举动，比如：增加验证码判断你是否为人类，严重点的短时间内封禁你的ip。因此，我们将网页源代码写入文件，这样在之后写解析代码的时候就不需要重新去访问网站了。

2>我们以html的形式写入文件，可以用浏览器打开这个文件，可以比较清晰的看出这个文件是否为我们需要爬取的文件。如下图是我爬取后存入的文件以谷歌浏览器打开的结果：

![7886a1977c57cf58e7c7433b60796f65.png][]

# 四、完成获取页面程序： #

下面我们来完成获取页面的程序代码：

# **1.完成请求函数get:** #

def get(self):
            '''请求并返回网页源代码'''
            response = requests.get(self.url,self.headers)
            if response.status_code == 200:
                return response.text

这个没什么好说的，是最基础的代码。

# **2.完成写入文件函数write:** #

def write(self,text):
     with open('%s.html'%self.target,'w',encoding='utf-8') as f:     #这里的self.target为输入搜索的内容
      f.write(text)

这个也只是文件的基本操作，没什么好讲解的地方，只是注意我们这里存入的为html文件，而不是txt文件。

# **3.检测是否正常运行以及是否为我们想要的结果：** #

这里检测的方式我前面已经提及，就是浏览器打开相应的页面即可。如下图操作：

![f2bc61b3e6b6f1349a9158e36196a94c.png][]

打开得到下面的结果：

![8c607c274da5ca90282b7fdfc2fb0b18.png][]

说明程序正常运行。

# 五、完成解析页面的大体框架和局部内容： #

# **1.完成解析页面程序的框架：** #

from lxml import etree
    
    class Parse(object):
        def __init__(self):
            #读取内容并且初始化
            with open('python.html','r',encoding='utf-8') as f:
                self.html = etree.HTML(f.read())
    
        #解析页面
        def parse(self):
            pass
    
    if __name__ == '__main__':
        parser = Parse()
        parser.parse()

# **2.完成解析函数parse：** #

下面我们来完成最后一步，解析函数的敲写。

首先我们需要分析下，我们想要获取的内容在什么标签里面。分析过程如图（**个人认为这部分比较重要，因为我初学的时候主要困惑于两点：如何处理失败的请求，解析的思路是什么**）

![4a93a239a529f06bc6dd70601cfe3374.png][]

![6c46a5c99137bbedbd976317f932aad6.png][]

![307a99bad7d9412336dd1c41ad2fea70.png][]

好的，分析清楚了我们需要的内容在哪里之后，可以使用lxml来写代码了，如下：

def parse(self):
        #获取url
        h3_tags = self.html.xpath('//h3[contains(@class,"t")]//text()')
        h3_tags = [i.strip() for i in h3_tags]
        print(h3_tags)

下面要做的工作就是处理这些字符串，但是这个并不是我们的重点，并且这些数据并不重要，所以就不处理了。

# 六、总结与全文代码： #

# **1.首先附上全文代码：** #

# -*- coding:utf-8 -*-
    
    #获取网页内容文件
    import requests
    
    class MySpider(object):
        def __init__(self):
            self.url = 'http://www.baidu.com/s?wd={name}'
            #写清楚获取headers途径
            self.headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
            }
    
        def main(self):
            #处理url
            self.target = input('请输入你感兴趣的内容：')
            self.url = self.url.format(name=self.target)
            #请求
            text = self.get()
            #写入文件
            # self.write(text)
    
        def get(self):
            '''请求并返回网页源代码'''
            response = requests.get(self.url,self.headers)
            if response.status_code == 200:
                return response.text
    
        def write(self,text):
            with open('%s.html'%self.target,'w',encoding='utf-8') as f:
                f.write(text)
    
    if __name__ == '__main__':
        spider = MySpider()
        spider.main()

# -*- coding:utf-8 -*-
    
    #解析页面文件
    
    from lxml import etree
    
    class Parse(object):
        def __init__(self):
            with open('python.html','r',encoding='utf-8') as f:
                self.html = etree.HTML(f.read())
    
        def parse(self):
            #获取标题
            h3_tags = self.html.xpath('//h3[contains(@class,"t")]//text()')
            h3_tags = [i.strip() for i in h3_tags]
            print(h3_tags)
    
    if __name__ == '__main__':
        parser = Parse()
        parser.parse()

# **2.总结：** #

好的，今天的分享就到此为止了。这是最基础的案例，主要目的是让大家先熟悉下，如何使用requests和lxml写一个爬虫程序，其次就是让大家熟悉下分析网站的思路。

好的，谢谢大家。

[12261098d412e8ff93e66040110f5a26.png]: /images/20221120/a9cc9ab540d443cf818a37457f2611f9.png
[8d2d60d658b102e35bc9edb04e9f6c6e.png]: /images/20221120/d6408e264cb049d1aee48670b1df54cb.png
[1c2363ca3bd31169a85d2faea1d4e890.png]: /images/20221120/6a586573ed614e029afd2475e7a72f3a.png
[5527aeb38b93810b58ba67e556cb125a.png]: /images/20221120/0636232f183349249439d184ac1e9916.png
[1143f6bc876ee14bda89e5d20b108b8b.png]: /images/20221120/83e2470d84fc4d4ebc01713bb344c833.png
[4b0ebef13d893f9ec40a1444155c49cb.png]: /images/20221120/1986ed7ad7214f2da9ba38a1a73d5d3d.png
[7886a1977c57cf58e7c7433b60796f65.png]: /images/20221120/202ea9e8a571425292f7b8aa85037eb4.png
[f2bc61b3e6b6f1349a9158e36196a94c.png]: /images/20221120/4e6aa0dc8a8b4789b062e75325facd9e.png
[8c607c274da5ca90282b7fdfc2fb0b18.png]: /images/20221120/8a221ae4c029406db59c059d3f90cff3.png
[4a93a239a529f06bc6dd70601cfe3374.png]: /images/20221120/0b2272a5b9ca40aa8ec90fda07a82233.png
[6c46a5c99137bbedbd976317f932aad6.png]: /images/20221120/3b8e24ba065c4993808ff13dbfe4807e.png
[307a99bad7d9412336dd1c41ad2fea70.png]: /images/20221120/344018261ce74e65afefd0e53e3709c3.png