实战|手把手教你用Python爬虫(附详细源码)

忘是亡心i 2024-04-25 08:58 9阅读 0赞

大家好，我是J哥，专注原创，致力于用浅显易懂的语言分享爬虫、数据分析及可视化等干货，希望人人都能学到新知识。最近J哥做了个爬虫小项目，感觉还挺适合新手入门的，于是迫不及待想分享给大家。

**什么是爬虫？**

实践来源于理论，做爬虫前肯定要先了解相关的规则和原理，要知道互联网可不是法外之地，你一顿爬虫骚操作搞不好哪天就…

![8f290ef6be280f037322a74b61bf8b0e.gif][]

首先，咱先看下爬虫的定义：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一句话概括就是网上信息搬运工。

我们再来看下爬虫应该遵循的规则：robots协议是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。一句话概括就是告诉你哪些东西能爬哪些不能爬。

了解了定义和规则，最后就是熟悉爬虫的基本原理了，很简单，作为一名灵魂画手，我画个示意图给你看下就明白了。

![18204cb38f3ad9b1ff9794633f175c29.png][]

(⊙o⊙)…尴尬，鼠标写字咋这么丑，都不好意思说自己学过书法，好一个脸字打得呱呱响。

**项目背景**

理论部分差不多讲完了，有些小朋友估计要嫌我啰嗦了，那就不废话，直接讲实操部分。本次爬虫小项目是应朋友需求，爬取中国木材价格指数网中的红木价格数据，方便撰写红木研究报告。网站长这样：

![105b21076e6292b726466c7df6fdff55.jpeg][]

所需字段已用红框标记，数据量粗略看了下，1751页共5万多条记录，如果你妄想复制粘贴的话，都不知道粘到猴年马月了。而python只要运行几分钟就能把所有数据保存到你的excel里，是不是很舒服？

![a107a4e2a5cd2fb0d6084539d87b1fa4.png][]

**项目实战**

工具：PyCharm

Python版本：Python 3.7

浏览器：Chrome (推荐)

对于第一次写爬虫的朋友可能觉得很麻烦，咱不慌，由浅入深，先爬一页数据试试嘛。

一

爬取一页

首先，我们需要简单分析下网页结构，鼠标右键点击检查，然后点击Network，刷新网页，继续点击Name列表中的第一个。我们发现此网站的请求方式为GET，请求头Headers反映用户电脑系统、浏览器版本等信息。

![15e864e6cd2f5a75dc7443dae6c33365.png][]

接着，把爬虫所需的库都pip安装一下并导入，所有库的功能都有注释。

import csv  #用于把爬取的数据存储为csv格式，可以excel直接打开的  
    import time  #用于对请求加延时，爬取速度太快容易被反爬  
    from time import sleep #同上  
    import random  #用于对延时设置随机数，尽量模拟人的行为  
    import requests  #用于向网站发送请求  
    from lxml import etree    #lxml为第三方网页解析库，强大且速度快

构造请求url，添加头部信息headers即复制前文标记的User-Agent，通过requests.get方法向服务器发送请求，返回html文本。添加headers目的在于告诉服务器，你是真实的人在访问其网站。如果你不添加headers直接访服务器，会在对方服务器显示python在访问，那么，你很可能会被反爬，常见的反爬就是封你ip。

url = 'http://yz.yuzhuprice.com:8003/findPriceByName.jspx?page.curPage=1&priceName=%E7%BA%A2%E6%9C%A8%E7%B1%BB'  
    headers = {  
        'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36",  
    }  
    response = requests.get(url, headers=headers, timeout=10)  
    html = response.text    
    print(html)

我们运行下以上代码，看下效果：

![148e0dc11bf7eb626afbb85908820a26.png][]

看到这个，第一次接触爬虫的朋友可能会有点懵。

![5bda37a33e85c1666ac7318ae284a9e4.gif][]

其实这就是网页源代码，咱们右键打开下源代码看一哈。

![289b2afbb480c44521626596c6b4f8c1.png][]

长这样：

![ff2b0abef52edfc9c216d9a7b69a53e5.png][]

而我们需要提取的数据，就潜藏在这网页源代码中，我们要用lxml库中的etree方法解析下网页。

parse = etree.HTML(html)  #解析网页

解析完之后，就可以开开心心的提取我们所需要的数据了。方法很多，比如xpath、select、beautiful soup，还有最难的re(正则表达式)。本文爬取的数据结构较为简单，就直接用xpath玩一下吧。

![9678fea9c6bd39b3eb0e7bf3b28a9f8f.gif][]

我们发现，每一行数据对应源码里的一个id=173200的tr，那就先把这些tr都提取下来。

all_tr = parse.xpath('//*[@id="173200"]')

有些小伙伴不会写xpath。

![ca28a587d1b2e04189585193ba1c7a91.gif][]

那就找个简单办法，直接copy所需的xpath。

![57021da42c3fac5af01efad873c81f6d.png][]

所有tr都提取下来了，接下来就得依次从tr里面提取具体字段了。比如提取商品名称字段，点开第一个tr，选中商品，copy其xpath。其他字段同理。

![37d6c8dac4492037834a5f1aea79d902.png][]

以下要注意几点，tr=\{key1 : value1, key2 : value2 \}是python的字典数据类型（你也可以根据自己兴趣或需要存为列表或元组类型）。‘’.join是指把获取到的列表转为字符串。./是指继承前面的//\*\[@id=“173200”\]，strip()表示对提取的数据进行简单的格式清洗。

for tr in all_tr:  
        tr = {  
            'name': ''.join(tr.xpath('./td[1]/text()')).strip(),  
            'price': ''.join(tr.xpath('./td[2]/text()')).strip(),  
            'unit': ''.join(tr.xpath('./td[3]/text()')).strip(),  
            'supermaket': ''.join(tr.xpath('./td[4]/text()')).strip(),  
            'time': ''.join(tr.xpath('./td[5]/text()')).strip()  
        }

咱们打印一下print(tr)，看下效果。

![a444a17b1f0bcf228365cde1a531ae68.png][]

此时，你的心情也许是这样的：

![38cf12a25a45719e718ab31d65f2ef52.gif][]

但还没完，数据有了，咱们还得保存csv格式到本地，这一步比较简单，直接贴代码。

with open('wood.csv', 'a', encoding='utf_8_sig', newline='') as fp:  
            # 'a'为追加模式（添加）  
            # utf_8_sig格式导出csv不乱码  
            fieldnames = ['name', 'price', 'unit', 'supermaket', 'time']  
            writer = csv.DictWriter(fp, fieldnames)  
            writer.writerow(tr)

打开下刚生成的wood.csv，长这样：

![780f07d90adac2c14036e660fc723b56.png][]

![f2df2da4fa4acb97d3d13b17e3eb90e6.gif][]

二

爬取多页

别开心的太早，你还仅仅是爬了一页数据，人家复制粘贴都比你快。咱们的志向可不在这，在诗和远方，哦不，是秒速爬海量数据。

那么，怎么才能爬取多页数据呢？没错，for循环。

我们再回过头来分析下url：

http://yz.yuzhuprice.com:8003/findPriceByName.jspx?page.curPage=1&priceName=%E7%BA%A2%E6%9C%A8%E7%B1%BB

我们把里面的page.curPage改成2试试，如下：

![047c012d5baa440439fd46c1ca5600b6.png][]

你也许发现玄机，只要改变page.curPage就可以实现翻页。OK，那我们直接在url前面加个循环就好啦。format(x)是一种格式化字符串的函数，可以接受不限个数的参数。

for x in range(1,3):  
        url = 'http://yz.yuzhuprice.com:8003/findPriceByName.jspx?page.curPage={}&priceName=%E7%BA%A2%E6%9C%A8%E7%B1%BB'.format(x)

至此，你只要改变range想爬多少页就爬多少页，开不开心？意不意外？

三

完善爬虫

如果仅仅按照以上代码爬虫，很有可能爬了十几页程序就崩了。我就多次遇到过中途报错，导致爬虫失败的情况。好不容易写出的爬虫，怎么说崩就崩呢。

![0606fa9e2cfdb457f2b5a55bee6a2276.gif][]

报错原因就很多了，玩爬虫的都知道，调试bug是很麻烦的，需要不断试错。这个爬虫的主要bug是TimeoutError。因此，我们需要进一步完善代码。

![b79e6ad7f0bb6e4ce22bd342b0e19316.gif][]

首先，要将以上代码封装成函数，因为不用函数有以下缺点：

1、复杂度增大

2、组织结构不够清晰

3、可读性差

4、代码冗余

5、可扩展性差

其次，在可能出现报错的地方都加上异常处理。即try…except。

完善之后，截取部分，如下图。限于篇幅，我就不贴所有代码了，需要完整代码的小伙伴关注公众号，后台回复wood即可免费获取啦。

![68057030b72eef9284921371a5859234.png][]

结 语

自此，红木数据爬虫代码写完啦，数据爬取下来后，就可以进行可视化的分析了，比如可以看下每年不同市场红木的价格走势，同一市场不同红木的价格走势，或者还可以建立起红木的价格指数。可视化的内容后续我会重点讲解，感兴趣的朋友可以留意下哦~

当然，此爬虫也还有很大的完善空间，比如加入多线程、scrapy框架爬取速度会更快。另外，引入随机的headers和代理ip，可以很好的规避一些反爬，这些在很多相对复杂点的爬虫里是必须引入的内容。

到这，本文终于结束啦，然鹅，由于红木研究还需要其他相关数据。作为金融狗，自然而然想到打开wind康一康，如下：

![8d23d016ef49bcf762bd3cd0261d7af6.png][]

看完之后，我的状态是这样的：

![4e49bf4ceb0b81352c2b9612f738edb5.gif][]  
**如果大家对Python感兴趣，这套python学习资料一定对你有用**

**对于0基础小白入门：**

> 如果你是零基础小白，想快速入门Python是可以考虑的。
> 
> 一方面是学习时间相对较短，学习内容更全面更集中。  
> 二方面是可以根据这些资料规划好学习计划和方向。

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python！

### 零基础Python学习资源介绍 ###

① Python所有方向的学习路线图，清楚各个方向要学什么东西

② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论

④ 20款主流手游迫解 爬虫手游逆行迫解教程包

⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解

⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解

⑦ 超300本Python电子好书，从入门到高阶应有尽有

⑧ 华为出品独家Python漫画教程，手机也能学习

⑨ 历年互联网企业Python面试真题,复习时非常方便

![在这里插入图片描述][7c1055f9bb6e41af9262556bdf20e084.png_pic_center]

#### 👉Python学习路线汇总👈 ####

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。**（全套教程文末领取哈）**  
![在这里插入图片描述][9f969354b48f4e3ab0253e89203deca2.png_pic_center]

#### 👉Python必备开发工具👈 ####

![6be280b059df8debff4a4b52d6a6ad1f.png_pic_center][]

**温馨提示：篇幅有限，已打包文件夹，获取方式在：文末**

#### 👉Python学习视频600合集👈 ####

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
![f2a1e9c7368b6ac7d169ab4147b537f4.png_pic_center][]

#### 👉实战案例👈 ####

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

![在这里插入图片描述][6cf364e7eeb64b0da07021bce5a59ec6.png_pic_center]

#### 👉100道Python练习题👈 ####

检查学习结果。![15bc30b75e1de8c9fa2daab3742d4430.png_pic_center][]

#### 👉面试刷题👈 ####

![99f6475fb1237ba21e45d55c67bf83f4.png_pic_center][]

![在这里插入图片描述][3360d1bcb588491dac483ff4c30fb05c.png_pic_center]

![在这里插入图片描述][49fe592a1ae644c2822a1b4a850724cd.png_pic_center]

### 资料领取 ###

这份完整版的Python全套学习资料已经上传网盘，朋友们如果需要可以点击下方微信卡片免费领取 **↓↓↓**【保证100%免费】  
![28c313fe0bc8cfd922b6246074689e50.png][]

[8f290ef6be280f037322a74b61bf8b0e.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/4435cf6b3848473fa40169e6c946a89f.gif
[18204cb38f3ad9b1ff9794633f175c29.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/96a38cf2f6c1465f909226276510baf1.png
[105b21076e6292b726466c7df6fdff55.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/550d8ba9e75640f699b746195803a259.jpeg
[a107a4e2a5cd2fb0d6084539d87b1fa4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/7c855e545cd4433699e10ba3a68b2bb0.png
[15e864e6cd2f5a75dc7443dae6c33365.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/9a3a161f92dd4224b5bee7075ac9c88b.png
[148e0dc11bf7eb626afbb85908820a26.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/e2356dbb3af342b19e75a80195bb4165.png
[5bda37a33e85c1666ac7318ae284a9e4.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/7e6c434488f642939e0fb49633b5c496.gif
[289b2afbb480c44521626596c6b4f8c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/53c8773b03984c7195ab35712916e966.png
[ff2b0abef52edfc9c216d9a7b69a53e5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/7712330c1cab4d549914f32a564114e5.png
[9678fea9c6bd39b3eb0e7bf3b28a9f8f.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/25de4a25d31f4ab8b526ea17a6d5df13.gif
[ca28a587d1b2e04189585193ba1c7a91.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/a3e60d3311584a618fb6b502361770eb.gif
[57021da42c3fac5af01efad873c81f6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/97639c59b34c4a2181d440c511a92683.png
[37d6c8dac4492037834a5f1aea79d902.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/6bb2592951d64293bbe387a8c462fa5e.png
[a444a17b1f0bcf228365cde1a531ae68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/b099a7542f8946dda3c074d81f9a22b8.png
[38cf12a25a45719e718ab31d65f2ef52.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/edd4eceaff384437ad4fd10d64435287.gif
[780f07d90adac2c14036e660fc723b56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/6cf05add33bd48f9b73106e5f8e69771.png
[f2df2da4fa4acb97d3d13b17e3eb90e6.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/266401b8735649e1bf7002d00acd3f33.gif
[047c012d5baa440439fd46c1ca5600b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/b325e46a171947bc8d764ecb5e47b0c7.png
[0606fa9e2cfdb457f2b5a55bee6a2276.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/bf4002451be64c94a763d88de2dad21d.gif
[b79e6ad7f0bb6e4ce22bd342b0e19316.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/57a7110b483643928c9ec5d5072eafef.gif
[68057030b72eef9284921371a5859234.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/e01caa1e068a43efa2cc10ecedf49977.png
[8d23d016ef49bcf762bd3cd0261d7af6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/66c48709c643441b9d347fa40451b6aa.png
[4e49bf4ceb0b81352c2b9612f738edb5.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/bb9054cfbf7b447a937d172af50a638a.gif
[7c1055f9bb6e41af9262556bdf20e084.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/9f261f1783f44def8f973dffb5917b7c.png
[9f969354b48f4e3ab0253e89203deca2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/bd5f0d52ce2349a8af399c402257d442.png
[6be280b059df8debff4a4b52d6a6ad1f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/8336524539d44c2891f75d00caf0dbf8.png
[f2a1e9c7368b6ac7d169ab4147b537f4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/51a0fcaa2e9449d480e360eea8c39899.png
[6cf364e7eeb64b0da07021bce5a59ec6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/ea4940c81438431a965e568d8c019872.png
[15bc30b75e1de8c9fa2daab3742d4430.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/6491e7b200e44248bfb0ed1d0f087a22.png
[99f6475fb1237ba21e45d55c67bf83f4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/750144da2c974d149ee1e7bfe7a4293f.png
[3360d1bcb588491dac483ff4c30fb05c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/4c145d7e97714341bc166722238aa240.png
[49fe592a1ae644c2822a1b4a850724cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/4c1713dd290e48f3ae80bb0e953fffad.png
[28c313fe0bc8cfd922b6246074689e50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/8312558227054dfa82cf62ccc31b6332.png