python：网络数据收集

Love The Way You Lie 2022-05-21 08:55 176阅读 0赞

生活中任何人都无法摆脱数据的时代。要想获得更多的数据，最有效的方法就是从网络收集。Python在收集数据方面无疑是一门很好的语言。网络上python爬虫框架有众多，大家有兴趣可以去学习一下，在这就简单介绍下如何使用python写爬虫。

一、 环境准备

(1) python运行环境

(2) html解析器（Beautiful Soup）

二、 数据采集

(1) 获取网页代码

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1][]

urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp数据。

，Urllib.urlopen() 用于打开url地址。

read()方法用于url上的数据。

(2) 筛选页面数据

筛选数据的方法有很多种，如：正则、Beautiful Soup等。

在这我们使用beautiful soup对页面数据筛选。

ü 安装解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml 。根据操作系统不同,可以选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy\_install lxml

$ pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy\_install html5lib

$ pip install html5lib

ü 解析器优缺点

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1][]

![70][]

ü 筛选数据

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2][]

如上，使用beautiful soup解析网页，获取网页的标题，更多beautiful soup说明请看官方文档：https://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html。

想知道如何反爬，跳过登录抓取数据，请持续关注文章~~

![70 1][]

[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220521/46e6b580fbc94e589164bde99502d7b3.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220521/4b6425d7cd364d4e81227a3ca851fb60.png
[70]: /images/20220521/dcb6ef4ceab343d6a0734a668a56c839.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20220521/a2a2f00d4f084f56ad5c783c6b1bdf37.png
[70 1]: /images/20220521/9bd31ea4e6114e6496f0f1358a38e925.png