用Python写爬虫入门篇（二）

- 日理万妓 2022-04-13 04:14 175阅读 0赞

#### 简介 ####

最近在学习python，这几篇博文用于个人记录总结，不正之处还望大佬指出。（适合学习过python的同学）  
[用Python写爬虫入门篇（一）][Python]  
[用Python写爬虫入门篇（二）][Python 1]  
[用Python写爬虫入门篇（三）][Python 2]  
以下介绍下如何用爬虫抓取**静态网页**，用以熟悉整个爬取过程。

#### 我的运行环境 ####

系统版本：Windows10  
Python版本：Python3.7  
IDE：IDEA(因为平时主要用JAVA就没安PyCharm了)  
（安装适合自己的环境即可）

#### 爬取思路 ####

1.  确定爬取地址与目标数据
2.  用头文件模拟浏览器访问
3.  用requesty请求页面（需要下载包 --pip install requests）
4.  用BeautifulSoup工具分析页面（需要下载包 --pip install beautifulsoup4）
5.  最后将数据存入相应文件

#### 爬取实例： ####

我们以 https://blog.csdn.net/ 为例，假设爬取图中的标题与标题的URL地址  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70]  
右键选择 “查看网页源代码（V）”在源代码中找到目标数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70 1]  
由图可知，目标数据在div标签（class为title）中的a标签内，知道以上内容即可写代码。

#### 详细代码如下 ####

（因为有注释就不过多解释了）

#coding:utf-8
    from urllib import request
    from bs4 import BeautifulSoup #需要下载相应包
    
    url = "https://blog.csdn.net/"#目标网站地址
    #头文件，让爬虫模拟浏览器访问（可以在自己浏览器中查看）
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36'}
    page = request.Request(url,headers=headers)
    page_info = request.urlopen(page).read().decode("utf-8")
    soup = BeautifulSoup(page_info,"html.parser")  #分析目标网页
    divs = soup.find_all('div',class_='title')#筛选内容，第一个参数是标签，第二个参数是class_,还可写正则表达式等参数
    
    with open(r"D:\title_url.txt","w+") as file: #此处为爬虫的输出结果目录
        for div in divs:
            title=div.a # XPath路径
            file.write(title.getText().replace(" ","")+"\n")
            file.write(title.get("href")+"\n")

#### 输出结果 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70 2]

（有很多语法细节，可以查询[Beautiful Soup 4.4.0 官方文档][Beautiful Soup 4.4.0]与[XPath 教程][XPath]）  
有时我们点击右键查看源码时，根本找不到目标数据，为什么呢，因为目标是动态网页，如何爬取动态网页请看下一篇  
[用Python写爬虫入门篇（三）][Python 2]

[Python]: https://blog.csdn.net/qq_22136439/article/details/84559923
[Python 1]: https://blog.csdn.net/qq_22136439/article/details/84561866
[Python 2]: https://blog.csdn.net/qq_22136439/article/details/84583353
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70]: /images/20220413/3b9e72a1d5aa404aa71b38bcd83c20ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70 1]: /images/20220413/8650ca9510e443da91508b9b8329c770.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTM2NDM5_size_16_color_FFFFFF_t_70 2]: /images/20220413/06a72b4dd21a430a8d615bf93113c037.png
[Beautiful Soup 4.4.0]: https://beautifulsoup.readthedocs.io/zh_CN/latest/
[XPath]: http://www.runoob.com/xpath/xpath-tutorial.html