简单python爬虫——文字

忘是亡心i 2022-04-25 03:18 236阅读 0赞

相信很多人看到这篇文章，都是对爬虫有兴趣，而且有一定的理解，但是可能不能编写出一个完整的爬虫，没有思路。  
我就不再介绍爬虫原理直接介绍爬虫步骤

# 最简单的爬虫其实就是这几个步骤 #

# \[1\]发送请求（url、request） #

# \[2\]获得页面（一般1，2一起） #

# \[3\]解析页面（有很多库，我用的是BeautifulSoup) #

# \[4\]下载内容（解析页面后其实直接写入就可以了） #

# \[5\]存储内容（直接文本或者链接数据库） #

先是导入各种库，我导入的是python3.x版本的，cmd进入python安装路径，挑选下面的就可以了。

指定版本下载包
    py -2 -m pip install requests
    py -3 -m pip install requests
    
    py -2 -m pip install beautifulsoup4
    py -3 -m pip install beautifulsoup4
    
    py -2 -m pip install lxml
    py -3 -m pip install lxml
    
    py -2 -m pip install html5lib
    py -3 -m pip install html5lib

然后就是一步一步的讲解（我以古诗文网为例）  
（1）发送请求是根据url,即网址，定义后就可以使用了

#定义url,发送请求
    url="https://www.gushiwen.org/gushi/"
    response=requests.get(url）

（2）获得请求会显示状态但一般可以不管，写一个简单的

#获得页面，各种响应
    #print(response.status_code)
    #response.encoding='utf-8'
    #print(response.text)

（3）然后就是重头戏，解析界面，这个要根据网站前端界面来对应写（我们以获得古诗的名字为例）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]  
**可以看到所有的古诗名都在main3->left->sons里，后面还分了模块typecont->span->a,但是我们不用考虑这么多，因为一般class里的内容不一样的话具有唯一性，找名字直接提取sons和a就可以提取所有的古诗名**

#解析内容
        #用lxml解析器解析该网页的内容
        soup = BeautifulSoup(response.content, "lxml")
        #找到div并且class为sons的标签
        for i in soup.find_all('div',class_='sons'):
            #在每个对应div标签下找sons标签，会发现，一个a里面有30组sons
            n = i.find_all('a')
            for j in range(0,len(n)):
            #取sons中的字符串
                print(n[j].string)

（4）接下来就是下载和存储数据了（直接文本，没用数据库）

#文件操作
    #打开文件
    f=codecs.open("D:\\Python\\Spider\\test.txt",'w',encoding='utf-8')
    #写入内容
    for j in range(0,len(n)):
        f.write(n[j].string)
    #关闭文件
    f.close()

**以下附上全部的代码和效果图**

#-*- coding: cp936 -*-
    
    #导入request
    import requests
    #对HTML解析
    from bs4 import BeautifulSoup
    from lxml import html
    import xml
    #文件操作:utf-8
    import codecs
    
    #定义url,发送请求
    url="https://www.gushiwen.org/gushi/"
    response=requests.get(url)
    
    #获得页面，各种响应
    #print(response.status_code)
    #response.encoding='utf-8'
    #print(response.text)
    
    #解析内容
    #用lxml解析器解析该网页的内容
    soup = BeautifulSoup(response.content, "lxml")
    #找到div并且class为sons的标签
    for i in soup.find_all('div',class_='sons'):
        #在每个对应div标签下找sons标签，会发现，一个a里面有30组sons
        n = i.find_all('a')
        for j in range(0,len(n)):
        #取sons中的字符串
            print(n[j].string)
    
    
    #文件操作
    #打开文件
    f=codecs.open("D:\\Python\\Spider\\test.txt",'w',encoding='utf-8')
    #写入内容
    for j in range(0,len(n)):
        f.write(n[j].string)
    #关闭文件
    f.close()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]**以下稍微进阶一下，一古诗迷为例，得到古诗名和古诗内容，附上代码和效果图**

# -*- coding: cp936 -*-
    #   最简单的爬虫
    #   [1]发送请求
    #   [2]获得页面
    #   [3]解析页面
    #   [4]下载内容
    #   [5]存储内容
    
    #导入request
    import requests
    #对HTML解析
    from bs4 import BeautifulSoup
    from lxml import html
    import xml
    #文件操作:utf-8
    import codecs
    
    
    #定义url,发送请求
    url="https://www.gushimi.org/"
    response=requests.get(url)
    
    
    #获得页面，各种响应
    #print(response.status_code)
    #response.encoding='utf-8'
    #print(response.text)
    
    #打开文件
    f=codecs.open("D:\\Python\\Spider\\古诗迷.txt",'w+',encoding='utf-8')
    
    #解析内容
    #用lxml解析器解析该网页的内容
    soup = BeautifulSoup(response.content, "lxml")
    #找到div并且class为sons的标签
    for i in soup.find_all('div',class_='news_box'):
        #在每个对应div标签下找sons标签
        for j in i.find_all('div',class_='news_title'):
            for k in i.find_all('div',class_='news_text'):
                array1 = j.find_all('a')
                #limit=1,只返回<p>标签下第一个
                array2 = k.find_all('p',limit=1)
                for size in range(0,len(array1)):
                    #取a中的字符串
                    print(array1[size].string)
                    #写入数据
                    f.write(array1[size].string+'\r\n')
                    f.write(array2[size].string+'\r\n\r\n')
    
    
    #文件操作
    #关闭文件
    f.close()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]好了，这就是完整的爬虫思路

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]: /images/20220210/3516b3da271a4eadb33730750d1af95e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]: /images/20220210/b6ded9b8500147ec845c9c61451f8bce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]: /images/20220210/01544341db504f658f7d8224ec223a9f.png