day01 学习爬虫

r囧r小猫 2021-11-19 13:02 393阅读 0赞

爬虫课程：

一.爬虫的基本原理二.requests请求库爬虫的基本原理

1.什么是爬虫

爬虫是抓取数据2.什么是互联网

由一堆网络设备，把一台台的计算机互联到一起称之为互联网      3.互联网建立的目的

数据的传递与数据的共享4.什么是数据

例如：电商平台的商品数据链接，信息…

1.  什么是上网？ 普通用户

打开浏览器

→输入地址

→往目标主机发送请求

→返回响应数据

→把数据渲染到浏览器

爬虫程序： 模拟浏览器

→往目标主机发送请求

→返回响应数据

→解析并提取有价值的数据

→保存数据（文件写入本地，持久化的数据库中）

1.  爬虫全过程

1.发送请求（请求库：requests/selenium） 2.获取响应数据

1.  解析数据（解析库：beautifulSoup4）
2.  保存数据（存储库：文件保存/MongoDB）

总结：我们可以把互联网的数据比喻成一座宝藏爬虫其实就是在挖取宝藏

二.request的请求库1.安装与使用

Pip3 install requests

分析请求流程（模拟浏览器）

\-百度“ 1.请求url

[http://www.baidu.com][http_www.baidu.com] 2.请求方式

GET

3.请求头信息

user-agent：用户处理

\#爬虫三部曲

1.发送请求

Def get\_page(url)

response = requests.get(url) return response

2.解析数据

Import re

Def parse\_index(html); \#findall匹配所有

\#re.findall('正则匹配规则','匹配文本'，'匹配模式')

\#re.S:对所有文本进行搜索匹配

Res = re.findall()

3.保存数据

\#main + 回车键If\_name\_=='\_main\_':

Url= ' [http://www.xiaohuar.com/v/'][http_www.xiaohuar.com_v]

Fasong qingqiu

Reponse = get\_page(url)

Return reponse

\#返回响应状态码Print(reponse.status\_code)

返回响应文本

Print(response.text)

解析主页页面

![1729717-20190701164609782-589622030.jpg][]

![1729717-20190701164627899-1002906076.jpg][]

![1729717-20190701164705369-870404855.jpg][]

![1729717-20190701164808947-481435934.jpg][]

![1729717-20190701164827898-301914303.jpg][]

![1729717-20190701164851151-426196682.jpg][]

![1729717-20190701164905613-284727028.jpg][]

![1729717-20190701164934800-375764082.jpg][]

![1729717-20190701164952583-2029923497.jpg][]

import requests
    import re
    import time
    import uuid
    def save_video(content):
        with open(f'{uuid.uuid4()}.mp4','wb') as f:
            f.write(content)
            print('OK！')
    def get_page(url):
      response = requests.get(url)
      return response
    
    def parse_index(html):
        detail_urls = re.findall(
            '<div class="items"><a class="imglink" href="(.*?)"',html,re.S
        )
        print(detail_urls)
        return detail_urls
    
    def parse_detail(html):
        movie_url = re.findall('<source src="(.*?)">',html,re.S)
        if movie_url:
            return movie_url[0]
    
    if __name__ == '__main__':
        url = 'http://www.xiaohuar.com/v/'
        response = get_page(url)
        #print(response)
        #print(response.status_code)
       # print(response.text)
        detail_urls = parse_index(response.text)
    
        for detail_url in detail_urls:
            #print(detail_url)
            #response = get_page(detail_url)
            detail_res = get_page(detail_url)
            #print(response.text)
    
            movie_url = parse_detail(detail_res.text)
    
            if movie_url:
                print(movie_url)
    
                movie_res = get_page(movie_url)
    
                save_video(movie_res.content)

![1729717-20190701165414644-181958999.png][]

转载于:https://www.cnblogs.com/x2436876927/p/11115120.html

[http_www.baidu.com]: http://www.baidu.com/
[http_www.xiaohuar.com_v]: http://www.xiaohuar.com/v/%27
[1729717-20190701164609782-589622030.jpg]: /images/20211119/40c5a172efa84972a63c18f7b3c7eb05.png
[1729717-20190701164627899-1002906076.jpg]: /images/20211119/6055866b95c042caa5609a2692d6ad14.png
[1729717-20190701164705369-870404855.jpg]: /images/20211119/0fc857c6dabd4fc7a88bd6b2b512c2d9.png
[1729717-20190701164808947-481435934.jpg]: /images/20211119/234d9309395e46c7a6e0132ed1ef5430.png
[1729717-20190701164827898-301914303.jpg]: /images/20211119/e01e4bcc9e9a4e24ae22ca572eb12080.png
[1729717-20190701164851151-426196682.jpg]: /images/20211119/089fc8367f094deeac794d4b0dc53395.png
[1729717-20190701164905613-284727028.jpg]: /images/20211119/54efb2c59753421b958cddcab198ccea.png
[1729717-20190701164934800-375764082.jpg]: /images/20211119/05d2c44128f7420bbba6ea0516a9a1d4.png
[1729717-20190701164952583-2029923497.jpg]: /images/20211119/18803ef2e9844c89a9fbda2c75e6c7f2.png
[1729717-20190701165414644-181958999.png]: /images/20211119/9dbff2f85705414f90d362a1b6b25953.png