爬虫实战：要不是热爱学习，谁会爬小姐姐。分析Ajax来爬取今日头条街拍美图（python）

不念不忘少年蓝@ 2022-10-28 10:27 232阅读 0赞

有些网页我们请求的html代码并没有我们在浏览器里看到的内容。  
因为有些信息是通过Ajax加载并通过JavaScript渲染生成的。

## 一.目标站点分析 ##

[头条街拍][Link 1]

![20210206095418603.png_pic_center][]

查看的Ajax请求  
选择network 勾选preserve log 再勾选XHR ，数据链接如左侧aid格式  
![20210207094633184.png_pic_center][]

在data下面能够找到title  
![20210206100855699.png_pic_center][]

我们网页不断下滑，发现请求有offset有20,40,60变化。如图。  
我们可以认为改变offset的值就能拿到不同数据。  
![20210206101417236.png_pic_center][]

通过观察data,发现数据是json数据。  
![20210206101726241.png_pic_center][]

## 实战 ##

**一.抓取索引页内容**  
1.查看URL  
蓝色为基本url，其他为参数  
![20210207092646766.png_pic_center][]  
这些参数在下图  
![20210207092440157.png_pic_center][]

急需下拉网页，只有offset在变化，每次变化20  
![20210207093151246.png_pic_center][]

获取html代码如下

from urllib.parse import urlencode
    import requests
    from requests.exceptions import ConnectionError
    
    def get_page(offest,keyword):#获取请求并返回解析页面，offest,keyword为可变参数
        params = { 
            'aid': '24',
            'app_name': 'web_search',
            'offset': offest,#页数
            'format': 'json',
            'keyword': keyword,#关键词，本例子为街拍
            'autoload': 'true',
            'count': '20',
            'en_qc': '1',
            'cur_tab': '1',
            'from': 'search_tab',
            'pd': 'synthesis',
            'timestamp': '1612660795006',
            '_signature': '_02B4Z6wo00f01bVt4zgAAIDCfdEqJspzHQm1SeeAAA1FfgsJs85FLGn5fddPtscCGmt-RCmotIguRxATrRA1jejsf0LuGWhNYZDSWZIqUdhBN1ivlGKkDtAdcHKqYiKRWjlQZt4s9AU2aI2d0c'
            }
    
        headers = { 
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
            'x-requested-with': 'XMLHttpRequest'
        }
        base_url = 'https://www.toutiao.com/api/search/content/?'
        url = base_url + urlencode(params)
        try:
            response = requests.get(url,headers = headers)
            if response.status_code == 200 :
                return response.text
        except ConnectionError:
            print('程序错误')
            return None
    
    def main():
        base_url = 'https://www.toutiao.com/api/search/content/?'
        html=get_page(0,'街拍')
        print(html)
    if __name__ =='__main__':
        main()

![20210207094100333.png_pic_center][] 可以发现结果中有很多超链接 ![20210207094215441.png_pic_center][]

**二.数据解析**  
回到浏览器，查看返回结果Respnse响应,数据格式为json格式  
![20210207100004951.png_pic_center][]  
在Preview找到data  
![20210207100702830.png_pic_center][]

对data进行展开,其中的0,1,2.。均为一组街拍  
![20210207101438663.png_pic_center][]

展开0  
图片url在image\_list里  
![20210207101805950.png_pic_center][]  
图片名titlie

![20210207102039653.png_pic_center][]

#数据解析
    import json
    def parse_page_index(html):
        data=json.loads(html)#转换为json对象
        if data  and 'data'in data.keys():#判断响应里的data是否存在
            for item in data.get('data'):  # 用item循环每一条，即0,1，2...
                # 这里需要判断image_list是否为空
                title = item.get('title')
                if 'image_list' in item and item['image_list'] != []:
                    images = item['image_list']
                    for image in images:
                        yield { 
                            'image': image.get('url'),
                            'title': title
                        }  # 返回的一个字典

> yield用法见例子  
> 返回的是一个可以迭代的对象

def getnum(n):
        i = 0
        while i <= n:
            yield i
            i += 1
    a = getnum(5)
    print(a)
    for i in a:
        print(i)

![2021020710461019.png_pic_center][]

**三.图片保存**

import os
    from hashlib import md5
    def save_image(item):
        #os.path模块主要用于文件的属性获取,exists是“存在”的意思，
        #所以顾名思义，os.path.exists()就是判断括号里的文件夹'picture'+str(offset)是否存在的意思，括号内的可以是文件路径。
        if not os.path.exists(item.get('title')):#判断当前文件夹下是否有该文件
            os.mkdir(item.get('title'))#如果不存在就创建该文件夹
        try:
            response=requests.get(item['image']) #get函数获取图片链接地址，requests发送访问请求，上面那个字典
            if response.status_code==200:
                file_path='{0}/{1}.{2}'.format(item.get('title'),md5(response.content).hexdigest(),'jpg')
                # md5摘要算法（哈希算法），通过摘要算法得到一个长度固定的数据块。将文件保存时，通过哈希函数对每个文件进行文件名的自动生成。
                # md5() 获取一个md5加密算法对象
                # hexdigest() 获取加密后的16进制字符串
                if not os.path.exists(file_path):
                    with open(file_path,'wb') as f:
                        f.write(response.content)
                    print('图片保存路径是: ', file_path)
                else:
                    print('图片已经下载',file_path)
        except requests.ConnectionError:
            print('图片保存失败')

> md5(response.content).hexdigest()摘要算法（哈希算法），通过摘要算法得到一个长度固定的数据块。将文件保存时，通过哈希函数对每个文件进行文件名的自动生成。  
> 示例

from hashlib import md5
    
    hash_functions = [md5]
    def get_hash_code(s):
        result = []
        hash_obj = md5(s)
        hash_hex = hash_obj.hexdigest()
        result.append((hash_obj.name, hash_hex, len(hash_hex)))
        return result
    
    
    if __name__ == '__main__':
        s = "123"
        result = get_hash_code(s.encode("utf-8"))
        print(result)

![20210207105915312.png_pic_center][]

**总的代码**

from urllib.parse import urlencode
    import requests
    from requests.exceptions import ConnectionError
    import json
    def get_page(offest,keyword):#获取请求并返回解析页面，offest,keyword为可变参数
        params = { 
            'aid': '24',
            'app_name': 'web_search',
            'offset': offest,#页数
            'format': 'json',
            'keyword': keyword,#关键词，本例子为街拍
            'autoload': 'true',
            'count': '20',
            'en_qc': '1',
            'cur_tab': '1',
            'from': 'search_tab',
            'pd': 'synthesis',
            'timestamp': '1612660795006',
            '_signature': '_02B4Z6wo00f01bVt4zgAAIDCfdEqJspzHQm1SeeAAA1FfgsJs85FLGn5fddPtscCGmt-RCmotIguRxATrRA1jejsf0LuGWhNYZDSWZIqUdhBN1ivlGKkDtAdcHKqYiKRWjlQZt4s9AU2aI2d0c'
            }
    
        headers = { 
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
            'x-requested-with': 'XMLHttpRequest'
        }
        base_url = 'https://www.toutiao.com/api/search/content/?'
        url = base_url + urlencode(params)
        try:
            response = requests.get(url,headers = headers)
            if response.status_code == 200 :
                return response.text
        except ConnectionError:
            print('程序错误')
            return None
    #数据解析
    import json
    def parse_page_index(html):
        data=json.loads(html)#转换为json对象
        if data  and 'data'in data.keys():#判断响应里的data是否存在
            for item in data.get('data'):  # 用item循环每一条，即0,1，2...
                # 这里需要判断image_list是否为空
                title = item.get('title')
                if 'image_list' in item and item['image_list'] != []:
                    images = item['image_list']
                    for image in images:
                        yield { 
                            'image': image.get('url'),
                            'title': title
                        }  # 返回一个字典
    
    
    import os
    from hashlib import md5
    def save_image(item):
        #os.path模块主要用于文件的属性获取,exists是“存在”的意思，
        #所以顾名思义，os.path.exists()就是判断括号里的文件夹'picture'+str(offset)是否存在的意思，括号内的可以是文件路径。
        if not os.path.exists(item.get('title')):#判断当前文件夹下是否有该文件
            os.mkdir(item.get('title'))#如果不存在就创建该文件夹
        try:
            response=requests.get(item['image']) #get函数获取图片链接地址，requests发送访问请求，上面那个字典
            if response.status_code==200:
                file_path='{0}/{1}.{2}'.format(item.get('title'),md5(response.content).hexdigest(),'jpg')
                # md5摘要算法（哈希算法），通过摘要算法得到一个长度固定的数据块。将文件保存时，通过哈希函数对每个文件进行文件名的自动生成。
                # md5() 获取一个md5加密算法对象
                # hexdigest() 获取加密后的16进制字符串
                if not os.path.exists(file_path):
                    with open(file_path,'wb') as f:
                        f.write(response.content)
                    print('图片保存路径是: ', file_path)
                else:
                    print('图片已经下载',file_path)
        except requests.ConnectionError:
            print('图片保存失败')
    
    
    
    def main():
        for offest in range(0, 60, 20):
            html = get_page(offest, '街拍')
            a = parse_page_index(html)
            for item in a:
                save_image(item)
    
    if __name__ =='__main__':
        main()

![20210207111013398.png_pic_center][] 结果文件夹 ![20210207111101900.png_pic_center][] 打开一个文件夹 ![20210207111423179.png_pic_center][]

文件夹太多，我们修改为一个文件夹  
![20210207112909973.png_pic_center][]

结果  
![20210207112950186.png_pic_center][]  
结果文件夹  
![20210207113314652.png_pic_center][]

![在这里插入图片描述][20210207113526520.jpg_pic_center]  
作者：电气-余登武。  
码字不易，请点个赞再走。

[Link 1]: https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D
[20210206095418603.png_pic_center]: /images/20221024/50ffa77a0c894a8a9c63e0c5e397e023.png
[20210207094633184.png_pic_center]: /images/20221024/298a9eea4fdc41e7b8aa86fe503740ed.png
[20210206100855699.png_pic_center]: /images/20221024/d70e1cbeb16f4fbf83ebcbed79c698b2.png
[20210206101417236.png_pic_center]: /images/20221024/e5c4ba05530b4205b2ca18f92043ff18.png
[20210206101726241.png_pic_center]: /images/20221024/210e75f4362f489cb97a14599357f5ef.png
[20210207092646766.png_pic_center]: /images/20221024/59adb097d62e456eb2545d253c757e9f.png
[20210207092440157.png_pic_center]: /images/20221024/0a793cb8af5f4222b6415484c7112aa8.png
[20210207093151246.png_pic_center]: /images/20221024/ca3e886704ac4932ad3962f1bd7d273a.png
[20210207094100333.png_pic_center]: https://img-blog.csdnimg.cn/20210207094100333.png#pic_center
[20210207094215441.png_pic_center]: /images/20221024/1beb6fc343ee4071be76423d2408cf63.png
[20210207100004951.png_pic_center]: /images/20221024/eb36d8f1b18c44ec898ae7c71b8bd0fe.png
[20210207100702830.png_pic_center]: /images/20221024/f9747ad6acc04b3881e8eba51a629308.png
[20210207101438663.png_pic_center]: /images/20221024/62e4f51bbfa64405b7c0ad8e62146cce.png
[20210207101805950.png_pic_center]: /images/20221024/bf3892fd6ad84e5dbfc53cae439583bc.png
[20210207102039653.png_pic_center]: /images/20221024/d7ea07a5a3324085828454a1de75bed6.png
[2021020710461019.png_pic_center]: /images/20221024/54a659e0fb4643f7aa3d9f0cad3c50f7.png
[20210207105915312.png_pic_center]: /images/20221024/7a51535042dc4caf8a2965507447b29b.png
[20210207111013398.png_pic_center]: https://img-blog.csdnimg.cn/20210207111013398.png#pic_center
[20210207111101900.png_pic_center]: https://img-blog.csdnimg.cn/20210207111101900.png#pic_center
[20210207111423179.png_pic_center]: /images/20221024/40e49d23283042e39570ee0e623a97da.png
[20210207112909973.png_pic_center]: /images/20221024/b0324f6d12db423ea6554f78bc7d7755.png
[20210207112950186.png_pic_center]: /images/20221024/3cf1ffb31aa844e19ef4726856178695.png
[20210207113314652.png_pic_center]: /images/20221024/c25298bf258042d3b4907ea2068bc24b.png
[20210207113526520.jpg_pic_center]: /images/20221024/4268f65f266d43749f4d6d7b6101e3f2.png