爬虫入门实例-源码加注释（以requests模块为主）

男娘i 2021-09-07 06:14 348阅读 0赞

### 文章目录 ###

*   *  一.获取搜狗首页信息
     *  二.抓取关键词相关的网页
     *  三.获取豆瓣指定电影榜单中电影的详细消息
     *  四.破解百度翻译
     *  五.获取国家药品监管局化妆品许可证信息

> **爬虫的核心在于通过F12对目标网页ajax的分析，分析明了了代码很简单。**

## 一.获取搜狗首页信息 ##

import requests  # 导入模块
    
    url = 'https://www.sogou.com/'  # 指定目标网页
    response = requests.get(url=url)  # 通过get方式访问
    page_text = response.text  # 获取相应文本数据
    with open('sougou.html', 'w', encoding='utf-8') as fp:  # 创建文件指针，文件名sougou.html，打开文件方式为只写，解码方式为utf-8
        fp.write(page_text)  # 写文件

## 二.抓取关键词相关的网页 ##

import requests  # 导入模块
    
    url = 'https://www.sogou.com/web'  # 用搜狗搜索关键词
    kw = input("ender a woed:")  # 输入关键词
    param = { 
        'query': kw  # 设置表单参数
    }
    # UA伪装:请求的载体身份标识
    head = { 
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
    }  # 设置UA伪装为火狐流浪器
    response = requests.get(url=url, params=param, headers=head)  # 通过get方式携带参数进行访问
    page_text = response.text  # 获取相应的文本格式内容
    file_name = kw + '.html'  # 设置关键词相应的文件名
    with open(file_name, 'w', encoding='utf-8') as fp:  # 创建文件指针，文件名为，打开文件方式为只写，解码方式为utf-8
        fp.write(page_text)  # 写入文件
    print(file_name, "保存成功！")  # 保存成功相关网页的提示语

## 三.获取豆瓣指定电影榜单中电影的详细消息 ##

import requests  # 导入模块
    import json
    
    # 通过抓包工具分析后进行如下操作
    url = "https://movie.douban.com/j/chart/top_list"  # 指定需求网页
    parm = { 
        'type': '24',
        'interval_id': '100:90',
        'action': ' ',
        'start': '0',
        'limit': '20'
    }  # 分析网页后传入相应参数
    head = { 
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
    }  # 进行UA伪装
    response = requests.get(url=url, params=parm, headers=head)  # 访问网页
    data_list = response.json()  # 通过F12分析可知返回信息为json格式
    fp = open('douban.json', 'w', encoding='utf-8')  # 创建文件指针，文件名为douban.json，打开文件方式为只写，解码方式为utf-8
    json.dump(data_list, fp=fp, ensure_ascii=False)  # 通过dump方式存进内存，取消ascii编码

## 四.破解百度翻译 ##

import requests  # 导入模块
    import json
    
    # 通过抓包工具分析后进行如下操作
    post_url = 'https://fanyi.baidu.com/sug'  # 通过抓包工具（F12）查看百度翻译的相关XHR获得相应网页
    word = input("enter a word:")  # 键入要翻译的词语
    data = { 
        'kw': word  # 设置表单信息
    }
    head = { 
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
    }  # 进行UA伪装
    response = requests.post(url=post_url, data=data, headers=head)  # post方式访问网页
    dic = response.json()  # 通过F12可知返回信息为json格式
    file_name = word + ".json"  # 设置文件名
    fp = open(file_name, 'w', encoding='utf-8')  # 创建文件指针，文件名为file_name，打开文件方式为只写，解码方式为utf-8
    json.dump(dic, fp=fp, ensure_ascii=False)  # 通过dump方式存进内存，取消ascii编码

## 五.获取国家药品监管局化妆品许可证信息 ##

import requests  # 导入模块
    import json
    
    # 通过抓包工具分析后进行如下操作
    url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'  # 存放id的网页
    head = { 
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
    }  # 进行UA伪装
    id_list = []  # 用于村id
    all_data_list = []  # 用于存每条id对应的详细信息
    for page in range(369):  # 取出369*15种化妆品的id
        data = { 
            "on": "true",
            "page": page,  # 通过改变表单参数改变访问的网页
            "pageSize": "15",
            "productName": "",
            "conditionType": "1",
            "applyname": "",
            "applysn": "",
        }
        json_ids = requests.post(url=url, headers=head, data=data).json()  # 通过json方法解析返回发数据
        for dic in json_ids['list']:  # 取出id
            id_list.append(dic['ID'])  # 存入id
    post_url = 'ttp://scxk.nmpa.gov.cn:81/xk/itownet/portal/dzpz.jsp'  # 用于获取每种化妆品对应的详细信息的根目录
    for id in id_list:
        data = { 
            'id': id,  # 通过改变表单参数改变待访问网页
        }
        detail_json = requests.post(url=url, headers=head, data=data).json()  # 通过json方法解析返回发数据
        all_data_list.append(detail_json)  # 保存每条id对应的详细信息
    fp = open('all_data.json', 'w', encoding='utf-8')  # 创建文件指针，文件名为all_data.json，打开文件方式为只写，解码方式为utf-8
    json.dump(all_data_list, fp=fp, ensure_ascii=False)  # 通过dump方式存进内存，取消ascii编码