urllib库模拟简单的Post请求 && 使用Cookie模拟用户访问

忘是亡心i 2022-06-05 03:49 128阅读 0赞

### urllib库模拟简单的Post请求 && 使用Cookie模拟用户访问 ###

本文使用Python3.0的urllib库实现。

#### 模拟简单的Post请求 ####

在上一篇文章中，介绍了通过`urllib.request.Request()`，返回一个request对象。`Request()`方法有3个重要的参数，分别是`url, data, headers`。`data`：指的是请求体（这也是区分`url`是`get`请求还是`post`的请求的区别）。`headers`是请求头部分。

下面看一个示例：示例的post请求的url是简书的一个链接，通过fiddle软件抓包获取到的。

from urllib import request, parse
    import json
    
    if __name__ == '__main__':
        # url链接
        url = 'http://www.jianshu.com/notes/5a01da1f4fad/mark_viewed.json'
    
        # 请求头部分
        headers = {
            'User-Agent': 'Mozilla/5.0(Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400'
        }
    
        # 请求体，Request有无data参数，是用于区分是get请求还是post请求
        data = {
       "uuid": "fd44906b-9bc4-425d-9b1d-5ae18005ba7e"}
        # 将data数据经过url编码，后转成utf-8编码
        data = parse.urlencode(data).encode(encoding='UTF8')
        # 获取一个请求对象
        req = request.Request(url, data=data, headers=headers)
        # 请求url，获取响应对象
        resp = request.urlopen(req)
        # 获取响应的结果
        result = resp.read()
        # 响应结果的类型
        print(type(result)) # <class 'bytes'>
        # 通过json库转成字典数据
        print(json.loads(result))   # {'message': 'success'}

#### 使用cookie模拟用户访问 ####

我们知道cookie是用于用户登入网站后，保存到客户端的，以便于下次可以保持用户的访问。

cookie怎么获取呢，一般可以通过抓包工具获取，下面使用fiddler来抓取登入获取cookie。

1.  打开fiddler抓包工具软件
2.  浏览器打开登入网站，输入用户名和密码登入，访问需要模拟的网站
3.  通过fiddler抓取登入的url，获取cookie

![image][]

1.  获取cookie的数据，通过Python代码模拟用户访问

if __name__ == '__main__':
        # 定义一个url
        url = 'http://my.csdn.net/qq_33689414'
        # 自定义headers，headers中包含用户登入请求的cookie，以便于cookie模拟用户访问
        headers = {
            'User-Agent': 'Mozilla/5.0(Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400',
            'Cookie': 'uuid_tt_dd=-4106733179937207813_20170811; UM_distinctid=15ddf8a370d4e9-0f483d3d0a488e-791238-144000-15ddf8a370e4f8; kd_user_id=5256d399-c8e7-4db7-aeb9-e8127cab4cf5; bdshare_firstime=1509844263855; __message_sys_msg_id=0; __message_gu_msg_id=0; __message_cnel_msg_id=0; __message_district_code=310000; __message_in_school=0; __utma=17226283.1582608574.1507866652.1508409372.1510125564.3; __utmz=17226283.1507866652.1.1.utmcsr=blog.csdn.net|utmccn=(referral)|utmcmd=referral|utmcct=/u013045971/article/details/42396539; UserName=qq_33689414; UserInfo=ChnXHl65%2BQJsX9ttF%2FaQjFA4g63jTgu7QdqUEAt3caoiddJQjEgHwurc%2BAyrSVQy8FybrhRQTJHRTlCvrMajxT1ywnUL7YmGvtWMh3yCHl0LO7DPDU1fJ%2FFA8rLdo0kY8WqmCqo79imdoTIijTboNw%3D%3D; UserNick=%E5%BC%A0%E8%A1%8C%E4%B9%8B; AU=7F0; UD=%E9%97%BB%E9%81%93%E6%9C%89%E5%85%88%E5%90%8E%EF%BC%8C%E6%9C%AF%E4%B8%9A%E6%9C%89%E4%B8%93%E6%94%BB%E3%80%82; UN=qq_33689414; UE="zhang3550545@126.com"; BT=1510242149377; access-token=7ecf75b6-f5a4-4827-8f49-caf3ab78ddb2; Hm_lvt_6bcd52f51e9b3dce32bec4a3997715ac=1510235527,1510236095,1510239974,1510242137; Hm_lpvt_6bcd52f51e9b3dce32bec4a3997715ac=1510242258; dc_tos=oz5qdu; dc_session_id=1510242137325_0.6458248928641841'
        }
    
        # 因为是get请求的方式，这里没有data参数
        req = request.Request(url, headers=headers)
        # 请求服务端，返回一个响应对象
        resp = request.urlopen(req)
        # 读取响应的信息
        result = resp.read()
        # 打印响应信息的类型
        print(type(result))
        # 将响应的信息写入文件
        with open('my_csdn.html', 'wb') as f:
            f.write(result)

[image]: /images/20220605/fbd5ad321d3f4200a27dc12df0cb9ab7.png