Python爬虫进行Cookie登录

Bertha 。 2021-12-05 19:15 400阅读 0赞

不太喜欢说废话，直接开始。

一、首先找到发送登录请求（post或get）的url：

可以用抓包工具来进行捕捉，我用的工具是fiddler。fidder的安装及使用方法大家自行百度。这里假设大家已经安装成功并且会使用该工具。（还是提醒一点吧，此工具与其他的工具有点不同，代理端口是8888，而不是8008）

当然也可以不用抓包工具，用浏览器的F12功能也可以看见：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70][]

首先，以一个需要登录之后进行操作的网站为例，比如我们学校的教务管理系统，你们可以试试自己学校的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1][]

佛了，用的get方法，看![20190717142718745.png][]得到了网址。

二、获得header：

很多网站不给header不能访问得到html源码，比如www.baidu.com就不可以，所以我们要组建header

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2][]

此两项内容即可。

三、登录之后才能访问的网址

登录成功之后显示的网站是只有登录成功之后才能访问的，我们以此来证明访问是否成功，这个就比较简单了，大家正常登录教务系统，然后把网址复制即可得到。

四、代码实现

from urllib import request,parse
    import urllib
    #以教务管理系统为例
    #登录请求的url，需要用抓包工具找到真正处理请求的网址
    Url_beforLogin='http://xxx/teachweb/Login.aspx'
    #必需登录后才能操作的网址
    Url_afterLogin='http://xxxx/index1.aspx'
    headers={
        'User-Agent':r'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0',
        'Connection':'keep-alive'
    }
    value={#写自己的用户名密码
        'username':'xxxxx13',
        'password':'xxxxxxxxx8AE1xxxC1x4',
        'role':'student'
    }
    postdata=urllib.parse.urlencode(value).encode()
    #保存cookie到本地
    import http.cookiejar,urllib.request
    firename="cookietochangli.txt"
    cookie=http.cookiejar.MozillaCookieJar(firename)
    handler=urllib.request.HTTPCookieProcessor(cookie)
    opener=urllib.request.build_opener(handler)
    
    req=urllib.request.Request(Url_beforLogin,postdata,headers)
    try:
        response = opener.open(req)
    except urllib.error.URLError as e:
        print(e.reason)
    #保存
    cookie.save(ignore_discard=True, ignore_expires=True)
    for item in cookie:
        print('Name ='+ item.name)
        print('Value ='+ item.value)
    #使用cookie登陆get_url
    get_request = urllib.request.Request(Url_afterLogin,headers=headers)
    get_response = opener.open(get_request)
    #看看是不是登录之后的页面的html码，是则成功
    print(get_response.read().decode())

五、反复用cookie登录

读取刚才保存的cookie文件即可

import urllib.request, urllib.parse
    import http.cookiejar
    firename="cookietochangli.txt"
    cookie=http.cookiejar.MozillaCookieJar()
    cookie.load(firename,ignore_expires=True,ignore_discard=True)
    handler=urllib.request.HTTPCookieProcessor(cookie)
    opener=urllib.request.build_opener(handler)
    response=opener.open("http://jwgl.cust.edu.cn/teachweb/index1.aspx")
    print(response.read().decode('utf8'))

注意，由于session有20分钟的过期时间，所以，同一份cookie文件，只能20分钟内有效，可以反复登录，而标题4的代码重复运行不管多少时间都是没问题的，因为每次都是一个新的session。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20211205/3c5ff0238ec44fcf95ae038392289673.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20211205/fc267f2555ae4a5b96cc48a6d8f35eba.png
[20190717142718745.png]: /images/20211205/6cce226ed92542fa85ac81b43a137945.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20211205/ff1141a08c8e4bc8940726440be73a16.png