爬取过程中的登录问题

小灰灰 2022-04-06 15:26 161阅读 0赞

# 一.cookie模拟登录 #

有些时候需要登录帐号之后才能看到一些数据，所以要想抓取这些数据，就必须先登录，而浏览器主要通过cookie的方式来检验用户的登录状态。有些时候，可以直接通过从浏览器复制cookie到headers来进行模拟登录

例如：我想要得到豆瓣的个人中心中的内容，我们首先必须要登录进豆瓣才能看到这些信息。

import requests
    from fake_useragent import UserAgent
    
    url = 'https://www.douban.com/people/188467803/'  ##此处的url为你进入自己豆瓣个人中心后的url地址
    ua = UserAgent()
    # 下面是通过浏览器查看的cookie信息，这里要粘贴你自己从浏览器复制的cookie信息
    mycookie = 'll="108314"; ' \
               'bid=qUvixHkKSB8; ' \
               '_pk_id.100001.8cb4=39dacbb455f97d1b.1543920123.3.1544337682.1543922308.; ' \
               '__utma=30149280.788877703.1543920127.1543922320.1544336627.3;' \
               ' __utmz=30149280.1544336627.3.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; ' \
               '_vwo_uuid_v2=DDB52E87A46FF4625866BBD11DE3B963F|45d426c7f25f362f593760123a3421f7;' \
               ' gr_user_id=ad2e0f08-9807-4e7d6;' \
               'viewed="30366534"; _' \
               'pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1544336623%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DBjraiQo5Uq0EDaz_L1BYCriQQN9LIE5vfCtXkgTKFotSJ6M23sjwJmTKqhuBDhYM%26wd%3D%26eqid%3D9cb1fa400003b38a000000035c0cb4e9%22%5D; ' \
               '__utmc=30149280; ps=y; _ga=GA1.2.788877703.1543920127; _gid=GA1.2.1192847497.1544337639; dbcl2="188467803:fa8aMe05W94"; ck=9QFD; ap_v=0,6.0; ' \
               '__yadk_uid=XZfvG2kauhtWjO92zPDT6hWT6YTIuJ9T; push_noty_num=0; push_doumail_num=0; __utmv=30149280.18846; douban-profile-remind=1'
    
    
    headers = {'User-Agent':ua.random,
               'Cookie':mycookie}
    
    data = requests.get(url,headers = headers)
    print(data.status_code)
    print(data.request.headers)
    print(data.text)

这是网页中看到的信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZvcmV2ZXJfd2Vu_size_16_color_FFFFFF_t_70]  
下面是通过爬取得到的信息（在没使用cookie模拟登录情况下是无法看到个人信息的）  
![在这里插入图片描述][2018120915283721.png]  
cookie在浏览器中获得的方法和UA获取方法是一样的：  
进入个人中心界面后，单击鼠标右键---->选择审查元素---->选择Network---->选择第一个有200端口的项---->在右边的弹出框中向下拉就可以看到cookie信息了  
![在这里插入图片描述][20181209151224996.png]  
![在这里插入图片描述][20181209151215840.png]  
上边方法虽然简单，但是，cookie是有一定的有效期的，过一段时间就会失效，所以就介绍下面的方法

# 二.表单模拟登录 #

仍以豆瓣为例： 我们先分析豆瓣的登录界面。如果没有在短时间重复登录多次。就不需要验证码，只需帐号密码即可登录。这里选中Network，清空原来的请求，登录并开始抓包。可以看到第一个便是login请求，选中此请求，查看请求信息，发现其方式为post，最后会有一段Form Data，这里可以看到你的一些信息。

![在这里插入图片描述][20181209222547809.png]  
下图显示的个人信息就是在登录时需要验证码的显示信息（不需要验证码时的信息和这个有点不一样）  
![在这里插入图片描述][20181209223202919.png]![在这里插入图片描述][20181209223215459.png]

这就是我们常说的表单数据，只需将其交给服务器即可通过认证成功登录，之后带着登录后的cookie就可以进行数据获取和存储等操作了。

import requests
    import pickle
    from fake_useragent import UserAgent
    from  bs4 import BeautifulSoup
    
    ##1.提交表单登录并获取cookie信息
    def get_cookie_from_net():
        url = 'https://accounts.douban.com/login'
        ##构建表单
        payload = {'source':None,
                   'redir':'https://www.douban.com/',
                   'form_email':'你的邮箱或手机号',   ###登录豆瓣时的邮箱或手机号
                   'form_passwd' : '你的密码',   ##你豆瓣的密码
                   'login':'登录'}
    
        data = s.post(url,headers = headers,data = payload,verify = True)###绕过了SSL验证
        with open('cookies.douban','wb') as f:
            cookiedict = requests.utils.dict_from_cookiejar(s.cookies)
            pickle.dump(cookiedict,f)
        print("提交表单登录，成功获取cookies....")
    
        return  s.cookies
    
    ###从cookie文件获取cookie
    def get_cookie_from_file():
        with open('cookies.douban','rb') as f:
            cookiedict = pickle.load(f)
            cookies = requests.utils.cookiejar_from_dict(cookiedict)
        print('解析文件，成功提取cookies....')
        return cookies
    
    
    ###获取想要的数据
    def getname(html):
        soup = BeautifulSoup(html.text,'lxml')
        myname = soup.find_all('span')[0].get_text()
        return myname
    
    
    def login_and_getname():
        print("获取cookies....")
        try:
            s.cookies = get_cookie_from_file()
        except:
            print("从文件获取cookies失败\n正在提交表单登录以获取....")
            s.cookies = get_cookie_from_net()       
        html = s.get('https://www.douban.com/people/188467803/',headers = headers)
        # print(data.text)
        data = getname(html)
        print(data)
    
    if __name__ == '__main__':
        s= requests.session()
        ua = UserAgent()
        headers = {'User-Agent':ua.random}
    
        login_and_getname()

# 三.有验证码的模拟登录 #

其实我们如果多次重复登录某个网站，这时可能会被要求输入验证码，但有的网站会在一开始登录时就被要求输入验证码。这里会为你提供三种解决验证码问题的方法 第一种：提取验证码的地址，下载到本地，手动输入后在进行post登录，需要人工参与，有点繁琐。 第二种：通过一些验证码识别库，如pytesser，进行识别。但是遇到稍微繁琐的验证码，识别率会很低。 第三种：云打码平台，识别率高，不需要自己的参与，缺点就是要收费

### 1.手动输入 ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZvcmV2ZXJfd2Vu_size_16_color_FFFFFF_t_70]: /images/20220406/dbbbcc7dbaf24f25ab0dae6d64234c51.png
[2018120915283721.png]: /images/20220406/a0e219b58a7d403f827182792e9e645b.png
[20181209151224996.png]: /images/20220406/7321fc1d97d5449e8b176099dfcd0497.png
[20181209151215840.png]: /images/20220406/98248ee16bc94b2bb95f11d7bb024702.png
[20181209222547809.png]: /images/20220406/6c7d4cdd374b4b8eb4c776fe271a4c4a.png
[20181209223202919.png]: https://img-blog.csdnimg.cn/20181209223202919.png
[20181209223215459.png]: /images/20220406/2fa8ea39f2ec4d258d5485d3ae27f800.png