验证码自动识别并模拟登陆

绝地灬酷狼 2024-03-04 03:05 74阅读 0赞

**本文介绍使用pytesseract进行验证码识别，并使用request和xpath解析模拟登陆。**

如这个网站，当我们爬取关于这个网站个人信息数据时，需要模拟登陆，而并且还有验证码的反爬虫机制，这时候我们可以使用验证码识别，再进行模拟登陆。

![0ac2820bf7e764216a1de9e143408eb9.png][]

以下是一些常用的自动识别验证码的方法：

*  Tesseract OCR： Tesseract是一个开源的OCR引擎，由Google维护。它可以识别多种语言的文本，包括英文、中文等。你可以使用Python的pytesseract库来与Tesseract进行集成。
 *  OpenCV： OpenCV是一个计算机视觉库，它可以用于图像处理和识别。你可以使用OpenCV来处理验证码图像，包括预处理和文本提取。
 *  第三方OCR API： 有一些云服务提供商，如Google Cloud Vision、Microsoft Azure Computer Vision等，提供了OCR服务。你可以通过调用这些API来自动识别验证码。
 *  机器学习： 你可以使用机器学习算法来训练一个自定义的OCR模型，以识别特定类型的验证码。这需要大量的训练数据和专业知识。
 *  深度学习： 深度学习模型，如卷积神经网络（CNN）和循环神经网络（RNN），在验证码识别中也表现出色。你可以使用深度学习框架如TensorFlow或PyTorch来构建自定义的验证码识别模型。
 *  图像处理技术： 对于一些简单的验证码，可以使用图像处理技术来分割字符、去除噪音和增强图像，以便更容易地进行手动或自动识别。

本文选自第第一种，使用Python的第三方库Tesseract和Pillow进行验证码识别。其中，Pillow是Python的一个图像处理库，可以用于图像的压缩、旋转、缩放等。

步骤总结：

1.  安装Tesseract和Pillow
2.  安装Tesseract-OCR
3.  验证码识别
4.  模拟登陆
5.  运行测试

### 一、安装Tesseract和Pillow ###

pip install pytesseract
    pip install Pillow

但是，使用pytesseract进行验证码识别时，会报以下错误：

![8f9d813e9a1b4d5c4c5252ef88908c9f.png][]

pytesseract.pytesseract.TesseractNotFoundEFror: tesseract is not installed or it's not in your PATH.See READNME file for more infonation.

**原因：在安装pytesseract库后还需要安装Tesseract-OCR才能正常使用，但是使用pip install Tesseract-OCR 会报错,这时需要手动安装Tesseract-OCR,**

### 二、安装Tesseract-OCR ###

下载链接：[https://digi.bib.uni-mannheim.de/tesseract/][https_digi.bib.uni-mannheim.de_tesseract] ，自行选择版本。双击exe程序，默认安装好。

要记住自己的安装路径，

![b21d765dcb3f5a321a8448a61ff2788a.png][]

接着，将安装的路径添加到环境变量中

将安装路径的根目录添加到path路径中，比如我安装Tesseract-OCR 软件的目录为：C:\\Program Files\\Tesseract-OCR

那么path变量的值就新增一个C:\\Program Files\\Tesseract-OCR，如下图：

![a41ceefa4e3b0765f148de7e5d900f43.png][]

并且，新增一个新的变量TESSDATA\_PREFIX 其值为：C:\\Program Files\\Tesseract-OCR\\tessdata

![5d20c3818c2f9bb093b66ff448ae9906.png][]

然后打开终端cmd，执行以下命令测试是否安装以及添加环境变量是否成功：

tesseract -V

如下图表示成功：

![a84de768ed64237559d236113ecd14f1.png][]

最后一步：前面执行pip安装pytesseract包后，会在python环境下有对应的数据包，比如我的python环境是使用anconada3集成的，那么找到对应的依赖包路径：如我的路径为：

D:\\Program Files\\anconada3\\Lib\\site-packages\\pytesseract

如下图：找到该路径后，打开pytesseract.py文件（使用编辑器，不要双击运行），

![047747b1c66c1fc2270d68616635c1da.png][]

定位到30行左右，将tesseract\_cmd = ' tesseract '改成

tesseract\_cmd = r'C:\\Program Files\\Tesseract-OCR\\tesseract.exe'

如下图：

![40c4db8b6d9df9acb7df949a7116100c.png][]

![923a75c7b09da65d62d71759138bd9a5.png][]

### 三、验证码识别 ###

•打开网站，进入登录网页 [https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx][https_so.gushiwen.cn_user_login.aspx_from_http_so.gushiwen.cn_user_collect.aspx] ，如图所示。

![0ac2820bf7e764216a1de9e143408eb9.png][]

•打开Chrome开发者工具后打开网络面板，勾选Preserve log（保持日志）。按“F5”键刷新网页显示各项资源，如图所示。

![1c89ef46d78304a1ce69de0d0ab627cf.png][]

•在登录网页输入账号、秘密、验证码，单击“登录”按钮，提交表单数据，此时Chrome开发者工具会加载新的资源。观察Chrome开发者工具左侧的资源，找到“login.aspx”资源并单击，观察右侧的Headers标签下的General信息，如图 所示，发现Request Method信息为POST，即请求方法为POST，可以判断Request URL信息即为提交入口。

![ddcb1572971a485129c206eeb708ba81.png][]

使用Chrome开发者工具获取到的提交入口，观察Headers标签，Form Data信息为服务器端接收到的表单数据，如图 所示。其中，email表示账号；pwd表示密码；code表示验证码；from表示跳转网址。其余几项自动生成，在登录网页时无需输入，复制该表单数据，作为后续爬虫发送post请求的data数据。

![cd18355096bcaa03f90d73d8c48ccc43.png][]

•观察Chrome开发者工具的资源，找到验证码对应的网页标签位置，可以发现，img的src属性里面的网址就是验证码下载的网址，可以通过request库进行获取并xpath进行解析，得到验证码的网址。

•需要注意的是有的网站的验证码链接是动态生成的，并且验证码的验证可能依赖于服务器生成的动态验证码，那么简单地下载验证码图片并手动输入可能无法正常工作。这时就需要使用session对象进行对话。

![472f6cedece7bb9df592827e86b892a9.png][]

验证码识别的代码如下：

from PIL import Image, ImageFilter
    import pytesseract
    def VerifiCode(image_path):
        img = Image.open(image_path)
        # 将图片变成灰色
        img_gray = img.convert('L')
        # 转成黑白图片
        img_black_white = img_gray.point(lambda x: 255 if x > 60 else 0)#自行更改阈值
        img_qucao = img_black_white.filter(ImageFilter.SMOOTH_MORE)
        img_RGB = img_qucao.convert('RGB')
        captcha_text = pytesseract.image_to_string(img_RGB, config='--psm 6')
        # print('识别结果:', captcha_text)
        captcha_text = captcha_text.strip()
        # 输出识别结果
        # print('识别结果:', captcha_text)
        return captcha_text

**注意：这个验证码识别可能有识别失败的情况，如果失败可以多尝试几次，或者手动识别。**

### 四、模拟登陆 ###

模拟登陆的思路是，创建一个seesion回话，先对登陆页面进行get访问，通过浏览器调试，写出解析验证码的xpath表达式，并下载验证码，将验证码图片输入到上述的验证识别的方法VerifiCode（）中，再将验证码识别结果封装到Cookie表单数据中，再次对登陆发送请求，即可以登陆成功。

if __name__=='__main__':
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)',
                   }
        url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
        # 创建一个会话对象，以便在多个请求之间共享cookies
        session = requests.Session()
        page_text = session.get(url=url,headers=headers).text
        # 解析验证码图片img史src属性值
        tree = etree.HTML(page_text)
        img_src=tree.xpath( '//*[@id="imgCode"]/@src')[0]
        # print(img_src)
        code_img_src = 'https://so.gushiwen.org'+img_src#
        # print(code_img_src)
        img_data = session.get(url=code_img_src,headers=headers).content#图片是二进制的所以使用content
        # 资验证码图片保存到了本地
        img_path='./验证码/code.jpg'
        with open( img_path,'wb' ) as fp:
            fp.write( img_data)
        img = Image.open(img_path)
        resultVerifiCode=VerifiCode(img_path)#调用工具方法进行验证码自动识别
        plt.figure(figsize=(10, 5))
        plt.subplot(111)
        plt.title('Original Image')
        plt.imshow(img)
        print('识别结果:', resultVerifiCode)
        plt.show()
        #登陆时的表单数据
        data={
        " __VIEWSTATE": "HGoCyqcXPB5M2yaO3lGPOCpWN6KZy4/ZxY6qNiMUsXK5oDoacCt67HVF+5+Og9Vxf3wuJn2XlihWg2khl5akVJRl/R7R/xOwSZ8VpBEUIRyEqB55bk+vxY2K0xzNxVyjEVv0Zn5rDPHQTRvQyrvCL5V4KNc=",
        "__VIEWSTATEGENERATOR": "C93BE1AE",
        "from":"http://so.gushiwen.cn/user/collect.aspx",
        "email":"****",#换成你的账户
        "pwd": "***",#换成你的密码
        "code": resultVerifiCode,
        "denglu": "登录",
        }
        login_url="https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx"
        login_response = session.post(url=login_url, headers=headers,data=data)
        print(login_response.status_code)
        if login_response.status_code==200:
            login_page_text=login_response.text
            # 检查是否成功登录
            if "我的收藏_古诗文网" in login_page_text:
                print("登录成功")
                with open('../爬取结果/验证码识别登陆/login_page_text.html', 'w', encoding='utf-8') as fp:
                    fp.write(login_page_text)
                    print("保存成功")
            else:
                print("登录失败")
        # 关闭会话
        session.close()

需要注意的是，需要提前注册一个账号，并且爬虫发送请求时要使用session发起对话，因为这个网站的验证码是动态发送的，访问是需要携带Cookie信息的

### 五、运行测试 ###

这是一个识别失败的测试：

![6c50da66bef0f462b869e76abb6fffc5.png][]

可以提前终止程序不用再次发起请求。

这是一个识别成功并成功登陆的测试：

![5a070eb9df45fc97ed47a91525f658e2.png][]

![3e20261370ee5b916c2c36931e492b81.png][]

总结，本文是通过对一个网站的验证码反爬机制使用python的第三方库pytesseract进行识别，当然分享的代码是不适应其他的网站登陆的，毕竟有的网站的验证码是其他的情况（如，中文识别、滑块滑动等），这时就需要其他的技术了，如：使用图像处理的技术、第三方平台、Selenium自动登陆等。

[0ac2820bf7e764216a1de9e143408eb9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/5c6c9edf487a496d8029194b6a0ced15.png
[8f9d813e9a1b4d5c4c5252ef88908c9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/dfe57b1aee60467c91a05abe76332cce.png
[https_digi.bib.uni-mannheim.de_tesseract]: https://link.zhihu.com/?target=https%3A//digi.bib.uni-mannheim.de/tesseract/
[b21d765dcb3f5a321a8448a61ff2788a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0203f308925c48fa9c586c7504e7971e.png
[a41ceefa4e3b0765f148de7e5d900f43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/c0527245923d46f5b2f69153fafe8df4.png
[5d20c3818c2f9bb093b66ff448ae9906.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/6619ebe8218947e6bd1ba93df872e0b6.png
[a84de768ed64237559d236113ecd14f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/6b0f7b1df823462495cbfa501a25d952.png
[047747b1c66c1fc2270d68616635c1da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/28b4fab48aeb452ab27968fda97fcec0.png
[40c4db8b6d9df9acb7df949a7116100c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/c3f3a706e4b746caa05ad068d0b565a1.png
[923a75c7b09da65d62d71759138bd9a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/2c814328a19c4291a47ac9da1267abc0.png
[https_so.gushiwen.cn_user_login.aspx_from_http_so.gushiwen.cn_user_collect.aspx]: https://link.zhihu.com/?target=https%3A//so.gushiwen.cn/user/login.aspx%3Ffrom%3Dhttp%3A//so.gushiwen.cn/user/collect.aspx
[1c89ef46d78304a1ce69de0d0ab627cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/99f50ac6b3da49bfacc11fc1c7a8eb51.png
[ddcb1572971a485129c206eeb708ba81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/aa3afc1c95c94248bfdf83e6a12513ba.png
[cd18355096bcaa03f90d73d8c48ccc43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f150b3818ef54bac8163205c184ab6d1.png
[472f6cedece7bb9df592827e86b892a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/af17b16bcf794680a1736f0c3e591e7e.png
[6c50da66bef0f462b869e76abb6fffc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/9dffffe8eb4048f0b216418fa43de3e7.png
[5a070eb9df45fc97ed47a91525f658e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/e110192ba2114686b494c68387094bcd.png
[3e20261370ee5b916c2c36931e492b81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/62bf9050b89a45b9b07ce23146be2d09.png