网络爬虫中的验证码识别

Myth丶恋晨 2022-06-08 13:17 225阅读 0赞

# 网络爬虫遇到的验证码 #

在写网络，爬虫时，遇到很多网站存在验证码的情形，有其是比较烦的是，爬取数据的每一页都有验证码，如果只有登陆时，存在验证码，这个很好解决，只需将验证码获取后手动输入就行。  
但对于每页都有的，这种方式就不能够解决了，最简单的方式，是自动识别验证码，如果验证码识别成功，能过获得数据，则进行解析，如果验证码没办法识别，则刷新一次验证码，继续识别，直到识别验证码成功，并获得数据。  
类似，如下网站：  
[https://gsqcdzhdjpt.yyhj.zjzwfw.gov.cn/pda.do?method=enterPdajdcx][https_gsqcdzhdjpt.yyhj.zjzwfw.gov.cn_pda.do_method_enterPdajdcx]

![这里写图片描述][SouthEast]

该网站查询一次，就需要输入验证码一次，很烦人。

# 解决办法 #

目前验证码自动识别，无非就是自己写算法，利用一些开源工具，或者使用第三方收费的接口。  
根据自己所爬数据的网站，选择不同的方式，如对于简单的验证码，完全就可以使用开源软件，如tess4j。

![这里写图片描述][SouthEast 1]  
![这里写图片描述][SouthEast 2]  
针对这种简单的验证码，是完全可以高效的识别的。

# tess4j的使用 #

首先，在该网站中下载tess4j的安装包。  
[https://sourceforge.net/projects/tesseract-ocr-alt/files/?source=navbar][https_sourceforge.net_projects_tesseract-ocr-alt_files_source_navbar]  
比如，我下载的。  
![这里写图片描述][SouthEast 3]  
下载之后，点击安装就行了，其实我们最想要的是安装之后的这个文件夹，如下截图。  
![这里写图片描述][SouthEast 4]

接着，在maven中添加依赖jar包。

<dependency>
            <groupId>net.sourceforge.tess4j</groupId>
            <artifactId>tess4j</artifactId>
            <version>3.4.1</version>
    </dependency>

等该jar包及其相关依赖jar包下载完成后，使用一下程序便可以识别相关验证码。

package yanzhengma;
    
    import java.io.File;
    import net.sourceforge.tess4j.ITesseract;
    import net.sourceforge.tess4j.Tesseract;
    import net.sourceforge.tess4j.TesseractException;
    
    public class Test { 
        public static void main(String[] args) {
            try {
                File imageFile = new File("e:\\login.jpg");//图片位置
                ITesseract instance = new Tesseract();  // JNA Interface Mapping
                instance.setDatapath("F:\\Program Files (x86)\\Tesseract-OCR\\tessdata");//设置tessdata位置
                instance.setLanguage("osd");//选择字库文件（只需要文件名，不需要后缀名）
                String result = instance.doOCR(imageFile);//开始识别
                System.out.println("图片实际为：7588"+"\t图片识别结果为："+result);//打印图片内容
            } catch (TesseractException e) {
                e.printStackTrace();
            }
        }
    }

如下，为程序运行结果：  
![这里写图片描述][SouthEast 5]

所以，使用该程序对于简单的验证码，识别效果是很好的，但对于复杂度高一些的验证码，则效果并不是很理想。

[https_gsqcdzhdjpt.yyhj.zjzwfw.gov.cn_pda.do_method_enterPdajdcx]: https://gsqcdzhdjpt.yyhj.zjzwfw.gov.cn/pda.do?method=enterPdajdcx
[SouthEast]: /images/20220608/24abd514f26d44058802f37866a3f153.png
[SouthEast 1]: /images/20220608/a4070296807e4b758f76dae9072d0a02.png
[SouthEast 2]: /images/20220608/df820ac419ed4766b76f78194e9f8049.png
[https_sourceforge.net_projects_tesseract-ocr-alt_files_source_navbar]: https://sourceforge.net/projects/tesseract-ocr-alt/files/?source=navbar
[SouthEast 3]: /images/20220608/4d08c81bceff4683afa22d7be49ac6eb.png
[SouthEast 4]: /images/20220608/db77a32da1324f6a8919be1b251ddae3.png
[SouthEast 5]: /images/20220608/af9a3515a4e7470baf93efe450f9fdc7.png