利用神经网络识别12306验证码——（二）收集文字验证码图片

短命女 2022-11-14 10:24 164阅读 0赞

惊喜.jpg——给大家分享一份我整理的粗糙的数据集  
[网盘链接][Link 1]  
提取码：n51k  
这部分数据样本有点少，拿去训练的话准确率比较低，只能达到50%左右。  
12306验证码图片包含两部分，一部分是上边的文字，一部分是下面的图片![在这里插入图片描述][20210328204345888.jpg_pic_center]  
对于文字部分，可以直接从上面的验证码图片抠出来。所以，先爬个几千张验证码图片，程序如下。

import requests
    import base64
    import time
    import random
    import os
    
    path = 'D:/captcha/'
    os.mkdir(path)  #创建文件夹
    sleep_lst = [0.5, 0.8, 0.7, 0.6, 1, 1.5, 2]
    cap_url = 'https://kyfw.12306.cn/passport/captcha/captcha-image64'
    for i in range(1, 5001):
        response = requests.get(cap_url)
        if response.status_code == 200:
            json = response.json()
            img = json['image']
            img = base64.b64decode(img)
            picture_name = str(i) + '.jpg'
            with open(path + picture_name, 'wb') as f:
                f.write(img)
        time.sleep(random.choice(sleep_lst))

我这里也给大家分享一份之前下载的9000多张验证码。不过还是建议先写程序试试。  
[12306验证码网盘链接][12306]  
提取码：n52k  
图片下载好之后，就可以开始抠文字了，文字部分也有两种情况：1、一个词，2、两个词；根据区域长度来判断是哪种情况。程序如下

from PIL import Image
    import numpy as np
    import os
    #import shutil
    
    #判断文字部分词的数量
    def judge_image_bk(raw_image):
        if isinstance(raw_image, str):
            raw_image = Image.open(raw_image)
        try:
            image = raw_image.crop((118, 0, 230, 28))
        except:
            return
        image = image.convert('P')
        image_array = np.asarray(image)
    
        image_array = image_array[24:28]
        if np.mean(image_array) > 200:
            return 1
        else:
            return 2
    
    #把文字抠出来
    def split_image_text(raw_image, image_shape, name, save_dir, mode=1):
        if isinstance(raw_image, str):
            raw_image = Image.open(raw_image)
    
        image = raw_image.crop((118, 0, 230, 28))
        res = []
        if mode == 1:
            image_array = np.asarray(image)
            image_array = image_array[6:22]
            image_array = np.mean(image_array, axis=2)
            image_array = np.mean(image_array, axis=0)
            image_array = np.reshape(image_array, [-1])
            indices = np.where(image_array < 240)
            res.append([indices[0][0], indices[0][-1]])
    
        if mode == 2:
            image_p = image.convert('P')
            image_array = np.asarray(image_p)
            image_array = image_array[6:22]
            image_array = np.mean(image_array, axis=0)
            avg_image = np.reshape(image_array, [-1])
            indices = np.where(avg_image < 190)
            start = indices[0][0] - 1
            end = indices[0][0] - 1
            for i in indices[0]:
                if i == end + 1:
                    end = i
                else:
                    if end - start > 10:
                        res.append([start+1, end])
                    start = i
                    end = i
            if end - start > 10:
                res.append([start+1, end])
        text = [image.crop((x1, 0, x2, 28)).resize(image_shape) for x1, x2 in res]
        
        for i in range(len(text)):
            text[i].save(os.path.join(os.getcwd(), save_dir, name[i] + '.jpg'))
        #return text
        
    save_dir = 'text_captcha'	#保存文本图片的文件夹
    os.mkdir(os.path.join(os.getcwd(),save_dir))
    
    items = os.listdir('D:/captcha')  #获取前面下载的5000张验证码图片
    count = 0
    for item in items:
        count += 1
        try:
            mode = judge_image_bk('D:/captcha/' + item)
            print('当前图片词数量：', mode)
            name = [count] if mode == 1 else [count, count+1]
            count = count if mode == 1 else count + 1
            split_image_text('D:/captcha/' + item, (64, 64), name, save_dir, mode)
        except:
            print('图片错误：', item)

不出意外的话，文字图片已经抠出来了。下图是我标注过的文字图片部分。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70_pic_center]  
另外，当文本是两个词的时候，图片底色是灰色，比如下面的验证码图片，和文本的颜色十分接近，这时可以采用二值化的方法去除图片底色，不过因为底色和字体颜色很接近，二值化的效果也不是很好。介绍两种方法  
![在这里插入图片描述][fd6bad041c754df58da0894014b4e82d.jpg]  
第一种，利用cv2的自适应二值化，代码如下

#这部分代码承接split_image_text函数
    if mode == 2:
    	text = []
    	for x1, x2 in res:
    	img = image.crop((x1, 0, x2, 28)).resize(image_shape)
    	img = cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2GRAY)
    	binary = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 25, 6)
    	text.append(binary)
    	#cv2格式转为Image格式
    	#Image.fromarray(cv2.cvtColor(binary, cv2.COLOR_BGR2RGB))

效果如下  
![在这里插入图片描述][a459e30b755c4e3ea35ac31a798a035f.jpg]  
![在这里插入图片描述][b49c2e719a4348a0b96e8327d1f0b4e5.jpg]  
可以看到，二值化后有不少噪声，下面通过8邻域降噪的方法对上面二值化后的文本图片进行降噪。

#8邻域降噪也就是比较某一点的像素值与其周围8个点的像素值，看相等的点有多少个
    #N为阈值，小于N，则该点视为噪声，将其设为白色
    #z是降噪次数
    #image是二值化图
    #参考：https://www.cnblogs.com/xuchunlin/p/9234455.html
    def clearNosie(image, N, z):
        rows, cols = image.shape
        for col in range(cols):
            image[0, col] = 255
            image[rows-1, col] = 255
        for i in range(z):
            for x in range(1, rows-1):
                for y in range(1, cols-1):
                    nearDots = 0
                    L = image[x, y]
                    if L == image[x-1, y-1]:
                        nearDots += 1
                    if L == image[x-1, y]:
                        nearDots += 1
                    if L == image[x-1, y+1]:
                        nearDots += 1
                    if L == image[x, y-1]:
                        nearDots += 1
                    if L == image[x, y+1]:
                        nearDots += 1
                    if L == image[x+1, y-1]:
                        nearDots += 1
                    if L == image[x+1, y]:
                        nearDots += 1
                    if L == image[x+1, y+1]:
                        nearDots += 1
                    if nearDots < N:
                        image[x, y] = 255
        return image

当N = 4，z = 2，效果如下  
![在这里插入图片描述][48cd7fc1938b4d1da3d36e443ef41325.jpg]  
![在这里插入图片描述][a39cd3cfc80f4ba7a396a9a50f22009b.jpg]  
第二种，先对灰底文本图片进行直方图均衡，进行图像增强，然后再将其二值化，代码如下

import cv2
    img = cv2.imread('D:\\python\\ant.jpg')
    gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    #自适应直方图均衡
    clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
    cl1 = clahe.apply(gray_img)
    #大于100灰度值的像素置为255，低于100灰度值为0。经过尝试，100阈值的效果好一点
    ret, binary = cv2.threshold(cl1, 100, 255,cv2.THRESH_BINARY)

效果如下，感觉比前一种稍微好一点  
![在这里插入图片描述][26e6e19cf8a9413fa0d03f06172ad2b8.jpg]  
![在这里插入图片描述][7e8557ed73924c07b9c264f2754e24ce.jpg]

重点来了，抠下来的图片是不知道对应的标签的，所以又得进行人工标注了。。。![在这里插入图片描述][20210328214158759.jpg_pic_center]  
祝各位开心标注！如果不想自己标注，可以联系我，但是这个不能免费提供噢，实在是花了我不少时间，请理解！！！

[Link 1]: https://pan.baidu.com/s/1bRliT3fDeKuOQc8ctzLDBw
[20210328204345888.jpg_pic_center]: /images/20221022/cbc728cee2084d7b83cafd3a8b9dd4e3.png
[12306]: https://pan.baidu.com/s/1petXvtoC3LWFEOYTQWJBVQ
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pheV93b25kZXI_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/365993ef8c2f4c91a93a09bdfc932b0c.png
[fd6bad041c754df58da0894014b4e82d.jpg]: https://img-blog.csdnimg.cn/fd6bad041c754df58da0894014b4e82d.jpg
[a459e30b755c4e3ea35ac31a798a035f.jpg]: https://img-blog.csdnimg.cn/a459e30b755c4e3ea35ac31a798a035f.jpg
[b49c2e719a4348a0b96e8327d1f0b4e5.jpg]: https://img-blog.csdnimg.cn/b49c2e719a4348a0b96e8327d1f0b4e5.jpg
[48cd7fc1938b4d1da3d36e443ef41325.jpg]: https://img-blog.csdnimg.cn/48cd7fc1938b4d1da3d36e443ef41325.jpg
[a39cd3cfc80f4ba7a396a9a50f22009b.jpg]: https://img-blog.csdnimg.cn/a39cd3cfc80f4ba7a396a9a50f22009b.jpg
[26e6e19cf8a9413fa0d03f06172ad2b8.jpg]: https://img-blog.csdnimg.cn/26e6e19cf8a9413fa0d03f06172ad2b8.jpg
[7e8557ed73924c07b9c264f2754e24ce.jpg]: https://img-blog.csdnimg.cn/7e8557ed73924c07b9c264f2754e24ce.jpg
[20210328214158759.jpg_pic_center]: https://img-blog.csdnimg.cn/20210328214158759.jpg#pic_center