人脸数据集——亚洲人脸数据集

妖狐艹你老母 2022-05-15 10:07 294阅读 0赞

*  # 大规模亚洲人脸数据的制作 #

在这次大规模亚洲人脸数据制作主要是亚洲明星人脸数据集，此次我爬取了大概20万张亚洲人脸图像，可以修改爬取每位明星图片的数量来获取更多的图片，过程中主要分以下几步：

*  ## 获取明星名字列表 ##

（1）、首先从百度搜索栏中搜索“明星”，显示出明星栏目，地区包括内地、香港、台湾、韩国和日本，如下图：

![70][]

（2）、使用python爬虫将这些明星的名字爬取下来，代码如下所示：

import os
    import time
    import json
    import requests
    
    def getManyPages(pages):
        params=[]
        for i in range(0, 12*pages+12, 12):
            params.append({
                'resource_id': 28266,
                'from_mid': 1,
                'format': 'json',
                'ie': 'utf-8',
                'oe': 'utf-8',
                'query': '台湾明星',
                'sort_key': '',
                'sort_type': 1,
                'stat0': '',
                'stat1': '台湾',
                'stat2': '',
                'stat3': '',
                'pn': i,
                'rn': 12
                      })
        url = 'https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php'
    #    names = []
    #    img_results = []
        x = 0
        f = open('starName.txt', 'w')
        for param in params:
            try:
                res = requests.get(url, params=param)
                js = json.loads(res.text)
                results = js.get('data')[0].get('result')
            except AttributeError as e:
                print(e)
                continue
            for result in results:
                img_name = result['ename']
    #            img_url = result['pic_4n_78']
    #            img_result =  [img_name,img_url]
    #            img_results.append(img_result)
                f.write(img_name+'\n')
        #        names.append(img_name)
    
            if x % 10 == 0:
                print('第%d页......'%x)
            x += 1
        f.close()
    
    if __name__ == '__main__':
        getManyPages(400)

这里需要注意：params里的‘query’：‘台湾明星’；‘start1’：‘台湾’，对应台湾地区的明星，修改这两个值可以获得‘内地’、‘香港’、‘韩国’等地区的明星。从图一可以看出，每页有12位明星，getManyPages(400)是获取400页的明星名单结果，也就是12\*400=4800位明星名单，通过修改获取页码值来获取更多明星的名单，将获取的明星名单保存成文本文件，在后续操作中将会用到，同时也能避免代码终止又要重新爬取。

*  ## 根据名单列表爬取明星图片 ##

这里我将使用开源的网络爬虫来爬取明星图片，需要导入icrawler库，对该库的详细介绍，读者可以自己百度；由于一些小明星的照片在百度上有可能搜不到，并且百度上照片有时会很杂，所以这里我将在Bing搜索上爬取明星人脸图片，代码如下：

import os
    from icrawler.builtin import BingImageCrawler
    path = r'E:\weather_test\BingImage'
    f = open('KoreaStarName.txt', 'r')
    lines = f.readlines()
    for i, line in enumerate(lines):
        name = line.strip('\n')
        file_path = os.path.join(path, name)
        if not os.path.exists(file_path):
            os.makedirs(file_path)
        bing_storage = {'root_dir': file_path}
        bing_crawler = BingImageCrawler(parser_threads=2, downloader_threads=4, storage=bing_storage)
        bing_crawler.crawl(keyword=name, max_num=10)
        print('第{}位明星：{}'.format(i, name))

其中，path为将要保存爬取的明星图片的路径，可以.txt文件为上一步爬取的明星名单文件，通过修改

bing\_crawler.crawl()中的max\_num的值来改变爬取每位明星的图像数目。

*  ## 对爬取的明星图片做粗略清洗 ##

这里主要针对非人脸图像的清洗，由于爬取的图像里有可能出现非人像图片，需要对它进行删除，通过对图像人脸判断来确认是否包含人脸图像，代码如下：

其中，使用face\_recognition库检测图像上是否有人脸，该库在windows上的安装比较麻烦，读者可以百度，有详细的windows安装教程，同时也使用了一些容错代码，避免出现错误，代码运行中断。path为爬取明星图片的文件目录，new\_path为清洗后保存到的人脸图像目录。

import os
    import face_recognition
    from PIL import Image
    from PIL import ImageFile
    import threading
    ImageFile.LOAD_TRUNCATED_IMAGES = True
    
    def process_img(path, new_path):
        dirs = os.listdir(path)
        for pic_dir in dirs:
            print(pic_dir)
            dir_path = os.path.join(path, pic_dir)
            pics = os.listdir(dir_path)
            for pic in pics:
                pic_path = os.path.join(dir_path, pic)
                image = face_recognition.load_image_file(pic_path)
                face_locations = face_recognition.face_locations(image)
                if len(face_locations) == 0:
                    continue
                img = Image.open(pic_path)
                new_pic_path = os.path.join(new_path, pic_dir)
                if not os.path.exists(new_pic_path):
                    os.makedirs(new_pic_path)
                if len(img.split()) == 4:
                    # 利用split和merge将通道从四个转换为三个
                    r, g, b, a = img.split()
                    toimg = Image.merge("RGB", (r, g, b))
                    toimg.save(new_pic_path + '\\' + pic)
                else:
                    try:
                        img.save(new_pic_path + '\\' + pic)
                    except:
                        continue
            print('Finish......!')
    
    def lock_test(path, new_path):
        mu = threading.Lock()
        if mu.acquire(True):
            process_img(path, new_path)
            mu.release()
    
    if __name__ == '__main__':
        paths = [r'E:\weather_test\亚洲人脸4_1', r'E:\weather_test\亚洲人脸4_2', r'E:\weather_test\亚洲人脸4_3',
                 r'E:\weather_test\亚洲人脸4_4', r'E:\weather_test\亚洲人脸4_5', r'E:\weather_test\亚洲人脸4_6']
        new_paths = [r'E:\weather_test\4_1', r'E:\weather_test\4_2', r'E:\weather_test\4_3', r'E:\weather_test\4_4',
                     r'E:\weather_test\4_5', r'E:\weather_test\4_6']
        for i in range(len(paths)):
            my_thread = threading.Thread(target=lock_test, args=(paths[i], new_paths[i]))
            my_thread.start()

[70]: /images/20220515/8e810e310bdb4ebeaf4d27eed7b2e823.png