deepface:实现人脸的识别和分析

电玩女神 2024-02-05 14:18 9阅读 0赞

## deepface介绍 ##

## deepface能够实现的功能 ##

**人脸检测：deepface 可以在图像中检测出人脸的位置，为后续的人脸识别任务提供基础。**

**人脸对齐：为了提高识别准确性，deepface 会将检测到的人脸进行对齐操作，消除姿态、光照和表情等因素对识别结果的影响。**

**特征提取：deepface 使用卷积神经网络（CNN）对齐后的人脸图像进行特征提取，将人脸转换为高维特征向量。**

**人脸识别：通过比较特征向量之间的相似度，deepface 可以识别出图像中的人脸是否属于同一个人。**

**人脸验证：deepface 可以用于人脸验证任务，即判断给定的两张人脸图像是否属于同一个人。**

**人脸搜索：deepface 可以在大型人脸数据库中搜索特定人物，通过比较特征向量找到与目标人物最相似的人脸。**

**人脸跟踪：deepface 可以在视频序列中跟踪人脸，实现实时的人脸识别和分析。**

**人脸年龄分析：deepface 可以估计图像中的人脸年纪。**

**人脸表情识别：deepface 可以估计图像中的人脸表情。**

**人种识别：deepface 可以识别出图像中的人脸属于什么人种。**

**性别分析：deepface 可以识别出图像中的人脸是什么性别。**

## **deepface功能的具体实现** ##

#### **1.人脸识别：识别两个人人脸是否属于同一个人** ####

api:

![43edca795d7041ceaeebad828d0e9777.png][]

各个参数的含义如下：

**img1\_path 和 img2\_path****：就是两张图片的路径，当然除了路径，还可以是 numpy 数组或 base64 字符串。verify 函数会将图像上的人脸部分表示为向量，然后计算相似度。如果其中一张图片出现了多张脸，比如 img1\_path 里面有一张脸，但 img2\_path 里面有三张脸，那么每一张脸都会进行比对，找到最相似的那一个。**

**model\_name****：deepface 已经集成了大量顶尖的人脸模型用于训练，比如：**

> "VGG-Face"、"OpenFace"、"Facenet"、"Facenet512"、"DeepFace"、"DeepID" "Dlib"、"ArcFace"、"SFace"、"Emotion"、"Age"、"Gender"、"Race"

**喜欢哪个就用哪个，但是模型需要下载，如果 deepface 检测到当前机器上没有指定的模型，那么会自动下载。所以当前第一次执行上面代码的时候，会下载 VGG-Face 模型（大小有好几百 M）。关于这些模型的区别，有兴趣可以自己了解一下，我们直接使用默认的即可。**

**detector\_backend****：检测器后端，负责提供人脸识别算法，因为 deepface 所使用的算法是由其它模块提供的，默认是 opencv。但除了 opencv 之外，还有其它选择。**

> "opencv", "retinaface", "mtcnn", "ssd", "dlib", "mediapipe"

**这些人脸检测器之间的区别，还是很重要的，我们来解释一下。**

*  **"opencv"：最轻量级的人脸检测器，使用不基于深度学习技术的 haar-cascade 算法，因此速度很快，但准确率较低。而为了使 OpenCV 正常工作，需要正面图像，如果脸侧了一下或者局部发生遮挡，准确率就会受到影响。此外也不擅长对眼睛的检测，容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。**
 *  **"dlib"：该检测器在后台使用 hog 算法，与 OpenCV 类似，它也不是基于深度学习的，但它的检测和对齐分数相对较高。**
 *  **"ssd"：单次检测器，它是一种流行的基于深度学习的检测器，但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点，并且依赖于 OpenCV 的眼睛检测模块来对齐，因此尽管其检测性能很高，但对准分数仅为平均水平。**
 *  **"mtcnn"：基于深度学习的人脸检测器，并带有面部特征点，所以它的检测和对齐得分都很高但是，但速度比 OpenCV，SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法，能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好，并且模型规模相对于 RetinaFace 的较小。**
 *  **"retinaface"：一种基于卷积神经网络的人脸检测算法，具有高精度的特点，被公认为是最先进的人脸检测算法，但需要很高的计算能力。相比 MTCNN，检测小尺寸人脸的效果更好。**

**因此如果你希望结果更加精确，那么使用 RetinaFace 或 MTCNN；如果希望检测速度更快，比如清洗一部分没有人脸的照片，那么可以使用 OpenCV 或 SSD。**

**distance\_metric****：距离（面部嵌入）度量方法，可以是 cosine、euclidean 或 euclidean\_l2。**

**enforce\_detection****：如果没有检测到人脸时，是否引发异常，可以将其设置为 False。**

**align****：是否执行面部对齐。(使用面部对齐，****消除姿态、光照和表情等因素对识别结果的影响。****)**

**normalization****：用于预处理图像的归一化技术。**

**代码实例：**

results = DeepFace.verify(src_file_path_name,make_file_path_name,model_name="retinaface", detector_backend="retinaface",enforce_detection=False,align=True)

>  *  `results["verified"]` 是一个布尔值，如果相似度超过某个阈值则返回`True`，表示系统认为这两张图片是同一个人。
>  *  `results["distance"]` 是一个数值，通常来说，这个值越小，表明两张图片的相似度越高。

> 采用不同模型和不同的后端算法阈值的大小均有所不同，
> 
>  *  对于 FaceNet 模型，阈值可能设置在 0.40 左右。
>  *  对于 VGG-Face 模型，阈值可能在 0.60 或更高。
> 
> `results["distance"]的值越小，代表两个人脸是同一个值`

#### 2.人脸识别：识别图片中存在多少个人脸 ####

results = DeepFace.extract_faces(
            pic,
            detector_backend="retinaface",
            enforce_detection=False)
        #print("result:", results)
        for result in results:
            face_area = result["facial_area"]
            cv2.rectangle(pic, (face_area['x'], face_area['y']),
                          (face_area['x'] + face_area['w'], face_area['y'] + face_area['h']), (255, 0, 0), 3)
        #判断双头结果
        if len(results)>1:
            cv2.imwrite(output_path_name, pic)
    with concurrent.futures.ThreadPoolExecutor(max_workers=4) as excutor:
        futures = []
        for imgname in tqdm(imgs_list):
            #遍历图片排除头的图像
            if "_head_" in imgname:
                continue
            #将图片全部加入任务
            path_filename = os.path.join(origin_path,imgname)
            task = excutor.submit(find_face,path_filename)
            futures.append(task)
        count = len(futures)
        print("共记录{}个任务".format(count))
        prad = tqdm(total=count,position=0)
        for future in concurrent.futures.as_completed(futures):
            prad.update(1)
            future.result()

应用：此种情况一般应用于检测图片中是否出现了多头的情况，这种情况deepface的准确率达到了99%

#### 3.人脸分析：使用deepface分析人的人种，人的性别，人的心情 ####

# 使用deepface对人脸进行分析，作为评判生图合理性的标准之一
    import time
    from openpyxl.drawing.image import Image
    from deepface import DeepFace
    import cv2
    import openpyxl
    import os
    from tqdm import tqdm
    py_path = os.path.dirname(__file__)
    imgs_path = "./inputDIc"
    img_dirs = os.listdir(imgs_path)
    OUTPUT_FILE =os.path.join(py_path,"analyze_{}.xlsx".format(time.strftime("%Y-%m-%d %H: %M: %S"),time.localtime()))
    path_filename = "./Newoutputimages_2/0_head_pic_Anime_0_balanced.png"
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.append(["img","angry","disguest","fear","happy","sad","surprise","neutral","dominant_emotion","age","gender-women","gender-man","dominant_race"])
    # 进行遍历
    print(img_dirs)
    print("共计{}张图片".format(len(img_dirs)))
    for img_name in tqdm(img_dirs):
        path_filename = os.path.join(imgs_path,img_name)
        try:
            results = DeepFace.analyze(path_filename, detector_backend="retinaface", enforce_detection=False, align=True)
        except Exception as e:
            print("error:",e)
            ws.append([path_filename])
            continue
        result = results[0]
        ws.append([path_filename, result["emotion"]["angry"], result["emotion"]["disgust"], result["emotion"]["fear"],
                   result["emotion"]["happy"], result["emotion"]["sad"], result["emotion"]["surprise"],
                   result["emotion"]["neutral"], result["dominant_emotion"], result["age"], result["gender"]["Man"],
                   result["gender"]["Woman"], result["dominant_gender"], result["dominant_race"]])
    
    # print(results)
    # print(len(results))
    # result = results[0]
    #加载图片
    img = Image(path_filename)
    #将分析结果写入excel表格中
    wb.save(OUTPUT_FILE)

[43edca795d7041ceaeebad828d0e9777.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/9fd1f39159694f029c978022dd35b7f7.png