计算机视觉：人脸识别与检测

太过爱你忘了你带给我的痛 2024-02-18 10:33 114阅读 0赞

目录

前言

识别检测方法

本文方法

项目解析

完整代码及效果展示

前言

人脸识别作为一种生物特征识别技术，具有非侵扰性、非接触性、友好性和便捷性等优点。人脸识别通用的流程主要包括人脸检测、人脸裁剪、人脸校正、特征提取和人脸识别。人脸检测是从获取的图像中去除干扰，提取人脸信息，获取人脸图像位置，检测的成功率主要受图像质量，光线强弱和遮挡等因素影响。下图是整个人脸检测过程。

8f5ed1bd9408443c9fe39ca92c254dc4.png

识别检测方法

  1. 传统识别方法
    (1)基于点云数据的人脸识别
    (2)基于面部特征的3D人脸识别
  2. 深度学习识别方法
    (1)基于深度图的人脸识别
    (2)基于RGB-3DMM的人脸识别
    (3)基于RGB-D的人脸识别

本文方法

关键点定位概述
一般人脸中有5个关键点，其中包括眼睛两个，鼻子一个，嘴角两个。还可以细致的分为68个关键点，这样的话会概括的比较全面，我们本次研究就是68个关键点定位。

d5db911b0c694fc5aaf44e87d19316bb.png

上图就是我们定位人脸的68个关键点，其中他的顺序是要严格的进行排序的。从1到68点的顺序不能错误。

d225ccd47f81476d81cd2c8acb575d22.png

项目解析

使用机器学习框架dlib做本次的项目。首先我们要指定参数时，要把dlib中的68关键点人脸定位找到。设置出来的68关键点人脸定位找到。并且设置出来。

  1. from collections import OrderedDict
  2. import numpy as np
  3. import argparse
  4. import dlib
  5. import cv2

首先我们导入工具包。其中dlib库是通过这个网址http://dlib.net/files/进行下载的。然后我们导入参数。

  1. ap = argparse.ArgumentParser()
  2. ap.add_argument("-p", "--shape-predictor", required=True,
  3.     help="path to facial landmark predictor")
  4. ap.add_argument("-i", "--image", required=True,
  5.     help="path to input image")
  6. args = vars(ap.parse_args())

这里我们要设置参数，
--shape-predictor shape_predictor_68_face_landmarks.dat —image images/lanqiudui.jpg。如果一张图像里面有多个人脸，那么我们分不同部分进行检测，裁剪出来所对应的ROI区域。我们的整体思路就是先检测人脸所在的一个区域位置，然后检测鼻子相对于人脸框所在的一个位置，比如说人的左眼睛在0.2w，0.2h的人脸框处。 

  1. FACIAL_LANDMARKS_68_IDXS = OrderedDict([
  2.     ("mouth", (48, 68)),
  3.     ("right_eyebrow", (17, 22)),
  4.     ("left_eyebrow", (22, 27)),
  5.     ("right_eye", (36, 42)),
  6.     ("left_eye", (42, 48)),
  7.     ("nose", (27, 36)),
  8.     ("jaw", (0, 17))
  9. ])

这个是68个关键点定位的各个部位相对于人脸框的所在位置。分别对应着嘴，左眼、右眼、左眼眉、右眼眉、鼻子、下巴。

  1. FACIAL_LANDMARKS_5_IDXS = OrderedDict([
  2.     ("right_eye", (2, 3)),
  3.     ("left_eye", (0, 1)),
  4.     ("nose", (4))
  5. ])

如果是5点定位，那么就需要定位左眼、右眼、鼻子。0、1、2、3、4分别表示对应的5个点。

  1. detector = dlib.get_frontal_face_detector()
  2. predictor = dlib.shape_predictor(args["shape_predictor"])

加载人脸检测与关键点定位。加载出来。其中detector默认的人脸检测器。然后通过传入参数返回人脸检测矩形框4点坐标。其中predictor以图像的某块区域为输入，输出一系列的点（point location）以表示此图像region里object的姿势pose。返回训练好的人脸68特征点检测器。 

  1. image = cv2.imread(args["image"])
  2. (h, w) = image.shape[:2]
  3. width=500
  4. r = width / float(w)
  5. dim = (width, int(h * r))
  6. image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
  7. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

这里我们把数据读了进来，然后进行需处理，提取h和w，其中我们自己设定图像的w为500，然后按照比例同比例设置h。然后进行了resize操作，最后转化为灰度图。

  1. rects = detector(gray, 1)

这里调用了detector的人脸框检测器，要使用灰度图进行检测，这个1是重采样个数。这里面返回的是人脸检测矩形框4点坐标。然后对检测框进行遍历

  1. for (i, rect) in enumerate(rects):
  2.     # 对人脸框进行关键点定位
  3.     # 转换成ndarray
  4.     shape = predictor(gray, rect)
  5.     shape = shape_to_np(shape)

这里面返回68个关键点定位。shape_to_np这个函数如下。

  1. def shape_to_np(shape, dtype="int"):
  2.     # 创建68*2
  3.     coords = np.zeros((shape.num_parts, 2), dtype=dtype)
  4.     # 遍历每一个关键点
  5.     # 得到坐标
  6.     for i in range(0, shape.num_parts):
  7.         coords[i] = (shape.part(i).x, shape.part(i).y)
  8.     return coords

这里shape_to_np函数的作用就是得到关键点定位的坐标。

  1. for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
  2.         clone = image.copy()
  3.         cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX,
  4.             0.7, (0, 0, 255), 2) 
  6.         # 根据位置画点
  7.         for (x, y) in shape[i:j]:
  8.             cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)
  10.         # 提取ROI区域
  11.         (x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))
  13.         roi = image[y:y + h, x:x + w]
  14.         (h, w) = roi.shape[:2]
  15.         width=250
  16.         r = width / float(w)
  17.         dim = (width, int(h * r))
  18.         roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)
  20.         # 显示每一部分
  21.         cv2.imshow("ROI", roi)
  22.         cv2.imshow("Image", clone)
  23.         cv2.waitKey(0)

这里字典FACIAL_LANDMARKS_68_IDXS.items()是同时提取字典中的key和value数值。然后遍历出来这几个区域，并且进行显示具体是那个区域，并且将这个区域画圆。随后提取roi区域并且进行显示。后面部分就是同比例显示w和h。然后展示出来。

  1. output = visualize_facial_landmarks(image, shape)
  2.     cv2.imshow("Image", output)
  3.     cv2.waitKey(0)

最后展示所有区域。
其中visualize_facial_landmarks函数就是：

  1. def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
  2.     # 创建两个copy
  3.     # overlay and one for the final output image
  4.     overlay = image.copy()
  5.     output = image.copy()
  6.     # 设置一些颜色区域
  7.     if colors is None:
  8.         colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),
  9.             (168, 100, 168), (158, 163, 32),
  10.             (163, 38, 32), (180, 42, 220)]
  11.     # 遍历每一个区域
  12.     for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
  13.         # 得到每一个点的坐标
  14.         (j, k) = FACIAL_LANDMARKS_68_IDXS[name]
  15.         pts = shape[j:k]
  16.         # 检查位置
  17.         if name == "jaw":
  18.             # 用线条连起来
  19.             for l in range(1, len(pts)):
  20.                 ptA = tuple(pts[l - 1])
  21.                 ptB = tuple(pts[l])
  22.                 cv2.line(overlay, ptA, ptB, colors[i], 2)
  23.         # 计算凸包
  24.         else:
  25.             hull = cv2.convexHull(pts)
  26.             cv2.drawContours(overlay, [hull], -1, colors[i], -1)
  27.     # 叠加在原图上，可以指定比例
  28.     cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
  29.     return output

这个函数是计算cv2.convexHull凸包的，也就是下图这个意思。

ae91e4ec2efd42339910d2da6e1ddfba.png

这个函数cv2.addWeighted是做图像叠加的。

src1, src2：需要融合叠加的两副图像，要求大小和通道数相等
alpha：src1 的权重
beta：src2 的权重
gamma：gamma 修正系数，不需要修正设置为 0
dst：可选参数，输出结果保存的变量，默认值为 None
dtype：可选参数，输出图像数组的深度，即图像单个像素值的位数（如 RGB 用三个字节表示，则为 24 位），选默认值 None 表示与源图像保持一致。

dst = src1 × alpha + src2 × beta + gamma;上面的式子理解为，结果图像 = 图像 1× 系数 1+图像 2× 系数 2+亮度调节量。

完整代码及效果展示

  1. from collections import OrderedDict
  2. import numpy as np
  3. import argparse
  4. import dlib
  5. import cv2
  7. ap = argparse.ArgumentParser()
  8. ap.add_argument("-p", "--shape-predictor", required=True,
  9.     help="path to facial landmark predictor")
  10. ap.add_argument("-i", "--image", required=True,
  11.     help="path to input image")
  12. args = vars(ap.parse_args())
  14. FACIAL_LANDMARKS_68_IDXS = OrderedDict([
  15.     ("mouth", (48, 68)),
  16.     ("right_eyebrow", (17, 22)),
  17.     ("left_eyebrow", (22, 27)),
  18.     ("right_eye", (36, 42)),
  19.     ("left_eye", (42, 48)),
  20.     ("nose", (27, 36)),
  21.     ("jaw", (0, 17))
  22. ])
  25. FACIAL_LANDMARKS_5_IDXS = OrderedDict([
  26.     ("right_eye", (2, 3)),
  27.     ("left_eye", (0, 1)),
  28.     ("nose", (4))
  29. ])
  31. def shape_to_np(shape, dtype="int"):
  32.     # 创建68*2
  33.     coords = np.zeros((shape.num_parts, 2), dtype=dtype)
  34.     # 遍历每一个关键点
  35.     # 得到坐标
  36.     for i in range(0, shape.num_parts):
  37.         coords[i] = (shape.part(i).x, shape.part(i).y)
  38.     return coords
  40. def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
  41.     # 创建两个copy
  42.     # overlay and one for the final output image
  43.     overlay = image.copy()
  44.     output = image.copy()
  45.     # 设置一些颜色区域
  46.     if colors is None:
  47.         colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),
  48.             (168, 100, 168), (158, 163, 32),
  49.             (163, 38, 32), (180, 42, 220)]
  50.     # 遍历每一个区域
  51.     for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
  52.         # 得到每一个点的坐标
  53.         (j, k) = FACIAL_LANDMARKS_68_IDXS[name]
  54.         pts = shape[j:k]
  55.         # 检查位置
  56.         if name == "jaw":
  57.             # 用线条连起来
  58.             for l in range(1, len(pts)):
  59.                 ptA = tuple(pts[l - 1])
  60.                 ptB = tuple(pts[l])
  61.                 cv2.line(overlay, ptA, ptB, colors[i], 2)
  62.         # 计算凸包
  63.         else:
  64.             hull = cv2.convexHull(pts)
  65.             cv2.drawContours(overlay, [hull], -1, colors[i], -1)
  66.     # 叠加在原图上，可以指定比例
  67.     cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
  68.     return output
  70. # 加载人脸检测与关键点定位
  71. detector = dlib.get_frontal_face_detector()
  72. predictor = dlib.shape_predictor(args["shape_predictor"])
  74. # 读取输入数据，预处理
  75. image = cv2.imread(args["image"])
  76. (h, w) = image.shape[:2]
  77. width=500
  78. r = width / float(w)
  79. dim = (width, int(h * r))
  80. image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
  81. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
  83. # 人脸检测
  84. rects = detector(gray, 1)
  86. # 遍历检测到的框
  87. for (i, rect) in enumerate(rects):
  88.     # 对人脸框进行关键点定位
  89.     # 转换成ndarray
  90.     shape = predictor(gray, rect)
  91.     shape = shape_to_np(shape)
  93.     # 遍历每一个部分
  94.     for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
  95.         clone = image.copy()
  96.         cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX,
  97.             0.7, (0, 0, 255), 2) 
  99.         # 根据位置画点
  100.         for (x, y) in shape[i:j]:
  101.             cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)
  103.         # 提取ROI区域
  104.         (x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))
  106.         roi = image[y:y + h, x:x + w]
  107.         (h, w) = roi.shape[:2]
  108.         width=250
  109.         r = width / float(w)
  110.         dim = (width, int(h * r))
  111.         roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)
  113.         # 显示每一部分
  114.         cv2.imshow("ROI", roi)
  115.         cv2.imshow("Image", clone)
  116.         cv2.waitKey(0)
  118.     # 展示所有区域
  119.     output = visualize_facial_landmarks(image, shape)
  120.     cv2.imshow("Image", output)
  121.     cv2.waitKey(0)

80d1f06c415749bb848425280ee5b573.png

37ac045f72a9489e8cc2ce05c30426a7.png

最终将7个人的人脸都依次的检测到了。并且根据关键点定位到了。

67c682069ac24ca895bba89d19c011ee.png

如果觉得博主的文章还不错或者您用得到的话，可以免费的关注一下博主，如果三连收藏支持就更好啦！这就是给予我最大的支持！

发表评论

表情：
评论列表 （有 0 条评论，114人围观）

还没有评论，来说两句吧...

相关阅读

    相关 iOS 人脸识别(检测)

    本文用的是系统自带的人脸识别功能，跟扫二维码条形码是一样的，但是系统只能识别出这是人的脸，至于高级的判断这张脸是谁的，需要更高级的第三方库了。 这里是检测到有人脸，然后三秒后

    约定不等于承诺〃约定不等于承诺〃/ 0 赞/ 362 阅读

    相关 人脸识别系统_人脸检测

    项目：基于人脸识别的无卡ATM机模拟系统 主要实现内容： 包括实现AMT机模拟人脸识别和密码输入、PC端模拟实现储户数据库服务器系统。 1. ATM模拟端实现采用手

    亦凉亦凉/ 0 赞/ 482 阅读