OpenCV：人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器

小灰灰 2023-07-23 07:55 76阅读 0赞

" class="reference-link">20191009191333910.png

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

案例:人脸案例

学习目标

  1. 了解opencv进行人脸检测的流程
  2. 了解Haar特征分类器的内容

1 基础

我们使用机器学习的方法完成人脸检测，首先需要大量的正样本图像（面部图像）和负样本图像（不含面部的图像）来训练分类器。我们需要从其中提取特征。下图中的 Haar 特征会被使用，就像我们的卷积核，每一个特征是一 个值，这个值等于黑色矩形中的像素值之后减去白色矩形中的像素值之和。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70

Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。

Haar特征可用于于图像任意位置，大小也可以任意改变，所以矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。故类别、大小和位置的变化，使得很小的检测窗口含有非常多的矩形特征。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1

得到图像的特征后，训练一个决策树构建的adaboost级联决策器来识别是否为人脸。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2

2.实现

OpenCV中自带已训练好的检测器，包括面部，眼睛，猫脸等，都保存在XML文件中，我们可以通过以下程序找到他们：

  1. import cv2 as cv
  2. print(cv.__file__)

找到的文件如下所示：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3

OpenCV中自带已训练好的检测器 位于 G:\Anaconda3\Lib\site-packages\cv2\data 路径下

  1. haarcascade_eye.xml
  2. haarcascade_eye_tree_eyeglasses.xml
  3. haarcascade_frontalcatface.xml
  4. haarcascade_frontalcatface_extended.xml
  5. haarcascade_frontalface_alt.xml
  6. haarcascade_frontalface_alt2.xml
  7. haarcascade_frontalface_alt_tree.xml
  8. haarcascade_frontalface_default.xml
  9. haarcascade_fullbody.xml
  10. haarcascade_lefteye_2splits.xml
  11. haarcascade_licence_plate_rus_16stages.xml
  12. haarcascade_lowerbody.xml
  13. haarcascade_profileface.xml
  14. haarcascade_righteye_2splits.xml
  15. haarcascade_russian_plate_number.xml
  16. haarcascade_smile.xml
  17. haarcascade_upperbody.xml

那我们就利用这些文件来识别人脸，眼睛等。检测流程如下：

  1. 读取图片，并转换成灰度图

  2. 实例化人脸和眼睛检测的分类器对象

    1. # 实例化级联分类器
    2. classifier =cv.CascadeClassifier( "haarcascade_frontalface_default.xml" ) 
    3. # 加载分类器
    4. classifier.load('haarcascade_frontalface_default.xml')

  3. 进行人脸和眼睛的检测

    1. rect = classifier.detectMultiScale(gray, scaleFactor, minNeighbors, minSize,maxsize)

    参数：

    • Gray: 要进行检测的人脸图像
    • scaleFactor: 前后两次扫描中，搜索窗口的比例系数
    • minneighbors：目标至少被检测到minNeighbors次才会被认为是目标
    • minsize和maxsize: 目标的最小尺寸和最大尺寸
  4. 将检测结果绘制出来就可以了。

主程序如下所示：

  1. import cv2 as cv
  2. import matplotlib.pyplot as plt
  3. # 1.以灰度图的形式读取图片
  4. img = cv.imread("16.jpg")
  5. gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
  7. # 2.实例化OpenCV人脸和眼睛识别的分类器 
  8. face_cas = cv.CascadeClassifier( "haarcascade_frontalface_default.xml" ) 
  9. face_cas.load('haarcascade_frontalface_default.xml')
  11. eyes_cas = cv.CascadeClassifier("haarcascade_eye.xml")
  12. eyes_cas.load("haarcascade_eye.xml")
  14. # 3.调用识别人脸 
  15. faceRects = face_cas.detectMultiScale( gray, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32)) 
  16. for faceRect in faceRects: 
  17.     x, y, w, h = faceRect 
  18.     # 框出人脸 
  19.     cv.rectangle(img, (x, y), (x + h, y + w),(0,255,0), 3) 
  20.     # 4.在识别出的人脸中进行眼睛的检测
  21.     roi_color = img[y:y+h, x:x+w]
  22.     roi_gray = gray[y:y+h, x:x+w]
  23.     eyes = eyes_cas.detectMultiScale(roi_gray) 
  24.     for (ex,ey,ew,eh) in eyes:
  25.         cv.rectangle(roi_color,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)
  26. # 5. 检测结果的绘制
  27. plt.figure(figsize=(8,6),dpi=100)
  28. plt.imshow(img[:,:,::-1]),plt.title('检测结果')
  29. plt.xticks([]), plt.yticks([])
  30. plt.show()

结果：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4

我们也可在视频中对人脸进行检测：

  1. import cv2 as cv
  2. import matplotlib.pyplot as plt
  3. # 1.读取视频
  4. cap = cv.VideoCapture("movie.mp4")
  5. # 2.在每一帧数据中进行人脸识别
  6. while(cap.isOpened()):
  7.     ret, frame = cap.read()
  8.     if ret==True:
  9.         gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)
  10.         # 3.实例化OpenCV人脸识别的分类器 
  11.         face_cas = cv.CascadeClassifier( "haarcascade_frontalface_default.xml" ) 
  12.         face_cas.load('haarcascade_frontalface_default.xml')
  13.         # 4.调用识别人脸 
  14.         faceRects = face_cas.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32)) 
  15.         for faceRect in faceRects: 
  16.             x, y, w, h = faceRect 
  17.             # 框出人脸 
  18.             cv.rectangle(frame, (x, y), (x + h, y + w),(0,255,0), 3) 
  19.         cv.imshow("frame",frame)
  20.         if cv.waitKey(1) & 0xFF == ord('q'):
  21.             break
  22. # 5. 释放资源
  23. cap.release()  
  24. cv.destroyAllWindows()

总结

opencv中人脸识别的流程是：

  1. 读取图片，并转换成灰度图

  2. 实例化人脸和眼睛检测的分类器对象

    实例化级联分类器

    classifier =cv.CascadeClassifier( “haarcascade_frontalface_default.xml” )

    加载分类器

    classifier.load(‘haarcascade_frontalface_default.xml’)

  3. 进行人脸和眼睛的检测

    rect = classifier.detectMultiScale(gray, scaleFactor, minNeighbors, minSize,maxsize)

  4. 将检测结果绘制出来就可以了。

我们也可以在视频中进行人脸识别

In [1]:

  1. import cv2 as cv
  3. import matplotlib.pyplot as plt

In [2]:

  1. img = cv.imread('./image/yangzi.jpg')

In [3]:

  1. gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)

In [4]:

  1. # 实例化检测器
  3. face_cas = cv.CascadeClassifier( "haarcascade_frontalface_default.xml" )
  5. face_cas.load('haarcascade_frontalface_default.xml')
  7. eyes_cas = cv.CascadeClassifier("haarcascade_eye.xml")
  9. eyes_cas.load("haarcascade_eye.xml")

Out[4]:

  1. True

In [5]:

  1. # 人脸检测
  3. face_rects = face_cas.detectMultiScale(gray,scaleFactor =1.2,minNeighbors = 3,minSize=(32,32))

In [6]:

  1. # 绘制人脸检测眼睛
  3. for facerect in face_rects:
  5. x,y,w,h = facerect
  7. cv.rectangle(img,(x,y),(x+w,y+h),(0,255,0),3)
  9. roi_color = img[y:y+h,x:x+w]
  11. roi_gray = gray[y:y+h,x:x+w]
  13. eyes = eyes_cas.detectMultiScale(roi_gray)
  15. for (ex,ey,ew,eh) in eyes:
  17. cv.rectangle(roi_color,(ex,ey),(ex+ew,ey+eh),(0,255,0),3)

In [7]:

  1. plt.imshow(img[:,:,::-1])

Out[7]:

  1. <matplotlib.image.AxesImage at 0x12f4359d0>

20200407160619750.png

python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛

  1. import numpy as np
  2. import cv2
  3. import cv2 as cv
  4. import matplotlib.pyplot as plt
  6. # 实例化检测器
  7. face_cas = cv.CascadeClassifier("haarcascade_frontalface_default.xml" )
  8. face_cas.load('haarcascade_frontalface_default.xml')
  10. eyes_cas = cv.CascadeClassifier("haarcascade_eye.xml")
  11. eyes_cas.load("haarcascade_eye.xml")
  13. # 调用笔记本内置摄像头，所以参数为0，如果有其他的摄像头可以调整参数为1，2
  14. cap = cv2.VideoCapture(0)
  15. while True:
  16.     # 从摄像头读取图片
  17.     sucess, img = cap.read()
  19.     # 转为灰度图片
  20.     # gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
  21.     # 显示摄像头，背景是灰度。
  22.     # cv2.imshow("img", gray)
  23.     #彩色显示图像
  24.     # cv2.imshow("img", img)
  26.     # 以灰度图的形式读取图片
  27.     gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
  28.     # 调用识别人脸
  29.     faceRects = face_cas.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))
  31.     for faceRect in faceRects:
  32.         x, y, w, h = faceRect
  33.         # 框出人脸
  34.         cv.rectangle(img, (x, y), (x + h, y + w), (0, 255, 0), 3)
  35.         # 4.在识别出的人脸中进行眼睛的检测
  36.         roi_color = img[y:y + h, x:x + w]
  37.         roi_gray = gray[y:y + h, x:x + w]
  38.         eyes = eyes_cas.detectMultiScale(roi_gray)
  39.         for (ex, ey, ew, eh) in eyes:
  40.             cv.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
  41.     ## 检测结果的绘制
  42.     # plt.figure(figsize=(8, 6), dpi=100)
  43.     # plt.imshow(img[:, :, ::-1]), plt.title('检测结果')
  44.     # plt.xticks([]), plt.yticks([])
  45.     # plt.show()
  47.     #彩色显示图像
  48.     cv2.imshow("img", img)
  50.     # 保持画面的持续。
  51.     k = cv2.waitKey(1)
  52.     if k == 27:
  53.         # 通过esc键退出摄像
  54.         cv2.destroyAllWindows()
  55.         break
  56.     elif k == ord("s"):
  57.         # 通过s键保存图片，并退出。
  58.         cv2.imwrite("image2.jpg", img)
  59.         cv2.destroyAllWindows()
  60.         break
  62. # 关闭摄像头
  63. cap.release()

发表评论

表情：
评论列表 （有 0 条评论，76人围观）

还没有评论，来说两句吧...

相关阅读