JavaCV人脸识别三部曲之一：视频中的人脸保存为图片

迷南。 2024-03-17 16:58 76阅读 0赞

#### **关于人脸识别** ####

*  实现了检测人脸并用方框标注出来，但仅框出人脸作用不大，最好是识别出此人的身份，这样就能做很多事情了，例如签到、告警等，这就是接下来咱们要挑战的**人脸识别**
 *  人脸识别涉及到两个步骤：训练和识别，接下来简单说明解释一下
 *  先看什么是训练，如下图，用两位天王的六张照片来训练，一共两个类别，训练完成后得到模型文件faceRecognizer.xml：
    
    ![47c355ffa108d51692940143582cc6da.png][]
 *  训练成功后， 我们拿一张新的照片给模型去识别，得到的结果是训练时的类别，如此识别完成，我们已确定了新照片的身份：
    
    ![e3ac638093cc362e09661b4b79b6de50.png][]
 *  下面用流程图将训练和识别说得更详细一些：
    
    ![1d23aa18c1d54fb69b31097720b6d1e4.png][]

#### **关于《JavaCV人脸识别三部曲》** ####

《JavaCV人脸识别三部曲》一共三篇文章，内容如下：

1.  《视频中的人脸保存为图片》：本篇介绍如何通过JavaCV将摄像头中的每个人脸都检测出来，并且把每个人脸保存为图片，这种方法可以让我们快速获取大量人脸照片用于训练
2.  《训练》：讲述如何用分类好的照片去训练模型
3.  《识别和预览》：拿到训练好的模型，去识别视频中每一帧的人脸，把结果标注到图片上预览

*  整个三部曲也是《JavaCV的摄像头实战》系列的一部分，分别是《JavaCV的摄像头实战》系列的的第九、第十、第十一篇

#### **本篇概览** ####

*  本篇要做的事情就是把训练用的照片准备好
 *  您可能会疑惑：我自己去找一些照片不就行了吗？去网上搜、去相册搜、去拍照不都可以吗？没错，只要找到您想识别的人脸即可，而本篇介绍的是另一种方法：借助摄像头检测人脸，然后将人脸大小的照片保存在硬盘，用这些照片来训练，实测多张照片训练处的模型在检测新照片时效果更好
 *  具体做法如下：

1.  写个程序，对摄像头的照片做人脸检测，每个检测到的人脸，都作一张图片保存，注意不是摄像头视频帧的完整图片，而是检测出每张人脸，把这个人脸的矩形作为图片保存，而且保存的是灰度图片，不是彩色图片（训练和检测只需要灰度图片）
2.  然后找个没人的地方运行程序，一个人对着摄像头，开始......**搔首弄姿**，各种光线明暗、各种角度、各种表情都用上，作为图片保存

*  用这些图片训练出的模型，由于覆盖了各种亮度、角度、表情，最终的识别效果会更好
 *  接下来我们就来写这段程序吧

#### **源码下载** ####

*  《JavaCV的摄像头实战》的完整源码可在GitHub下载到，地址和链接信息如下表所示([https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos])：

<table> 
 <thead> 
 <tr> 
 <th style="background-color:#fafafa;text-align:left;">名称</th> 
 <th style="background-color:#fafafa;text-align:left;">链接</th> 
 <th style="background-color:#fafafa;text-align:left;">备注</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="border-color:#c0c0c0;text-align:left;">项目主页</td> 
 <td style="border-color:#c0c0c0;text-align:left;"><a href="https://github.com/zq2599/blog_demos" title="https://github.com/zq2599/blog_demos" rel="nofollow">https://github.com/zq2599/blog_demos</a></td> 
 <td style="border-color:#c0c0c0;text-align:left;">该项目在GitHub上的主页</td> 
 </tr> 
 <tr> 
 <td style="border-color:#c0c0c0;text-align:left;">git仓库地址(https)</td> 
 <td style="border-color:#c0c0c0;text-align:left;"><a href="https://github.com/zq2599/blog_demos.git" title="https://github.com/zq2599/blog_demos.git" rel="nofollow">https://github.com/zq2599/blog_demos.git</a></td> 
 <td style="border-color:#c0c0c0;text-align:left;">该项目源码的仓库地址，https协议</td> 
 </tr> 
 <tr> 
 <td style="border-color:#c0c0c0;text-align:left;">git仓库地址(ssh)</td> 
 <td style="border-color:#c0c0c0;text-align:left;">git@github.com:zq2599/blog_demos.git</td> 
 <td style="border-color:#c0c0c0;text-align:left;">该项目源码的仓库地址，ssh协议</td> 
 </tr> 
 </tbody> 
</table>

*  这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：
    
    ![bbda02d62f4ff358833e88a59405a8d8.png][]
 *  javacv-tutorials里面有多个子工程，《JavaCV的摄像头实战》系列的代码在**simple-grab-push**工程下：
    
    ![90339a5be2cccf804878a8427b48f91a.png][]

#### **编码：检测服务** ####

*  先定义一个检测有关的接口DetectService.java，如下，主要是定义了三个方法init、convert、releaseOutputResource，其中init用于初始化检测服务，convert负责处理单个帧（本篇就是检测出人脸、把人脸照片保存在硬盘），releaseOutputResource在结束的时候被执行，用于释放资源，另外还有个静态方法buildGrayImage，很简单，生成灰度图片对应的Mat对象：

*  然后就是DetectService的实现类DetectAndSaveService.java，完整代码如下，有几处要注意的地方稍后提到：

<code class="language-java">package com.bolingcavalry.grabpush.extend;
 
 import com.bolingcavalry.grabpush.Constants;
 import lombok.extern.slf4j.Slf4j;
 import org.bytedeco.javacpp.Loader;
 import org.bytedeco.javacv.Frame;
 import org.bytedeco.javacv.OpenCVFrameConverter;
 import org.bytedeco.opencv.opencv_core.*;
 import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
 import java.io.File;
 import java.net.URL;
 import java.text.SimpleDateFormat;
 import java.util.Date;
 import java.util.concurrent.atomic.AtomicInteger;
 import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
 import static org.bytedeco.opencv.global.opencv_imgproc.*;
 
 /**
 * @author willzhao
 * @version 1.0
 * @description 检测人脸并保存到硬盘的服务
 * @date 2021/12/3 8:09
 */
 @Slf4j
 public class DetectAndSaveService implements DetectService {
 
 /**
 * 每一帧原始图片的对象
 */
 private Mat grabbedImage = null;
 
 /**
 * 原始图片对应的灰度图片对象
 */
 private Mat grayImage = null;
 
 /**
 * 分类器
 */
 private CascadeClassifier classifier;
 
 /**
 * 转换器
 */
 private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
 
 /**
 * 模型文件的下载地址
 */
 private String modelFileUrl;
 
 /**
 * 存放人脸图片的位置
 */
 private String basePath;
 
 /**
 * 记录图片总数
 */
 private final AtomicInteger num = new AtomicInteger();
 
 /**
 * 训练的图片尺寸
 */
 Size size = new Size(Constants.RESIZE_WIDTH, Constants.RESIZE_HEIGHT);
 
 /**
 * 构造方法，在此指定模型文件的下载地址
 * @param modelFileUrl 人脸检测模型地址
 * @param basePath 检测出的人脸小图在硬盘上的存放地址
 */
 public DetectAndSaveService(String modelFileUrl, String basePath) {
 this.modelFileUrl = modelFileUrl;
 
 // 图片保存在硬盘的位置，注意文件名的固定前缀是当前的年月日时分秒
 this.basePath = basePath
 + new SimpleDateFormat("yyyyMMddHHmmss").format(new Date())
 + "-";
 }
 
 /**
 * 音频采样对象的初始化
 * @throws Exception
 */
 @Override
 public void init() throws Exception {
 // 下载模型文件
 URL url = new URL(modelFileUrl);
 
 File file = Loader.cacheResource(url);
 
 // 模型文件下载后的完整地址
 String classifierName = file.getAbsolutePath();
 
 // 根据模型文件实例化分类器
 classifier = new CascadeClassifier(classifierName);
 
 if (classifier == null) {
 log.error("Error loading classifier file [{}]", classifierName);
 System.exit(1);
 }
 }
 
 @Override
 public Frame convert(Frame frame) {
 // 由帧转为Mat
 grabbedImage = converter.convert(frame);
 
 // 灰度Mat，用于检测
 if (null==grayImage) {
 grayImage = DetectService.buildGrayImage(grabbedImage);
 }
 
 String filePath = basePath + num.incrementAndGet();
 
 // 进行人脸识别，根据结果做处理得到预览窗口显示的帧
 return detectAndSave(classifier, converter, frame, grabbedImage, grayImage, filePath , size);
 }
 
 /**
 * 程序结束前，释放人脸识别的资源
 */
 @Override
 public void releaseOutputResource() {
 if (null!=grabbedImage) {
 grabbedImage.release();
 }
 
 if (null!=grayImage) {
 grayImage.release();
 }
 
 if (null==classifier) {
 classifier.close();
 }
 }
 
 /**
 *
 * @param classifier 分类器
 * @param converter 转换工具
 * @param rawFrame 原始帧
 * @param grabbedImage 原始图片的Mat对象
 * @param grayImage 原始图片对应的灰度图片的Mat对象
 * @param basePath 图片的基本路径
 * @param size 训练时要求的图片大小
 * @return
 */
 static Frame detectAndSave(CascadeClassifier classifier,
 OpenCVFrameConverter.ToMat converter,
 Frame rawFrame,
 Mat grabbedImage,
 Mat grayImage,
 String basePath,
 Size size) {
 
 // 当前图片转为灰度图片
 cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
 
 // 存放检测结果的容器
 RectVector objects = new RectVector();
 
 // 开始检测
 classifier.detectMultiScale(grayImage, objects);
 
 // 检测结果总数
 long total = objects.size();
 
 // 如果没有检测到结果就提前返回
 if (total<1) {
 return rawFrame;
 }
 
 // 假设现在是一个人对着摄像头，因为此时检测的结果如果大于1，显然是检测有问题
 if (total>1) {
 return rawFrame;
 }
 
 Mat faceMat;
 
 // 如果有检测结果，就根据结果的数据构造矩形框，画在原图上
 // 前面的判断确保了此时只有一个人脸
 Rect r = objects.get(0);
 
 // 从完整的灰度图中取得一个矩形小图的Mat对象
 faceMat = new Mat(grayImage, r);
 
 // 训练时用的图片尺寸是固定的，因此这里要调整大小
 resize(faceMat, faceMat, size);
 
 // 图片的保存位置
 String imagePath = basePath + "." + Constants.IMG_TYPE;
 
 // 保存图片到硬盘
 imwrite(imagePath, faceMat);
 
 // 人脸的位置信息
 int x = r.x(), y = r.y(), w = r.width(), h = r.height();
 
 // 在人脸上画矩形
 rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
 
 // 释放检测结果资源
 objects.close();
 
 // 将标注过的图片转为帧，返回
 return converter.convert(grabbedImage);
 }
 }
 </code>

*  上述代码有几处要注意：

1.  detectAndSave方法中，当前照片检测出的人脸数如果大于1就提前返回不做处理了，这是因为假定运行程序的时候，摄像头前面只有一个人，所以如果检测出超过一张人脸，就认为当前照片的检测不准确，就不再处理当前照片了（实际使用中发现常有检测失误的情况，例如把一个矩形盒子检测为人脸），这个提前返回的逻辑，您可以根据自己的环境去调整
2.  imwrite方法可以将Mat以图片的形式保存到硬盘
3.  保存文件到磁盘前调用了resize方法，将图片调整为164\*164大小，这是因为后面的训练和检测统一使用该尺寸

*  现在核心代码已经写完，需要再写一些代码来使用DetectAndSaveService

#### **编码：运行框架** ####

*  [《JavaCV的摄像头实战之一：基础》][JavaCV]创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
 *  编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
    
    ![2c82e7d45c29c9f8bb52f6c495ac23fd.png][]
 *  新建文件PreviewCameraWithDetectAndSave.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
 *  先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：

<code class="language-java">protected CanvasFrame previewCanvas
 </code>

*  把前面创建的DetectService作为成员变量，后面检测的时候会用到：

<code class="language-java"> /**
 * 检测工具接口
 */
 private DetectService detectService;
 </code>

*  PreviewCameraWithDetectAndSave的构造方法，接受DetectService的实例：

<code class="language-java"> /**
 * 不同的检测工具，可以通过构造方法传入
 * @param detectService
 */
 public PreviewCameraWithDetectAndSave(DetectService detectService) {
 this.detectService = detectService;
 }
 </code>

*  然后是初始化操作，可见是previewCanvas的实例化和参数设置：

<code class="language-java"> @Override
 protected void initOutput() throws Exception {
 previewCanvas = new CanvasFrame("摄像头预览，检测人脸并保存在硬盘", CanvasFrame.getDefaultGamma() / grabber.getGamma());
 previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
 previewCanvas.setAlwaysOnTop(true);
 
 // 检测服务的初始化操作
 detectService.init();
 }
 </code>

*  接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService.convert检测人脸并保存图片，然后在本地窗口显示：

<code class="language-java"> @Override
 protected void output(Frame frame) {
 // 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，
 // 然后转换为帧返回
 Frame detectedFrame = detectService.convert(frame);
 // 预览窗口上显示的帧是标注了检测结果的帧
 previewCanvas.showImage(detectedFrame);
 }
 </code>

*  最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：

<code class="language-java"> @Override
 protected void releaseOutputResource() {
 if (null!= previewCanvas) {
 previewCanvas.dispose();
 }
 
 // 检测工具也要释放资源
 detectService.releaseOutputResource();
 }
 </code>

*  由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：

*  至此，功能已开发完成，再写上main方法，在实例化DetectAndSaveService的时候注意入参有两个，第一个是人脸检测模型的下载地址，第二个是人脸照片保存在本地的位置，还有action方法的参数**1000**表示预览持续时间是1000秒：

<code class="language-java"> public static void main(String[] args) {
 String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";
 new PreviewCameraWithDetectAndSave(
 new DetectAndSaveService(
 modelFileUrl, 
 "E:\\temp\\202112\\18\\001\\man"))
 .action(1000);
 }
 </code>

#### **抓取第一个人的照片** ####

*  运行main方法，然后请群众演员A登场，看着他一个人对着摄像头，开始......**搔首弄姿**，各种光线明暗、各种角度、各种表情都用上吧，哎，不忍直视...
 *  由于开启了预览窗口，因此可以看到摄像头拍摄的效果，出现红框的矩形最终都会被保存为图片，请注意调整角度和表情，群众演员A好像很热衷于自拍，玩得不亦乐乎，好吧，让他放飞自我：
    
    ![65ff5d54f252977c46df6b0a3efba62c.png][]
 *  检测的图片到了一定数量就可以结束了，我这里保存了259张，如下图：
    
    ![0015ce85c52ed8c33fd0b3856d1bb9b1.png][]
 *  对以上照片，建议是用肉眼检查一遍所有照片，把不是人脸的全部删除，我发现了十多张不是人脸的照片，例如下面这张把脸上的一部分识别成了人脸，显然是有问题的，这样的照片就删除吧，不要用在训练了：
    
    ![02c90f5281ceffe2366b721f3df4d9e1.png][]
 *  上述照片全部保存在E:\\temp\\202112\\18\\001\\man目录下

#### **抓取第二个人的照片** ####

*  修改代码，把main方法中存放图片的目录改成E:\\temp\\202112\\18\\001\\woman，然后再次运行程序，请群众演员B登场，恳求她像前一位群众演员那样一个人对着摄像头，开始......**搔首弄姿**，各种光线明暗、各种角度、各种表情都用上吧
 *  于是，我们又顺利拿到第二位群众演员的大量人脸图片，记得要肉眼观察每一张照片，把不准确的都删除掉
 *  至此，借助前面编写的程序，我们轻松拿到了两位群众演员的大量人脸照片，其中A的照片保存在E:\\temp\\202112\\18\\001\\**man**，B的照片保存在E:\\temp\\202112\\18\\001\\**woman**：
    
    ![a6673dfe0a9d6e72425cdaa3572aada3.png][]

[47c355ffa108d51692940143582cc6da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c73a3a8e8edd4b6fa4de4d828c7e2d9a.png
[e3ac638093cc362e09661b4b79b6de50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/eaee38f147334b5fbcdd8e92ebfd7086.png
[1d23aa18c1d54fb69b31097720b6d1e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c7c8d620c29d4d7b9145e320fa126572.png
[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[bbda02d62f4ff358833e88a59405a8d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/269ebb338dc24920822c16556449c0db.png
[90339a5be2cccf804878a8427b48f91a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/26ca1e71c36d44acbb240a49dfff4a0c.png
[JavaCV]: https://www.cnblogs.com/bolingcavalry/p/15828871.html
[2c82e7d45c29c9f8bb52f6c495ac23fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/de881c63c3b947cc97d0789b32d1f275.png
[65ff5d54f252977c46df6b0a3efba62c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a98d618c36e444dc98188d7869e0c4f9.png
[0015ce85c52ed8c33fd0b3856d1bb9b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/742e242d472f469f8597fc0be4b4f4bc.png
[02c90f5281ceffe2366b721f3df4d9e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4769d39cfc424fadae228b5085c9e336.png
[a6673dfe0a9d6e72425cdaa3572aada3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/415732bbe11c43b686a686a5828939b5.png