用 Java 实现人脸识别功能

ゝ一世哀愁。 2023-10-01 08:06 2阅读 0赞

引言

人脸识别SDK

`人脸识别`技术是很复杂的，自己用`Java`手撕一个识别算法有点不切实际，毕竟实力不允许我这么嚣张，还是借助三方的SDK吧！

找了一圈发现一个免费的人脸识别SDK： `ArcSoft`:，地址：`https://ai.arcsoft.com.cn`。

**官网首页 -> 右上角开发者中心 -> 选择“人脸识别” -> 添加SDK**，会生成`APPID`、`SDK KEY`后续会用到，根据需要选择不同的环境（**本文基于`windows环境`**），然后下载`SDK`是一个压缩包。  
![在这里插入图片描述][20200306191114120.png]

Java项目搭建

终于在我的苦苦搜寻之下终于，找到一个`ArcSoft`的`Java版本`Demo，开源真是一件美好的事情，话不多说开干！  
![在这里插入图片描述][20200306192129158.png]  
**1、下载demo项目**

github地址：`https://github.com/xinzhfiu/ArcSoftFaceDemo`，本地搭建数据库，创建表:`user_face_info`。这个表主要用来存人像特征，其中主要的字段 `face_feature` 用二进制类型 `blob` 存放人脸特征。

SET NAMES utf8mb4;
    SET FOREIGN_KEY_CHECKS = 0;
     
    -- ----------------------------
    -- Table structure for user_face_info
    -- ----------------------------
    DROP TABLE IF EXISTS `user_face_info`;
    CREATE TABLE `user_face_info` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
      `group_id` int(11) DEFAULT NULL COMMENT '分组id',
      `face_id` varchar(31) DEFAULT NULL COMMENT '人脸唯一Id',
      `name` varchar(63) DEFAULT NULL COMMENT '名字',
      `age` int(3) DEFAULT NULL COMMENT '年纪',
      `email` varchar(255) DEFAULT NULL COMMENT '邮箱地址',
      `gender` smallint(1) DEFAULT NULL COMMENT '性别，1=男，2=女',
      `phone_number` varchar(11) DEFAULT NULL COMMENT '电话号码',
      `face_feature` blob COMMENT '人脸特征',
      `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
      `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
      `fpath` varchar(255) COMMENT '照片路径',
      PRIMARY KEY (`id`) USING BTREE,
      KEY `GROUP_ID` (`group_id`) USING BTREE
    ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;
    SET FOREIGN_KEY_CHECKS = 1;

**2、修改`application.properties`文件**

整个项目还是比较完整的，只需改一些配置即可启动，但有几点注意的地方，后边会重点说明。

`config.arcface-sdk.sdk-lib-path`： 存放`SDK`压缩包中的三个.`dll`文件的路径

config.arcface-sdk.sdk-lib-path=d:/arcsoft_lib
    config.arcface-sdk.app-id=8XMHMu71Dmb5UtAEBpPTB1E9ZPNTw2nrvQ5bXxBobUA8
    config.arcface-sdk.sdk-key=BA8TLA9vVwK7G6btJh2A2FCa8ZrC6VWZLNbBBFctCz5R
     
    # druid  本地的数据库地址
    spring.datasource.druid.url=jdbc:mysql://127.0.0.1:3306/xin-master?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
    spring.datasource.druid.username=junkang
    spring.datasource.druid.password=junkang

**3、根目录创建`lib`文件夹**

在项目根目录创建文件夹 `lib`,将下载的SDK压缩包中的arcsoft-sdk-face-2.2.0.1.jar放入项目`根目录`  
![在这里插入图片描述][20200306225623255.png]

**4、引入`arcsoft`依赖包**

<dependency>
          <groupId>com.arcsoft.face</groupId>
          <artifactId>arcsoft-sdk-face</artifactId>
          <version>2.2.0.1</version>
          <scope>system</scope>
          <systemPath>${basedir}/lib/arcsoft-sdk-face-2.2.0.1.jar</systemPath>
    </dependency>

`pom.xml`文件要配置`includeSystemScope`属性，否则可能会导致`arcsoft-sdk-face-2.2.0.1.jar`引用不到

<build>
            <plugins>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                    <configuration>
                        <includeSystemScope>true</includeSystemScope>
                        <fork>true</fork>
                    </configuration>
                </plugin>
            </plugins>
        </build>

**5、启动项目**

到此为止配置完成，`run` `Application`文件启动

测试一下：`http://127.0.0.1:8089/demo`，如下页面即启动成功

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70]

操作

**1、录入人脸图像**

页面输入名称，点击`摄像头注册`调起本地摄像头，提交后将当前图像传入后台，识别提取当前人脸体征，保存至数据库。  
![在这里插入图片描述][20200306231502629.png]  
**2、人脸对比**

录入完人脸图像后测试一下能否识别成功，提交当前的图像，发现识别成功`相似度92%`。但是作为程序员对什么事情都要持怀疑的态度，**这结果不是老铁在页面写死的吧？**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70 1]  
为了进一步验证，这回把脸挡住再试一下，发现提示“人脸不匹配”，证明真的有进行比对。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70 2]

源码分析

简单看了一下项目源码，分析一下实现的过程：

页面和JS一看就是后端程序员写的，不要问我问为什么？懂的自然懂，哈哈哈 ~ ，

**1、JS调起本地摄像头拍照，上传图片文件字符串**

**2、后台解析图片，提取人像特征**

后台解析前端传过来的图片，提取人像特征存入数据库，人像特征的提取主要是靠`FaceEngine`引擎，顺着源码一路看下去，自己才疏学浅实在是没懂具体是个什么样的算法。

/*
        人脸添加
         */
        @RequestMapping(value = "/faceAdd", method = RequestMethod.POST)
        @ResponseBody
        public Result<Object> faceAdd(@RequestParam("file") String file, @RequestParam("groupId") Integer groupId, @RequestParam("name") String name) {
        
     
            try {
        
           
                //解析图片
                byte[] decode = Base64.decode(base64Process(file));
                ImageInfo imageInfo = ImageFactory.getRGBData(decode);
     
                //人脸特征获取
                byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
                if (bytes == null) {
        
                    return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
                }
     
                UserFaceInfo userFaceInfo = new UserFaceInfo();
                userFaceInfo.setName(name);
                userFaceInfo.setGroupId(groupId);
                userFaceInfo.setFaceFeature(bytes);
                userFaceInfo.setFaceId(RandomUtil.randomString(10));
     
                //人脸特征插入到数据库
                userFaceInfoService.insertSelective(userFaceInfo);
     
                logger.info("faceAdd:" + name);
                return Results.newSuccessResult("");
            } catch (Exception e) {
        
                logger.error("", e);
            }
            return Results.newFailedResult(ErrorCodeEnum.UNKNOWN);
        }

**3、人像特征对比**

人脸识别：将前端传入的图像经过人像特征提取后，和库中已存在的人像信息对比分析

/*
        人脸识别
         */
        @RequestMapping(value = "/faceSearch", method = RequestMethod.POST)
        @ResponseBody
        public Result<FaceSearchResDto> faceSearch(String file, Integer groupId) throws Exception {
        
            byte[] decode = Base64.decode(base64Process(file));
            BufferedImage bufImage = ImageIO.read(new ByteArrayInputStream(decode));
            ImageInfo imageInfo = ImageFactory.bufferedImage2ImageInfo(bufImage);
     
            //人脸特征获取
            byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
            if (bytes == null) {
        
                return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
            }
            //人脸比对，获取比对结果
            List<FaceUserInfo> userFaceInfoList = faceEngineService.compareFaceFeature(bytes, groupId);
     
            if (CollectionUtil.isNotEmpty(userFaceInfoList)) {
        
                FaceUserInfo faceUserInfo = userFaceInfoList.get(0);
                FaceSearchResDto faceSearchResDto = new FaceSearchResDto();
                BeanUtil.copyProperties(faceUserInfo, faceSearchResDto);
                List<ProcessInfo> processInfoList = faceEngineService.process(imageInfo);
                if (CollectionUtil.isNotEmpty(processInfoList)) {
        
                    //人脸检测
                    List<FaceInfo> faceInfoList = faceEngineService.detectFaces(imageInfo);
                    int left = faceInfoList.get(0).getRect().getLeft();
                    int top = faceInfoList.get(0).getRect().getTop();
                    int width = faceInfoList.get(0).getRect().getRight() - left;
                    int height = faceInfoList.get(0).getRect().getBottom() - top;
     
                    Graphics2D graphics2D = bufImage.createGraphics();
                    graphics2D.setColor(Color.RED);//红色
                    BasicStroke stroke = new BasicStroke(5f);
                    graphics2D.setStroke(stroke);
                    graphics2D.drawRect(left, top, width, height);
                    ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
                    ImageIO.write(bufImage, "jpg", outputStream);
                    byte[] bytes1 = outputStream.toByteArray();
                    faceSearchResDto.setImage("data:image/jpeg;base64," + Base64Utils.encodeToString(bytes1));
                    faceSearchResDto.setAge(processInfoList.get(0).getAge());
                    faceSearchResDto.setGender(processInfoList.get(0).getGender().equals(1) ? "女" : "男");
     
                }
     
                return Results.newSuccessResult(faceSearchResDto);
            }
            return Results.newFailedResult(ErrorCodeEnum.FACE_DOES_NOT_MATCH);
        }

整个人脸识别功能的大致流程图如下：  
![在这里插入图片描述][20200306230036561.png]

总结

整个项目的设计思路比较清晰，难点在于`人脸识别引擎` 和 `前端JS`部分代码，其他的功能比较平常。

[20200306191114120.png]: https://img-blog.csdnimg.cn/20200306191114120.png
[20200306192129158.png]: https://img-blog.csdnimg.cn/20200306192129158.png
[20200306225623255.png]: https://img-blog.csdnimg.cn/20200306225623255.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200306230554971.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ==,size_16,color_FFFFFF,t_70
[20200306231502629.png]: https://img-blog.csdnimg.cn/20200306231502629.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200307105538422.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200307112817589.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbnpoaWZ1MQ==,size_16,color_FFFFFF,t_70
[20200306230036561.png]: https://img-blog.csdnimg.cn/20200306230036561.png