人脸识别 -- 活体检测(张嘴摇头识别)

偏执的太偏执、 2022-05-29 10:15 443阅读 0赞

本文作者：FBY展菲

原文地址:https://juejin.im/post/5aaf0e68f265da237f1e168c

一：简介

最近项目在做了身份证银行卡识别之后，开始实现人脸识别和活体识别，其中人脸识别包括人脸入库、人脸查找、人脸1：N对比、人脸N:N对比，另外活体识别运用在安全登录功能。

大家都熟知的支付宝使用face++ 的服务来实现人脸识别，在实际项目中使用了讯飞的人脸识别SDK进行二次封装来实现活体识别。主要实现了张嘴和摇头两个活体动作的识别。据我所知，讯飞的服务是基于face++,识别率还是很高，并且iOS和Android都对应有封装好的SDK。

在实际运用中，有很多app为了高度保证用户使用的安全问题，除了常规的账号密码登录之外，相继实现了指纹登录，手势登录，第三方登陆（QQ、微信、支付宝）、刷脸登录，接下里我就和大家分享一下如何实现人脸识别的活体检测，这是实现刷脸登录最基础的实现。

另外，这些博文都是来源于我日常开发中的技术总结，在时间允许的情况下，我会针对技术点分别分享iOS、Android两个版本，尽量附上demo以供大家参考，如果有其他技术点需要，可在文章后留言，我会尽全力帮助大家。

二：实现思路分析

  1. 点击识别按钮，调用相机
  2. CameraRules类，检测相机权限
  3. 初始化页面，创建摄像页面，创建张嘴数据和摇头数据
  4. 开启识别，脸部框识别
  5. 脸部部位识别，脸部识别判断是否检测到人脸
  6. 检测到人脸之后，判断位置
  7. 位置判断合适，判断是否张嘴
  8. 张嘴判断完毕，验证是否摇头
  9. 摇头判断完毕，3秒倒计时拍照
  10. 拍照完毕，选择重拍或者上传图片
  11. 选择重拍重复5-9步骤，选择上传将图片数据回调
  12. 数据clean

三：实现源码分析

根据实现思路分析，一步步进行编码实现：

1. 点击识别按钮，调用相机

  1. if([CameraRules isCapturePermissionGranted]){
  2.         [self setDeviceAuthorized:YES];
  3.     }
  4.     else{
  5.         dispatch_async(dispatch_get_main_queue(), ^{
  6.             NSString* info=@"没有相机权限";
  7.             [self showAlert:info];
  8.             [self setDeviceAuthorized:NO];
  9.         });
  10.     }

2. CameraRules类，检测相机权限

  1. //检测相机权限
  2. +(BOOL)isCapturePermissionGranted{
  3.     if([AVCaptureDevice respondsToSelector:@selector(authorizationStatusForMediaType:)]){
  4.         AVAuthorizationStatus authStatus = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
  5.         if(authStatus ==AVAuthorizationStatusRestricted || authStatus ==AVAuthorizationStatusDenied){
  6.             return NO;
  7.         }
  8.         else if(authStatus==AVAuthorizationStatusNotDetermined){
  9.             dispatch_semaphore_t sema = dispatch_semaphore_create(0);
  10.             __block BOOL isGranted=YES;
  11.             [AVCaptureDevice requestAccessForMediaType:AVMediaTypeVideo completionHandler:^(BOOL granted) {
  12.                 isGranted=granted;
  13.                 dispatch_semaphore_signal(sema);
  14.             }];
  15.             dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
  16.             return isGranted;
  17.         }
  18.         else{
  19.             return YES;
  20.         }
  21.     }
  22.     else{
  23.         return YES;
  24.     }
  25. }

3. 初始化页面，创建摄像页面，创建张嘴数据和摇头数据

  1. //创建摄像页面，创建张嘴数据和摇头数据
  2.     [self faceUI];
  3.     [self faceCamera];
  4.     [self faceNumber];

4. 开启识别，脸部框识别

  1. float cx = (left+right)/2;
  2.     float cy = (top + bottom)/2;
  3.     float w = right - left;
  4.     float h = bottom - top;
  5.     float ncx = cy ;
  6.     float ncy = cx ;
  8.     CGRect rectFace = CGRectMake(ncx-w/2 ,ncy-w/2 , w, h);
  10.     if(!isFrontCamera){
  11.         rectFace=rSwap(rectFace);
  12.         rectFace=rRotate90(rectFace, faceImg.height, faceImg.width);
  13.     }
  15.     BOOL isNotLocation = [self identifyYourFaceLeft:left right:right top:top bottom:bottom];
  17.     if (isNotLocation==YES) {
  18.         return nil;
  19.     }

5. 脸部部位识别，脸部识别判断是否检测到人脸

  1. for(id key in keys){
  2.         id attr=[landmarkDic objectForKey:key];
  3.         if(attr && [attr isKindOfClass:[NSDictionary class]]){
  5.             if(!isFrontCamera){
  6.                 p=pSwap(p);
  7.                 p=pRotate90(p, faceImg.height, faceImg.width);
  8.             }
  9.             if (isCrossBorder == YES) {
  10.                 [self delateNumber];
  11.                 return nil;
  12.             }
  13.             p=pScale(p, widthScaleBy, heightScaleBy);
  15.             [arrStrPoints addObject:NSStringFromCGPoint(p)];
  17.         }
  18.     }

6. 检测到人脸之后，判断位置动作提醒

  1. if (right - left < 230 || bottom - top < 250) {
  2.         self.textLabel.text = @"太远了";
  3.         [self delateNumber];
  4.         isCrossBorder = YES;
  5.         return YES;
  6.     }else if (right - left > 320 || bottom - top > 320) {
  7.         self.textLabel.text = @"太近了";
  8.         [self delateNumber];
  9.         isCrossBorder = YES;
  10.         return YES;
  11.     }else{
  12.         if (isJudgeMouth != YES) {
  13.             self.textLabel.text = @"请重复张嘴动作";
  14.             [self tomAnimationWithName:@"openMouth" count:2];
  16.             if (left < 100 || top < 100 || right > 460 || bottom > 400) {
  17.                 isCrossBorder = YES;
  18.                 isJudgeMouth = NO;
  19.                 self.textLabel.text = @"调整下位置先";
  20.                 [self delateNumber];
  21.                 return YES;
  22.             }
  23.         }else if (isJudgeMouth == YES && isShakeHead != YES) {
  24.             self.textLabel.text = @"请重复摇头动作";
  25.             [self tomAnimationWithName:@"shakeHead" count:4];
  26.             number = 0;
  27.         }else{
  28.             takePhotoNumber += 1;
  29.             if (takePhotoNumber == 2) {
  30.                 [self timeBegin];
  31.             }
  32.         }
  33.         isCrossBorder = NO;
  34.     }

7. 位置判断合适，判断是否张嘴

  1. if (rightX && leftX && upperY && lowerY && isJudgeMouth != YES) {
  3.         number ++;
  4.         if (number == 1 || number == 300 || number == 600 || number ==900) {
  5.             mouthWidthF = rightX - leftX < 0 ? abs(rightX - leftX) : rightX - leftX;
  6.             mouthHeightF = lowerY - upperY < 0 ? abs(lowerY - upperY) : lowerY - upperY;
  7.             NSLog(@"%d,%d",mouthWidthF,mouthHeightF);
  8.         }else if (number > 1200) {
  9.             [self delateNumber];
  10.             [self tomAnimationWithName:@"openMouth" count:2];
  11.         }
  13.         mouthWidth = rightX - leftX < 0 ? abs(rightX - leftX) : rightX - leftX;
  14.         mouthHeight = lowerY - upperY < 0 ? abs(lowerY - upperY) : lowerY - upperY;
  15.         NSLog(@"%d,%d",mouthWidth,mouthHeight);
  16.         NSLog(@"张嘴前：width=%d，height=%d",mouthWidthF - mouthWidth,mouthHeight - mouthHeightF);
  17.         if (mouthWidth && mouthWidthF) {
  19.             if (mouthHeight - mouthHeightF >= 20 && mouthWidthF - mouthWidth >= 15) {
  20.                 isJudgeMouth = YES;
  21.                 imgView.animationImages = nil;
  22.             }
  23.         }
  24.     }

8. 张嘴判断完毕，验证是否摇头

  1. if ([key isEqualToString:@"mouth_middle"] && isJudgeMouth == YES) {
  3.         if (bigNumber == 0 ) {
  4.             firstNumber = p.x;
  5.             bigNumber = p.x;
  6.             smallNumber = p.x;
  7.         }else if (p.x > bigNumber) {
  8.             bigNumber = p.x;
  9.         }else if (p.x < smallNumber) {
  10.             smallNumber = p.x;
  11.         }
  13.         if (bigNumber - smallNumber > 60) {
  14.             isShakeHead = YES;
  15.             [self delateNumber];
  16.         }
  17.     }

9. 摇头判断完毕，3秒倒计时拍照

  1. if(timeCount >= 1)
  2.     {
  3.         self.textLabel.text = [NSString  stringWithFormat:@"%ld s后拍照",(long)timeCount];
  4.     }
  5.     else
  6.     {
  7.         [theTimer invalidate];
  8.         theTimer=nil;
  10.         [self didClickTakePhoto];
  11.     }

10. 拍照完毕，选择重拍或者上传图片

  1. -(void)didClickPhotoAgain
  2. {
  3.     [self delateNumber];
  5.     [self.previewLayer.session startRunning];
  6.     self.textLabel.text = @"请调整位置";
  8.     [backView removeFromSuperview];
  10.     isJudgeMouth = NO;
  11.     isShakeHead = NO;
  13. }

11. 选择重拍重复5-9步骤，选择上传将图片数据回调

  1. -(void)didClickUpPhoto
  2. {
  3.     //上传照片成功
  4.     [self.faceDelegate sendFaceImage:imageView.image];
  5.     [self.navigationController popViewControllerAnimated:YES];
  6. }

12. 数据clean

  1. -(void)delateNumber
  2. {
  3.     number = 0;
  4.     takePhotoNumber = 0;
  6.     mouthWidthF = 0;
  7.     mouthHeightF = 0;
  8.     mouthWidth = 0;
  9.     mouthHeight = 0;
  11.     smallNumber = 0;
  12.     bigNumber = 0;
  13.     firstNumber = 0;
  15.     imgView.animationImages = nil;
  16.     imgView.image = [UIImage imageNamed:@"shakeHead0"];
  17. }

四：讯飞SDK下载及配置

1. SDK下载

因为项目中使用到讯飞人脸识别SDK，需要去讯飞开放平台创建应用，下载SDK。

11.png

2. 添加系统库

将开发工具包中lib目录下的iflyMSC.framework添加到工程中。同时请将Demo中依赖的其他库也添加到工程中。 按下图示例添加 SDK 所需要的 iOS系统库：

88.png

3. 设置Bitcode

在Targets - Build Settings 中搜索Bitcode 即可，找到相应选项，设置为NO，如下图：

333.jpg

4. 用户隐私权限配置

在Info.plist 中增加下图设置：

444.png

五：项目实际使用

1. 下载demo

下载demo，将demo中FBYFaceData文件夹引入项目中。

2. 在项目中引入FBYFaceRecognitionViewController

  1. #import "FBYFaceRecognitionViewController.h"

3. 在项目识别按钮的点击事件中添加代码

  1. -(void)pushToFaceStreamDetectorVC
  2. {
  3.     FBYFaceRecognitionViewController *faceVC = [[FBYFaceRecognitionViewController alloc]init];
  4.     faceVC.faceDelegate = self;
  5.     [self.navigationController pushViewController:faceVC animated:YES];
  6. }

4. 图片回调函数

  1. -(void)sendFaceImage:(UIImage *)faceImage
  2. {
  3.     NSLog(@"图片上传成功");
  4. }
  6. - (void)sendFaceImageError {
  7.     NSLog(@"图片上传失败");
  8. }

本篇文章demo源码：

demo源码

作者：FBY展菲
链接：https://juejin.im/post/5aaf0e68f265da237f1e168c
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

发表评论

表情：
评论列表 （有 0 条评论，443人围观）

还没有评论，来说两句吧...

相关阅读

    相关 iOS 人脸识别(检测)

    本文用的是系统自带的人脸识别功能，跟扫二维码条形码是一样的，但是系统只能识别出这是人的脸，至于高级的判断这张脸是谁的，需要更高级的第三方库了。 这里是检测到有人脸，然后三秒后

    约定不等于承诺〃约定不等于承诺〃/ 0 赞/ 360 阅读

    相关 静默活体检测-人脸活体识别

    活体检测技术一般分为配合式活体检测和非配合式活体检测。 配合式活体检测是最常见的活体检测方式，通过眨眼、张嘴、摇头、点头、甚至读出随机数字等配合式组合动作，使用人脸关键点定位

    r囧r小猫r囧r小猫/ 0 赞/ 336 阅读

    相关 人脸识别系统_人脸检测

    项目：基于人脸识别的无卡ATM机模拟系统 主要实现内容： 包括实现AMT机模拟人脸识别和密码输入、PC端模拟实现储户数据库服务器系统。 1. ATM模拟端实现采用手

    亦凉亦凉/ 0 赞/ 477 阅读