基于Python实现的换脸软件

古城微笑少年丶 2024-04-07 15:00 81阅读 0赞

## 使用Python编写的换脸软件 ##

这是一个使用Python编写的换脸软件，所提供的换脸功能包含以下两个场景：

*  将图像B上的人脸换成图像A上的人脸，生成换脸图片。
 *  将视频B上的人脸换成图像A上的人脸，生成换脸视频。

整体上，程序由两个过程组成：人脸检测和提取、人脸转换，分别实现于文件`detect.py`和`convert.py`，两个阶段分别提供可选选项：包括图像变换的方法（2D变换和3D变换）和是否进行色彩调和。

在图形界面上（实现文件：`gui.py`），提供生成的图片、视频预览功能，生成的图像视频会自动保存到`out`文件夹。

### 使用指南 ###

#### 准备 ####

1.  安装 Ananconda 或 Pycharm 以编译运行文件。
    
    推荐 Python版本：3.8.3
2.  检查是否安装如下库，以及版本是否满足要求：
    
    <table> 
     <thead> 
      <tr> 
       <th>库</th> 
       <th>推荐版本</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td>numpy</td> 
       <td>&gt;= 1.20.3</td> 
      </tr> 
      <tr> 
       <td>scipy</td> 
       <td>&gt;= 1.6.2</td> 
      </tr> 
      <tr> 
       <td>opencv-python</td> 
       <td>&gt;= 4.5.1.48</td> 
      </tr> 
      <tr> 
       <td>dlib</td> 
       <td>&gt;= 19.22.0</td> 
      </tr> 
     </tbody> 
    </table>
    
    你可以通过 pip 或者 conda 进行安装或更新，例如在 Anaconda Prompt 界面下输入：
    
        pip install numpy==1.20.3
        pip install scipy==1.6.2
        pip install opencv-python==4.5.1.48
        pip install dlib==19.22.0

#### 运行 ####

*  在 Anaconda Prompt 进入对应文件夹后，输入
    
        python main.py
    
    即可开启界面，也可以直接在 Pycharm 中右键运行，开启后界面如下：

![在这里插入图片描述][629f5468a150486c830558e805797287.png_pic_center]

### 运行效果 ###

相对而言，3D Warp面部变化的效果由于2D Warp， 2D在边缘区域处理得不是很好；使用肤色调和（Color Correction）的效果也往往优于不使用肤色调和。

1.  **不同选项的换脸效果 - I (3D Warp + Color Correction)**
    
    <table> 
     <thead> 
      <tr> 
       <th></th> 
       <th>Result Image</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td><img src="https://img-blog.csdnimg.cn/0715f2a727ae4a7dbe035499964c515f.png#pic_center" alt="在这里插入图片描述"></td> 
       <td></td> 
      </tr> 
     </tbody> 
    </table>

| ![在这里插入图片描述][d3bf79417a1f4b18a439e3ab8b02d436.jpeg_pic_center]  
|

1.  **不同选项的换脸效果 - I (3D Warp + Without Color Correction)**

![在这里插入图片描述][e27cb8de42e34e1287e62134f6ad3668.png_pic_center]

<table> 
 <thead> 
  <tr> 
   <th>2D Warp + Without Color Correct</th> 
   <th>2D Warp + Color Correct</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/9e7e2f2bae064b54b9ebf5b09eb173ba.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/f64d8cd4357642f0ae228316247fb877.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>3D Warp + Without Color Correct</th> 
   <th>3D Warp + Color Correct</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/c7a63e0d98534df9956f7063b176cbfe.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/a2cd69d6b60a46b699b27e3f53d7c24e.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

1.  **不同选项的换脸效果 - II (2D Warp + Color Correction)**

![在这里插入图片描述][c3f78a534f7c406894ca6300efbd6e47.png_pic_center]

下面可以明显看出2D Warp和3D Warp的不同效果：

<table> 
 <thead> 
  <tr> 
   <th>2D Warp</th> 
   <th>2D Warp + Color Correction</th> 
   <th>3D Warp</th> 
   <th>3D Warp + Color Correction</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/962dfba9162a465f8b607a653482a3a4.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/82d00268bab143c386b66fd57f2c5b32.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/e8be449ef8cd4a82b445a60e65e15278.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/60c6396e8db849deae07f074def5e88e.jpeg#pic_center" alt="在这里插入图片描述"></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

1.  **视频换脸效果：视频换脸是按帧一一处理的，比较耗时。**

![在这里插入图片描述][452ae61268a144d292a93b40f1c2e5ab.png_pic_center]

### 关键算法 ###

*  人脸检测与提取
    
     *  `keypoints_detection` \- 通过人脸五官68个关键点识别人脸集合，基于`dlib.shape_predictor`函数和数据集`shape_predictor_68_face_landmarks.dat`
     *  `face_selection` \- 选取指定人脸
 *  人脸变换
    
     *  `face_swap` \- 人脸变换核心函数，步骤为：
        
         *  **仿射变换**（2D/3D）
         *  **生成掩膜**
         *  **颜色校正**（选）
         *  **无缝接合**
     *  `image_warping_2d` \- **2D仿射变换**，通过调用cv2的`warpAffine`函数计算脸部映射后的人脸图像
        
         *  `points_transformation` \- 生成两份人脸关键点集的三角仿射变换矩阵M，作为2D Warping的关键参数。
     *  `image_warping_3d` \- **3D仿射变换**，通过将图像变换为三角性构成的集合（借助`spatial.Delaunay`），对每个三角形区域进行运算和插值最后得到脸部映射后的人脸图像
        
         *  `grid_coordination` \- 获取点集对应的背景网格
         *  `bilinear_interpolation` \- 对人脸关键点坐标进行**双线性插值**处理，通过这个函数可以实现在改变图像大小的同时尽可能保证清晰度，用于人脸部分的缩放。
         *  `triangular_affine_matrices` \- 生成源点集到目标点集的**三角仿射矩阵**
     *  `mask_generation` \- **生成掩膜**：借助`cv2.fillConvexPoly`填充凸多边形遮挡
     *  `color_correction` \- 通过**高斯滤波**进行人脸肤色调和

[629f5468a150486c830558e805797287.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/2221a7b7af4c49d6907e845019710614.png
[d3bf79417a1f4b18a439e3ab8b02d436.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/82b86d64192149869e10f3da4074fdf8.jpeg
[e27cb8de42e34e1287e62134f6ad3668.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e4a309c5a1a4456b8da15a0a5e5dd133.png
[c3f78a534f7c406894ca6300efbd6e47.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/6900521582c44993bf12cb0ea3b5399a.png
[452ae61268a144d292a93b40f1c2e5ab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/2122b8a1fdd0449cb4cde61365db7590.png