[总结] Deep Facial Expression Recognition DataSet (In The Wild) Summary

灰太狼 2022-01-11 03:59 524阅读 0赞

### 1. RAF ###

> Real-world Affective Faces Database (RAF-DB) 由 BUPT (北京邮电大学) 的 Pattern Recognition and Intelligent System Laboratory (PRIS Lab) 所提供，相关论文发表时间为 2017 年与 2019 年。  
> 根据相关页面介绍可知，RAF 数据集含有将近 30 K 张图像，并且每张图像标注了 landmark 信息（准确的 5 landmark 信息，以及由算法检测出的 37 landmark 信息），boundingx box 信息，种族，年龄范围以及性别信息。此外，该数据集有两个子集，分别包括 7 种 Basic 表情和 12 种 Compound 表情。  
> 链接：http://www.whdeng.cn/RAF/model1.html

**Basic:**

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Surprise</th> 
   <th>Fear</th> 
   <th>Disgust</th> 
   <th>Happy</th> 
   <th>Sad</th> 
   <th>Angry</th> 
   <th>Neutral</th> 
   <th>Sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Train Set</strong></td> 
   <td>1290</td> 
   <td>281</td> 
   <td>717</td> 
   <td>4772</td> 
   <td>1982</td> 
   <td>705</td> 
   <td>2524</td> 
   <td>12271</td> 
  </tr> 
  <tr> 
   <td><strong>Test Set</strong></td> 
   <td>329</td> 
   <td>74</td> 
   <td>160</td> 
   <td>1185</td> 
   <td>478</td> 
   <td>162</td> 
   <td>680</td> 
   <td>3068</td> 
  </tr> 
 </tbody> 
</table>

**Compound:**  
虽然作者提到共有 12 种 Compound 表情，但是查看相关的 README，却发现并没有 Fearfully Disgusted 的信息。

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Happily Surprised</th> 
   <th>Happily Disgusted</th> 
   <th>Sadly Fearful</th> 
   <th>Sadly Angry</th> 
   <th>Sadly Surprised</th> 
   <th>Sadly Disgusted</th> 
   <th>Fearfully Angry</th> 
   <th>Fearfully Surprised</th> 
   <th>Angrily Surprised</th> 
   <th>Angrily Disgusted</th> 
   <th>Disgustedly Surprised</th> 
   <th>Sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Train Set</strong></td> 
   <td>562</td> 
   <td>219</td> 
   <td>107</td> 
   <td>130</td> 
   <td>68</td> 
   <td>597</td> 
   <td>117</td> 
   <td>444</td> 
   <td>138</td> 
   <td>667</td> 
   <td>113</td> 
   <td>3162</td> 
  </tr> 
  <tr> 
   <td><strong>Test Set</strong></td> 
   <td>135</td> 
   <td>47</td> 
   <td>22</td> 
   <td>33</td> 
   <td>18</td> 
   <td>141</td> 
   <td>33</td> 
   <td>116</td> 
   <td>38</td> 
   <td>174</td> 
   <td>35</td> 
   <td>792</td> 
  </tr> 
 </tbody> 
</table>

### 2. SFEW ###

> Static Facial Expressions in the Wild Database (SFEW-DB) 为 Acted Facial Expressions In The Wild Databse (AFEW-DB) 的子集。  
> 其中，AFEW-DB 由电影中剪辑所得的视频片段组成，作为 Emotion Recognition In The Wild Challenge (EmotiW) 系列情感识别挑战赛所使用的数据集；而 SFEW-DB 由 AFEW-DB 中所抽取的有表情的静态帧组成。  
> 链接：https://cs.anu.edu.au/few/emotiw2015.html

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Surprise</th> 
   <th>Fear</th> 
   <th>Disgust</th> 
   <th>Happy</th> 
   <th>Sad</th> 
   <th>Angry</th> 
   <th>Neutral</th> 
   <th>Sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Train Set</strong></td> 
   <td>96</td> 
   <td>98</td> 
   <td>66</td> 
   <td>198</td> 
   <td>172</td> 
   <td>178</td> 
   <td>150</td> 
   <td>958</td> 
  </tr> 
  <tr> 
   <td><strong>Val Set</strong></td> 
   <td>57</td> 
   <td>47</td> 
   <td>23</td> 
   <td>73</td> 
   <td>73</td> 
   <td>77</td> 
   <td>86</td> 
   <td>436</td> 
  </tr> 
 </tbody> 
</table>

**PS：** 最近做实验发现，SFEW 2.0 所提供的裁剪人脸图像有许多错误样本，即所裁剪区域不包含人脸或仅包含小部分人脸区域。此外， SFEW 中也存在较为明显的连续帧现象，即连续几张图像过于相似。

### 3. ExpW ###

> Facial Expression in-the-Wild Database (ExpW-DB) 由 CUHK (香港中文大学) 的 Multimedia Laboratory (MMLab) 所提供。  
> 不同于其他数据集，ExpW 不需要提交申请，直接在主页下载即可。  
> 链接：http://mmlab.ie.cuhk.edu.hk/projects/socialrelation/index.html

<table> 
 <thead> 
  <tr> 
   <th>Surprise</th> 
   <th>Fear</th> 
   <th>Disgust</th> 
   <th>Happy</th> 
   <th>Sad</th> 
   <th>Angry</th> 
   <th>Neutral</th> 
   <th>Sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>7060</td> 
   <td>1088</td> 
   <td>3995</td> 
   <td>30537</td> 
   <td>10559</td> 
   <td>3671</td> 
   <td>34883</td> 
   <td>91793</td> 
  </tr> 
 </tbody> 
</table>

### 4. EmotioNet ###

> 链接：http://cbcsl.ece.ohio-state.edu/dbform\_emotionet.html

通过所提出的识别 AU 以及 AU 强度值的算法，作者对其所爬取的图像进行 AU 标注，以构建 EmotioNet 数据集。其中，作者利用 WordNet 下载了超过一百万张图像。（我尝试申请过该数据集，不过作者并没有任何回应）

### 5. AffectNet ###

> AffectNet 应该是目前为止最大的人脸表情数据集了，所包含图像数量超过一百万张。  
> 作者对这一百万张图像的一半进行了手动标注，其标注信息不仅包含七类基础表情，还包括 valence 和 arousal 的强度值。  
> 链接：http://mohammadmahoor.com/affectnet/

**关于官网中所提到的 Affective Computing（即[情感计算][Link 1]）：**  
在情感计算中，普遍用模型对人的情感进行分类和量化，而模型主要分为两大类：连续模型（continuous model）和分类模型（categorical model）。其中，分类模型中常将情感分为基础情感和复合情感，连续模型中常见的为Mehrabian和Russell的PAD（愉悦度—唤醒度—优势度，pleasure–arousal–dominance）三维模型，其中， valence 表示情感是正面的还是负面的，arousal 表示人在这种情感下是激动还是抑制，dominance 表示人在这种情感下感觉强大还是弱小。（此段来源于[目前语音情感识别的发展前景？ - 王赟 Maigo的回答 - 知乎][- _ Maigo_ -]）。

关于申请流程，官网特别说明：**We have received too many requests and due to OneDrive band-with limit in sharing/downloading the database, your request will be processed with delay (about 10 days)**。

我也尝试申请过，不过没有任何回应，只好依据官网所给信息为准：The total numbers of manually annotated images in the training and validation sets in each category of emotioins are given in the follwoing Table.

![20190724152232144.png][]

### 6. FER2013 ###

> FER2013 为 Kaggle 在 2013 年所举办的人脸表情识别竞赛，其数据集包含 28709 张训练图像，3589 张公开测试图像，3589 张私有测试图像。其中，每一张图都是像素为 48\*48 的灰度图。  
> 链接：https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Surprise</th> 
   <th>Fear</th> 
   <th>Disgust</th> 
   <th>Happy</th> 
   <th>Sad</th> 
   <th>Angry</th> 
   <th>Neutral</th> 
   <th>Sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Train Set</strong></td> 
   <td>3171</td> 
   <td>4097</td> 
   <td>436</td> 
   <td>7215</td> 
   <td>4830</td> 
   <td>3995</td> 
   <td>4965</td> 
   <td>28709</td> 
  </tr> 
  <tr> 
   <td><strong>Val Set</strong></td> 
   <td>315</td> 
   <td>496</td> 
   <td>56</td> 
   <td>895</td> 
   <td>653</td> 
   <td>467</td> 
   <td>607</td> 
   <td>3589</td> 
  </tr> 
  <tr> 
   <td><strong>Test Set</strong></td> 
   <td>316</td> 
   <td>528</td> 
   <td>55</td> 
   <td>879</td> 
   <td>594</td> 
   <td>491</td> 
   <td>626</td> 
   <td>3589</td> 
  </tr> 
 </tbody> 
</table>

该数据集并不直接提供图像数据，需手动进行转换，具体数据处理代码，如下所示：

import os
    import numpy as np
    import pandas as pd
    from PIL import Image
    
    total_list = []
    train_list = []
    val_list = []
    test_list = []
    
    data = np.array(pd.read_csv('../src/fer2013.csv'))
    
    for index in range(data.shape[0]):
        emotion, pixels, usage = data[index] 
        
        pixels = np.asarray([float(p) for p in pixels.split()]).reshape(48, 48)
        img = Image.fromarray(pixels).convert('L')
        img.save('../images/{:0>5d}.jpg'.format(index))
    
        total_list.append(['{:0>5d}.jpg'.format(index), emotion, usage])
        if usage=='Training':
            train_list.append(['{:0>5d}.jpg'.format(index), emotion])
        elif usage=='PublicTest':
            val_list.append(['{:0>5d}.jpg'.format(index), emotion])
        elif usage=='PrivateTest':
            test_list.append(['{:0>5d}.jpg'.format(index), emotion])
    
    total_list, train_list, val_list, test_list = np.array(total_list), np.array(train_list), np.array(val_list), np.array(test_list)
    print('total: %d, train: %d, val: %d, test: %d' % (total_list.shape[0],train_list.shape[0],val_list.shape[0],test_list.shape[0]))
    
    np.savetxt('../list/total_list.txt',total_list,fmt='%s')
    np.savetxt('../list/train_list.txt',train_list,fmt='%s')
    np.savetxt('../list/val_list.txt',val_list,fmt='%s')
    np.savetxt('../list/test_list.txt',test_list,fmt='%s')

**PS :** 除了上面介绍所介绍的人脸表情数据集外，我还想推荐一个网站：[Yet Another Computer Vision Index To Datasets (YACVID)][Yet Another Computer Vision Index To Datasets _YACVID]，该网站收集了大量 CV 方向被人熟知的数据集的信息，属于比较难得的良心网站。

**参考资料：**

*  [表情识别数据集整理][Link 2]

[Link 1]: https://zh.wikipedia.org/wiki/%E6%83%85%E6%84%9F%E8%AE%A1%E7%AE%97
[- _ Maigo_ -]: https://www.zhihu.com/question/292723462/answer/545027031
[20190724152232144.png]: /images/20220111/534779ffda8b4ecdac9b9e2c519f1990.png
[Yet Another Computer Vision Index To Datasets _YACVID]: https://riemenschneider.hayko.at/vision/dataset/index.php
[Link 2]: https://blog.csdn.net/computerme/article/details/49469767