你颜值几分？【华南理工SCUT-FBP5500人脸美学数据集】

淩亂°似流年 2022-11-05 00:45 181阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

作者：知乎—人工智能小班长

地址：https://www.zhihu.com/people/ren-gong-zhi-neng-xiao-ban-chang-78

## SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction 论文解读 ##

**arxiv：**https://arxiv.org/abs/1801.06345

**github：**https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

**01**

**主要贡献**

*  提出一种新的多元化基准数据集 SCUT-FBP5500，来实现多范式颜值预测。
 *  该数据集共有 5500 个人脸正面照片，这些照片具备不同属性（男性／女性，年龄等）和不同标签（面部地标、颜值得分（1~5）、颜值得分分布）
 *  使用不同的特征和预测器组合、不同的深度学习方法评估 SCUT-FBP5500 数据集

###     ###

**02**

**相关工作**

![2e5b2c35664eb9507a2286022ef41ec9.png][]

###     ###

**03**

**具体信息**

*  共**5500张分辨率350\*350彩色正面人脸，**其中2000张亚洲男性，2000张亚洲女性，750张高加索男性，750张高加索女性  
    
 *  每张人脸标记有**86个特征点，**先用ASM模型给出68个特征点，再由志愿者手动调整并添加至86个  
    
 *  调查方法：  
    
 *  60名18-27岁（平均21.6岁）的志愿者  
    
 *  给随机展示的人脸照片打分（1-5分，越高越好看）
 *  展示的照片中有10%会出现两次
 *  如果某张照片的两次打分结果相关系数小于0.7，则需要第三次打分
 *  最终得分为所有打分的平均分  
    
 *  分数分布，大致服从正态分布（黄色线）

![b9c8d5a8475f098edecf9092130ba77c.png][]

*  标准差，都在0.6-0.7之间，亦即分数误差约为

![418ebf5cb282df694e953b87416d0056.png][]

*  打分者之间的相关系数，其中对亚洲人种打分之间的相关系数比高加索人要高，符合人们更喜欢亚洲人的脸的这一心理研究结果

![44a2ca724b64eac9d8d52f6915030288.png][]

###     ###

**04**

**基准测试**

### **4.1、传统算法（人工标注特征）** ###

### **4.1.1、几何特征** ###

以ASM-68模型提取的特征点为基准，定义18个距离特征

![f780e243127417c8363973baca065b33.png][]

将上图中的18个距离特征组成一个18维向量作为输入，分别用线性回归、高斯过程回归、支持向量机三种方式来进行测试，采用10折交叉验证的方式进行训练， 测试效果用PC（皮尔逊相关系数）、MAE（平均绝对误差）和RMSE（均方根误差）来表示，结果如下图

![b97b916523710a00573d220704915caa.png][]

其中可以看到，线性回归的效果要略差于高斯过程回归和SVM，后两者相差无几，但0.67的相关系数还不够好

### **4.1.2、表观特征** ###

使用包含5个尺度、8个方向的Gabor滤波器对图片进行滤波，得到40张特征图，使用两种采样方式来对这40张特征图进行采样：

*  对86个特征点进行采样，组合成$86\*40=3440$维向量（文中3340应为笔误）
 *  按64UniSample的方式进行采样（详见下图右），组合成$64\*40=2560$维向量

采样完成后使用主成分分析法来对输入向量进行降维，同样采用10折交叉验证的方法来进行训练，结果如下图现实：

![46ae4cb14f732308a8d0b8ecddf91a45.png][]

### **4.2、深度学习算法**    ###

使用AlexNet、ResNet-18和ResNet-50三种CNN来进行测试，均采用经过ImageNet预训练后的权重，其中AlexNet在最后添加两层卷积层来进行预测，ResNet则在最后加全连接层来进行预测，详情见此(https://github.com/HCIILAB/SCUT-FBP5500-Database-Release/blob/master/trained\_models\_for\_pytorch/Nets.py)

训练方法采用5折交叉验证和60%训练-40%测试的方式拆分数据集，结果如下：

![58b5d01d642dacee25363e0b5a60cb75.png][]

可以看出，使用5折交叉验证的方式结果比拆分数据集的方式要好，其中一个原因可能是训练数量，5折交叉验证使用了80%的数据来进行训练，比60%有更多的数量和多样性

**05**

**总结**

*  该数据集相较以前的数据集有更清晰的分类，更丰富的人脸库，还提供了特征点标注信息，使用者可以自由选择自己喜欢的学习模型来进行训练，避免了以前一个数据库只能用一种方式训练的尴尬情况；
 *  由于时间的关系，文章作者只测试了最基本的三种CNN，后续可以尝试更多的颜值检测算法在该数据集上  
    
 *  但该数据集没有有色人种，可能存在伦理问题

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

**猜您喜欢：**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![0d5ef5b434a00d0cad365b4554546eb5.png][]

[2e5b2c35664eb9507a2286022ef41ec9.png]: /images/20221023/a54ab2252d4d408bb1b4fc4787a86614.png
[b9c8d5a8475f098edecf9092130ba77c.png]: /images/20221023/e74fa24cfc1147e9991bdc60a012a8f6.png
[418ebf5cb282df694e953b87416d0056.png]: /images/20221023/82b47788a5a84c8abebd0ffe58224c04.png
[44a2ca724b64eac9d8d52f6915030288.png]: /images/20221023/bbb94fb748514258b8858d6c0652c96b.png
[f780e243127417c8363973baca065b33.png]: /images/20221023/c0a8a22b81e54ebfa365d759be0582ac.png
[b97b916523710a00573d220704915caa.png]: /images/20221023/66b4a48b3e7641c9ac45bad81ac3b9fe.png
[46ae4cb14f732308a8d0b8ecddf91a45.png]: /images/20221023/b73bf3eb5c9046f5a6b3a746e1190c71.png
[58b5d01d642dacee25363e0b5a60cb75.png]: /images/20221023/50ddd5572f41428590a19208de14d177.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[0d5ef5b434a00d0cad365b4554546eb5.png]: /images/20221023/aa0fe79ffaa14b5196b52b6ff2a4f3dc.png