关于CIFAR-10图像分类总结

古城微笑少年丶 2022-02-04 07:49 294阅读 0赞

关于CIFAR-10图像分类问题，网络上有很多资源，这里记录一些在我的学习过程中的资料，主要是关于深度卷积神经网络处理图像分类的，包括VGGNet，GoogLeNet以及ResNet，也记录了一些杂七杂八的东西，像TensorFlow的函数、神经网络的优化技巧等等。如果没有合适工具进行学习，可以浏览关于Google Colaboratory的介绍部分。

#### 一、综述：图像分类算法、深度学习在图像分类中的应用 ####

这一部分主要是一些综述的文字，要完成一个图像分类任务，还是要懂一些大背景知识的是吧！  
首先，关于图像分类的综述，可以阅读这一篇文章：  
[图像物体检测与分类综述][Link 1]  
要了解深度学习在图像分类中的应用：  
[深度学习在图像分类中的发展][Link 2]  
还有：从大方面了解深度学习的图像分类的话看一看：  
[深度学习-图像分类][-]  
很多网站都转载了这篇文章，文章比较了五种图像分类算法，传统机器学习以及深度学习的方法都有涉及，了解图像分类可以看一看  
原文：[Image Classification in 5 Methods][]  
翻译等可见：[图像分类 | 深度学习PK传统机器学习][_ _PK]

#### 二、关于传统机器学习算法处理图像分类 ####

例如KNN、SVM等算法都可以处理图像分类(当然简单实现的话，准确率emmm)，很多资料都是来源于CS231n，在这门公开课中，介绍了一些传统机器学习算法来实现CIFAR-10图像分类任务，了解的话，可以看：  
[CS321n课程笔记翻译][CS321n]  
接下来是一些具体算法：

**关于KNN的资料：**  
KNN原理，以及使用KNN思想设计图像分类模型：  
[KNN原理介绍以及构建一个KNN分类器来进行图像分类][KNN_KNN]  
还是关于KNN的文章，虽然不实用，但是看看代码还是好的：  
[实验小结 CS231n assignment1 knn部分][CS231n assignment1 knn]  
CS231n，图像分类的KNN实现：  
[CS231n–图像分类（KNN实现）][CS231n_KNN]  
那么如何最迅速，并且最方便地实现一个KNN模型呢？当然要祭出sklearn大杀器了：  
[sklearn之KNN详解+GridSearchCV使用方法][sklearn_KNN_GridSearchCV]

**关于SVM图像分类模型：**  
关于SVM的图像分类：  
[线性SVM算法实现图像分类][SVM]  
基于SVM的分类器还有很多资料，这里就不再过多列举了。

**还有贝叶斯类的方法：**  
关于一些其他的传统机器学习算法实现图像分类：  
[CIFAR-10数据集图像分类【PCA+基于最小错误率的贝叶斯决策】][CIFAR-10_PCA]

网上关于CS231n这门课的文章很多，关于这门课，有一个GitHub项目，里面实现了CS231n课程中的多种图像分类算法，有时间可以看一看，没时间。。。当然是调包啊  
[CoderEugene/cs231n][CoderEugene_cs231n]

同样是关于sklearn的使用，介绍了KNN、SVM算法如何通过sklearn库进行实现，学习一下代码吧：  
[python\_基于Scikit learn库中KNN,SVM算法的笔迹识别][python_Scikit learn_KNN_SVM]

#### 三、关于简单卷积神经网络实现CIFAR-10分类以及论文阅读问题 ####

如果对卷积神经网络不太清楚的话，可以看一看，文章从卷积定义讲起：  
[CNN基础+CIFAR-10图像分类][CNN_CIFAR-10]

关于介绍经典的几种卷积神经网络模型的文章：  
这一篇写的比较简单，但是参数规格写的很清楚：  
[经典卷积神经网络结构：LeNet-5,AlexNet ,VGGNet][LeNet-5_AlexNet _VGGNet]

TensorFlow关于CIFAR-10分类的代码，我看很多书以及博客都有研究这份代码，代码还是很高级的。。。就是不怎么容易懂。。。作者把代码功能都封装在不同的函数（以及不同的文件里），所以对我这样的新手小白有点不友好，不过网上有些博客专门对这份代码进行了解释，可以看一看。  
[代码GitHub地址][GitHub]

解释代码的文章，例如：  
[TensorFlow中cnn-cifar10样例输入部分代码详解][TensorFlow_cnn-cifar10]

这一篇文章中对TensorFlow案例代码做了一些改进，对，也就是那份在几个文件中跳来跳去的代码。。。作者对代码进行了一些合并，读起来就不会那么费劲了。：  
[Tensorflow基于卷积神经网络的向导程序的改进][Tensorflow]

另一篇CNN+CIFAR-10图像分类的文章：  
[卷积神经网络][Link 3]

如果**阅读英文论文有困难**的话，可以看一下这篇文章，文章介绍了一些GitHub项目，主要是针对优秀论文翻译的，可以参考一下：  
[深度学习论文集锦（中英文对照）：图像分类、物体识别等 ][Link 4]

如果只是针对这几种卷积神经网络的话，可以参考这篇文章：  
[深度学习系列-图像分类模型-论文阅读&详解][-_-]

#### 四、VGGNet模型的文章汇总 ####

首先，如果想要熟悉VGGNet的论文，但是读起来又感觉吃力的话，可以参考：  
关于VGGNet论文理解：  
[深度学习图像分类(二)–VGGNet论文理解][VGGNet]

关于VGGNet的博客，博客写的很详细了，此外，这是一系列的博客，值得一看：  
[大话CNN经典模型：VGGNet][CNN_VGGNet]

学习使用Kearas的话，可以看看这一篇文章，准确率也开始变高了~：  
[如何用Keras从头开始训练一个在CIFAR10上准确率达到89%的模型][Keras_CIFAR10_89]

文章很干货，完全是代码。文中最后给出了训练数据图，最终的模型准确率大概在93%左右：  
[tensorflow基于vgg进行cifar-10训练][tensorflow_vgg_cifar-10]

#### 五、关于GoogLeNet模型的文章汇总 ####

Inception论文细读，确实很详细，作者标注了一些问题，值得一看：  
[Google Inception Net论文细读][Google Inception Net]

关于Inception的综述，这篇还是很清晰的，文中把每一代模型的问题以及改进措施都列出来了，感觉这一点很不错：  
[一文概括Inception家族奋斗史][Inception]

还是关于Inception的文章，对各代的Inception模型都做了介绍，姑且一看：  
[经典网络结构GoogleNet之Inception-v1 v2 v3 v4 Resnet][GoogleNet_Inception-v1 v2 v3 v4 Resnet]

关于TensorFlow使用Inception V3，文章介绍如何使用已经训练好模型，也就是迁移学习的思路：  
[TensorFlow学习笔记：使用Inception V3进行图像分类][TensorFlow_Inception V3]

这篇文章主要介绍了几种inception的结构以及实现，很值得一读：  
[TensorFlow实现inception-resnet][TensorFlow_inception-resnet]

接下来就是介绍实现的文章了：  
[Tensorflow使用Inception思想实现CIFAR-10十分类demo][Tensorflow_Inception_CIFAR-10_demo]

#### 六、关于ResNet的文章汇总 ####

关于ResNet的论文，这里有一篇翻译的文章，可以看一看：  
[ResNet论文翻译——中英文对照][ResNet]  
还有这个：  
[ResNet v2论文笔记][ResNet v2]

关于ResNet的介绍的文章：  
[ResNet解析][ResNet 1]

关于ResNet的实现方法，这个博主的文章很实用的，代码满满，诚意满满，对于我这样很想提高模型的准确率，但是又不会写代码的小白来说，非常友好！！  
[基于Tensorflow的Resnet程序实现（CIFAR10准确率为91.5%）][Tensorflow_Resnet_CIFAR10_91.5]

为什么ResNet可以这么深？这篇文章做了介绍：  
[为什么ResNet和DenseNet可以这么深？一文详解残差块为何有助于解决梯度弥散问题。][ResNet_DenseNet]

这里插一个关于BN层的介绍部分：  
[BN(batch normalization)][BN_batch normalization]

以及这个知乎提问：  
[深度学习中 Batch Normalization为什么效果好？][Batch Normalization]

#### 七、关于卷积神经网络的训练技巧类文章 ####

在学习过程中看到了一些关于神经网络训练优化的文章，在这里记录一下。  
这篇博客介绍了很多CNN处理CIFAR-10图像分类的技巧，其实不仅仅局限于此，博主介绍的很多注意点对于神经网络训练都有所帮助。  
[CNN训练CIFAR-10的技巧][CNN_CIFAR-10 1]

又一个图像分类算法训练技巧：  
[图像处理图像分类算法优化技巧][Link 5]

关于调优技巧的介绍，很不错：  
[卷积神经网络(CNN)参数优化方法][CNN]

同样的技巧介绍：  
[深度学习训练的小技巧，调参经验。总结与记录][Link 6]

#### 八、关于TensorFlow的一些函数、API介绍的文章 ####

TensorFlow读取Batch数据的方法：  
[tensorflow训练时读取batch数据的方法][tensorflow_batch]

关于图像处理的技巧  
[tensorflow实现数据增强(随机裁剪、翻转、对比度设置、亮度设置)][tensorflow]

神经网络的滑动平均介绍：  
[神经网络优化（二） - 滑动平均][- 1]

关于TensorFlow的变量管理的介绍文章，不知道对这一点有疑惑的同学是不是跟我一样，首先在TensorFlow可视化那一部分遇到这个问题的呢？  
[TensorFlow的变量管理：变量作用域机制][TensorFlow]

这里开始涉及一些在写代码的过程中使用道德一些函数以及API，例如，对于如何使用 `dataset`，可以阅读这篇文章：  
[Tensorflow中API------tf.data.Dataset使用][Tensorflow_API------tf.data.Dataset]  
还有这一篇，与上文有重叠：  
[『TensorFlow』数据读取类\_data.Dataset][TensorFlow_data.Dataset]

关于 `tf.slice`函数切分数组的方式，这个函数有点。。绕：  
[tf.slice()函数][tf.slice]

关于`tf.layers.`的使用，比高级的API，比直接使用`tf.nn.conv2d()`更容易使用一些：  
[TensorFlow学习（十七）：高级API之tf.layers][TensorFlow_API_tf.layers]

关于TensorFlow中的各种优化器，可以参考这个问题：  
[tensorflow中各种优化器有什么区别？][tensorflow 1]  
以及这篇博客：  
[深度学习优化算法解析(Momentum, RMSProp, Adam)][Momentum_ RMSProp_ Adam]

#### 九、关于TensorFlow中的报错信息 ####

之所以把TensorFlow的报错信息单独拿出来，其实个人认为，解决一些报错信息比那些函数之类的更能熟悉这个框架的使用，因此，单独摘出报错信息。

**1.** 第一个问题是在训练过程中，发现输出的损失值变成了`nan`？而且还困扰了很长时间。。。简单来说，就是训练过程中如果发现损失值变成了 `nan`，不妨试试将学习率调小一点：  
[使用tensorflow训练模型时可能出现nan的几种情况][tensorflow_nan]

**2.**

InvalidArgumentError: You must feed a value for placeholder tensor 'inputs/x_input'

可以参考这篇博客， 其实关键点就一句话，也就是在你的模型最最最前面，添加一句 `tf.reset_default_graph()`仅仅只是清除一下训练的图，就能解决很多莫名其妙的错误：  
[Tensorflow报错之一：InvalidArgumentError: You must feed a value for placeholder tensor ‘inputs/x\_input’][Tensorflow_InvalidArgumentError_ You must feed a value for placeholder tensor _inputs_x_input]

**3.**

TypeError: The value of a feed cannot be a tf.Tensor object. Acceptable feed values include Python scalars, 
    strings, lists, or numpy ndarrays.

这里的错误其实挺低级的，如果解决了的话，但是有些时候，总是很难避免，还是记录一下比较好，特别是如果使用了Python代码进行了一些数据处理的话，很容易一不小心就直接使用了（就是那个意思，不太好表达。。。）  
其实解决的方法非常简单。  
[Tensorflow Error笔记2][Tensorflow Error_2]

#### 十、其他的一些问题 ####

这些问题不知道应该归到哪一类中了，全都放在这里好了：

如果写过一些代码，我觉得很多人都会有这样的疑问：为啥这个卷积核定义成这样大？为什么这个参数大家都这么写？这里有一篇文章，虽然不是非常详细以解惑，但是看一看还是很有帮助哟：  
[卷积神经网络的卷积核大小、个数，卷积层的个数如何确定？][Link 7]

此外，如果你是像博主一样的贫穷大学生，对机器学习感兴趣但是有没有 “装备” ，那么，不妨试试 Google Colaboratory，作为基础，你要了解登陆Google等基础技能，虽然不太稳定，但是相对于只用笔记本电脑的CPU跑数据来说，还是体验非常棒的！  
这里贴出几篇基础介绍的博客：  
[Google Colab 免费GPU服务器使用教程-TensorFLow][Google Colab _GPU_-TensorFLow]

[如何利用谷歌云计算资源（Google Colab）训练自己的神经网络以及模型的保存、移植应用][Google Colab]

很多情况下会用到较大的数据集，这里需要一个谷歌云盘，然后于笔记本进行绑定，参见：  
[谷歌云盘Colaboratory如何载入文件][Colaboratory]

目前想到的就这么多~

[Link 1]: https://blog.csdn.net/jiaoyangwm/article/details/79120601
[Link 2]: https://blog.csdn.net/ruibin_cao/article/details/82764049
[-]: https://www.jianshu.com/p/255a5bdd13ce?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
[Image Classification in 5 Methods]: https://towardsdatascience.com/image-classification-in-5-methods-83742aeb3645
[_ _PK]: https://blog.csdn.net/jaccen2012/article/details/72568570
[CS321n]: https://zhuanlan.zhihu.com/p/20894041
[KNN_KNN]: https://blog.csdn.net/qq_35206320/article/details/81946246
[CS231n assignment1 knn]: https://blog.csdn.net/zhyh1435589631/article/details/54236643
[CS231n_KNN]: https://www.cnblogs.com/alfred2017/p/6598831.html
[sklearn_KNN_GridSearchCV]: https://www.cnblogs.com/wf-ml/p/9615398.html
[SVM]: https://cloud.tencent.com/developer/news/240393
[CIFAR-10_PCA]: http://www.cnblogs.com/lijinze-tsinghua/p/9984364.html
[CoderEugene_cs231n]: https://github.com/CoderEugene/cs231n
[python_Scikit learn_KNN_SVM]: https://www.jianshu.com/p/d8664bf9adf9
[CNN_CIFAR-10]: https://www.jianshu.com/p/a220ae3cc851
[LeNet-5_AlexNet _VGGNet]: https://www.cnblogs.com/wuliytTaotao/p/9544625.html
[GitHub]: https://github.com/tensorflow/models/tree/1af55e018eebce03fb61bba9959a04672536107d/tutorials/image/cifar10
[TensorFlow_cnn-cifar10]: https://blog.csdn.net/m0_37744293/article/details/61927582?utm_source=blogxgwz2
[Tensorflow]: https://blog.csdn.net/gzroy/article/details/80970500
[Link 3]: http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/deep_cnn.html
[Link 4]: https://www.sohu.com/a/248926298_473283
[-_-]: https://www.jianshu.com/p/9a8cd92b66db
[VGGNet]: https://blog.csdn.net/holmes_MX/article/details/82977883
[CNN_VGGNet]: https://my.oschina.net/u/876354/blog/1634322
[Keras_CIFAR10_89]: https://blog.csdn.net/zhuiqiuk/article/details/80335427#
[tensorflow_vgg_cifar-10]: https://blog.csdn.net/GOGO_YAO/article/details/80348200
[Google Inception Net]: https://www.jianshu.com/p/680645517020
[Inception]: http://baijiahao.baidu.com/s?id=1601882944953788623&wfr=spider&for=pc
[GoogleNet_Inception-v1 v2 v3 v4 Resnet]: https://blog.csdn.net/julialove102123/article/details/79632721
[TensorFlow_Inception V3]: https://www.jianshu.com/p/cc830a6ed54b
[TensorFlow_inception-resnet]: https://blog.csdn.net/u014524930/article/details/79330316
[Tensorflow_Inception_CIFAR-10_demo]: https://blog.csdn.net/missyougoon/article/details/82700764
[ResNet]: https://www.jianshu.com/p/f3b8141ac43b
[ResNet v2]: https://blog.csdn.net/u014061630/article/details/80558661
[ResNet 1]: https://blog.csdn.net/lanran2/article/details/79057994
[Tensorflow_Resnet_CIFAR10_91.5]: https://blog.csdn.net/gzroy/article/details/82386540
[ResNet_DenseNet]: https://zhuanlan.zhihu.com/p/28124810?group_id=883267168542789632
[BN_batch normalization]: https://blog.csdn.net/qq_35608277/article/details/79212700#
[Batch Normalization]: https://www.zhihu.com/question/38102762
[CNN_CIFAR-10 1]: https://www.cnblogs.com/neopenx/p/4480701.html
[Link 5]: https://blog.csdn.net/u013419318/article/details/85303002
[CNN]: https://www.cnblogs.com/bonelee/p/8528863.html
[Link 6]: https://blog.csdn.net/yanhx1204/article/details/79625382
[tensorflow_batch]: https://blog.csdn.net/sjtuxx_lee/article/details/82590751
[tensorflow]: https://blog.csdn.net/sinat_29957455/article/details/80629098
[- 1]: https://www.cnblogs.com/gengyi/p/9901502.html
[TensorFlow]: https://blog.csdn.net/zbgjhy88/article/details/78960388
[Tensorflow_API------tf.data.Dataset]: https://blog.csdn.net/ssmixi/article/details/80572813
[TensorFlow_data.Dataset]: https://www.cnblogs.com/hellcat/p/8569651.html
[tf.slice]: https://www.jianshu.com/p/71e6ef6c121b
[TensorFlow_API_tf.layers]: https://blog.csdn.net/xierhacker/article/details/82747919
[tensorflow 1]: https://www.zhihu.com/question/63235995
[Momentum_ RMSProp_ Adam]: https://blog.csdn.net/willduan1/article/details/78070086
[tensorflow_nan]: https://www.cnblogs.com/puheng/p/9620834.html
[Tensorflow_InvalidArgumentError_ You must feed a value for placeholder tensor _inputs_x_input]: https://blog.csdn.net/m0_37870649/article/details/79428960
[Tensorflow Error_2]: https://www.jianshu.com/p/0a85a6ff685b
[Link 7]: http://www.sohu.com/a/241208957_787107
[Google Colab _GPU_-TensorFLow]: https://blog.csdn.net/jacka654321/article/details/83928187
[Google Colab]: https://blog.csdn.net/oYeZhou/article/details/83790675
[Colaboratory]: https://blog.csdn.net/Einstellung/article/details/81006408