【神经网络】综合篇——人工神经网络、卷积神经网络、循环神经网络、生成对抗网络

谁践踏了优雅 2023-01-13 09:48 206阅读 0赞

## 前言 ##

本文综合整理常用的神经网络，包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络；参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解，然后结合图片、结构图、一步一步详细讲解；大家要不看看？ ( •̀ ω •́ )y

## 一、人工神经网络 ##

**简介：人工神经网络 **(Artificial Neural Network, ANN)，由人工神经元构成的网络，模拟人类的大脑；它模拟生物过程以反映人脑某些特征的计算结构。

**联系**：人工神经元模拟生物神经元；人工神经网络模拟人类的大脑，模拟生物神经网络。

**特点**：人工神经网络是一个并行、分布处理结构，具有学习能力、泛化能力。

**功能**：联想记忆功能、非线性映射功能、分类与识别功能、知识处理功能。

**详细介绍**：**[一篇文章“简单”认识《人工神经网络》(更新版)][Link 1]**

**目录大纲**：

*  1 前言
 *  2 人类大脑
 *  3 生物神经网络
 *  4 生物神经元
 *  5 人工神经元
 *  6 人工神经网络
    
     *  6.1 单层神经网络
     *  6.2 多层神经网络
     *  6.3 前向传播
     *  6.4 损失函数
     *  6.5 梯度下降方法
     *  6.6 反向传播算法
 *  7 特点
 *  8 功能
 *  9 小结
 *  参考

单层神经网络，如下所示图： **( •̀ ω •́ )y**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70][]

## 二、卷积神经网络 ##

**简介**

卷积神经网络（Convolutional Neural Network, CNN），通过**卷积层**与**池化层**的叠加实现对输入数据的特征提取，最后连接**全连接层**实现分类。对于图像处理有出色表现，在计算机视觉中得到了广泛的应用。

**联系**

**动物视觉系统**对外界的感知是：

1.  视觉皮层的每个神经元只响应某些特定区域的刺激（感受野）
2.  从局部到全局（信息分层处理机制）

**卷积神经网络**：

1.  每个神经元只需对 局部图像 进行感知；
2.  在更高层将局部的信息综合起来，得到全局信息；

**结构**：主要由 卷积层+池化层+全连接层 组成的。

**应用**：图像分类、目标检测、目标跟踪、语义分割、实例分割等。

**详细介绍**：**[一篇文章“简单”认识《卷积神经网络》(更新版)][Link 2]**

**目录大纲**：

*  1 前言
 *  2 基于什么提出卷积神经网络？
 *  3 卷积（Convolution）
 *      3.1 卷积操作
 *      3.2 多层卷积层
 *  4 池化（Pooling）
 *  5 全连接层
 *  6 特征维度变化
 *  7 CNN核心思想——参数共享
 *  8 优势
 *  9 经典的卷积神经网络
 *  10 卷积神经网络应用
 *  参考

基本卷积神经网络，如下所示图： **( •̀ ω •́ )y**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1][]

## 三、循环神经网络 ##

**简介**：**循环神经网络**（Recurrent Neural Networks，RNN），是一种反馈网络，模拟“人脑记忆功能”，常用于语言识别、机器翻译、视频分析、生成图像描述等。

**背景**：人工神经网络、卷积神经网络是前馈网络；前馈神经网络是一个静态网络，信息的传递是单向的，网络的输出只依赖于当前的输入，不具备记忆能力。前馈神经网络处理的数据是一个一个输入的，前后数据没有关系的。实际生活中，很多数据都是有上下文相关性的，这些数据称为序列数据；处理的时候，不能只考虑当前的输入就进行判断，需要考虑前后之间关系。

这时需要使用“循环神经网络”，它能有效处理**序列特性**的数据，它能挖掘数据中的**时序信息**以及**语义信息**。

**结构**：循环神经网络由循环体堆叠而成；

**详细介绍：[一篇文章“简单”认识《循环神经网络》(更新版)][Link 3]**

**应用**：主要在**自然语言处理**方向应用；

*  文档分类和时间序列分析（识别文章的主题）
 *  时间序列对比　　（比较两个文档的相关程度）
 *  序列到序列的学习（中文翻译为英文）
 *  情感分析　　　　（推文或电影评论的情感划分为正面或负面）
 *  世间序列预测　　（根据最近的天气数据来预测未来天气）

**目录大纲**：

*  1 前言
 *  2 循环体
 *  3 循环神经网络
 *  4 LSTM网络
 *  5 循环神经网络应用
 *  参考

循环体及其**按时间展开**后的效果： **( •̀ ω •́ )y**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2][]

## 四、生成对抗网络 ##

**简介**：**生成对抗网络**（GAN，generative adversarial network），是一种常用于**学习类别特征**的神经网络结构；主要有两部分组成，分别是生成网络、判别网络。

**背景**：在监督学习中，训练集需要大量的人工标注数据，并且需要人工判断生成结构好坏，这个过程是高成本且低效率的；**GAN**能自动完成这个过程，效率高成本低。

**详细介绍：[一篇文章“简单”认识《生成对抗网络》(GAN)][GAN]**

**应用**：GAN 的应用十分广泛，它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换，数据增强等。

**目录大纲**：

*  1 前言
 *  2 生成对抗网络应用
 *     2.1 风格迁移
 *     2.2 图像生成
 *     2.3 音乐创作
 *  3 生成学习算法
 *  4 生成对抗网络
 *     4.1 GAN的简要实现流程
 *     4.2 GAN算法实现要点
 *  5 MNIST 案例
 *  6 GAN优点
 *  7 GAN缺点
 *  8 文献学习
 *  1. Generative Adversarial Networks  
    2. Conditional GANs  
    3. DCGAN  
    4. Improved Techniques for Training GANs  
    5. Pix2Pix  
    6. CycleGAN  
    7. Progressively Growing of GANs  
    8. BigGAN  
    9.NAS

生成对抗网络GAN原理图，如下图所示：**( •̀ ω •́ )y**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3][]

**大家加油呀~~ ****( •̀ ω •́ )✧**

[Link 1]: https://blog.csdn.net/qq_41204464/article/details/115420602?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70]: /images/20221022/760d3e4e5f064eca9b0570d6cf01409f.png
[Link 2]: https://blog.csdn.net/qq_41204464/article/details/115451144?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1]: /images/20221022/31d43aa433294a919616a1948af54a0b.png
[Link 3]: https://blog.csdn.net/qq_41204464/article/details/115532353?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2]: /images/20221022/f9308284e48045949974e1585ccc4ffc.png
[GAN]: https://guo-pu.blog.csdn.net/article/details/115611150
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3]: /images/20221022/4b12b32f3e2646fd8097d99204c0830c.png