【北京大学】3 TensorFlow1.x的前向传播推导与实现

本是古典何须时尚 2022-12-29 02:21 135阅读 0赞

### 目录 ###

*  1 神经网络实现过程
 *  2 前向传播
 *   *  2.1 推导过程
     *  2.2 TensorFlow代码介绍
     *  2.3 前向传播代码实现
 *  相关笔记

# 1 神经网络实现过程 #

（1）tf.Variable(tf.random\_normal(\[2, 3\], stddev=2, mean=0,seed=1))\# 生成正态分布随机数\[3, 1\]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]

（2）神经网络实现过程  
• 准备数据集，提取特征，作为输入喂给神经网络  
• 搭建NN结构，从输入到输出（先搭建计算图，再用会话执行）  
• 大量特征数据喂给NN，迭代优化NN参数  
• 使用训练好的模型预测和分类

# 2 前向传播 #

## 2.1 推导过程 ##

生产一批零件将体积x1和重量x2为特征输入NN，通过NN后输出一个数值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]

前向传播过程用TensorFlow描述出来。X是输入为1\*2的矩阵；用a = tf.matmul(X,W1)实现输入值与权重的乘积得到第一个计算层a1，用y =tf.matmul(a,W2)实现计算层与第二层权重的乘积，得到输出层结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]

## 2.2 TensorFlow代码介绍 ##

（1）变量初始化、计算图节点运算都要用会话（with结构）实现

with tf.Session() as sess:
        sess.run()#计算

(2)变量初始化：在seee.run函数中用tf.global\_variables\_initiallizer()

init_op = tf.global_variables_initializer()#变量初始化
        sess.run(init_op)#计算

（3）计算图节点运算：在sess.run函数中写入待运算的节点sess.run(y)  
（4）用tf.placeholder占位，在sess.run韩式中用feed\_dict喂数据  
喂一组数据：

x = tf.placeholder(tf.float32,shape=(1,2))# 这里的2表示输入特征的个数
    sess.run(y,feed_dict={ x:[[0.5,0.6]]})
    喂多组数据
    x = tf.placeholder(tf.float32,shape=(None,2))# 这里的2表示输入特征的个数
    sess.run(y,feed_dict={ x:[[0.5,0.6],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})

## 2.3 前向传播代码实现 ##

（1）两层简单神经网络（全连接），直接定义输入

#coding:utf-8
    #两层简单神经网络（全连接）
    import tensorflow as tf
    #表示生成正态分布随机数，形状两行三列，标准差是 2，均值是 0，随机种子是 1。 
    x = tf.constant([[0.7, 0.5]])#定义一个张量等于[1.0,2.0]
    w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))# 生成正态分布随机数[2, 3]
    w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))# 生成正态分布随机数[3, 1]
    #定义前向传播过程
    a = tf.matmul(x, w1)#点积
    y = tf.matmul(a, w2)#点积
    #用会话计算结果
    with tf.Session() as sess:
        init_op = tf.global_variables_initializer()#变量初始化
        sess.run(init_op)#计算
        print"y in tf3_3.py is:\n",sess.run(y) #打印计算结果
    ''' y in tf3_3.py is : [[3.0904665]] '''
    # √神经网络的实现过程：
    # 1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN）
    # 2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行）
    # （ NN 前向传播算法 计算输出）
    # 3、大量特征数据喂给 NN，迭代优化 NN 参数
    # （ NN 反向传播算法 优化参数训练模型）
    # 4、使用训练好的模型预测和分类

（2）两层简单神经网络（全连接）用placeholder实现输入定义。喂入一组特征。

#coding:utf-8
    #两层简单神经网络（全连接）
    import tensorflow as tf
    #定义输入和参数
    #用placeholder实现输入定义 （sess.run中喂一组数据）
    x = tf.placeholder(tf.float32, shape=(1, 2))
    w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
    w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
    #定义前向传播过程
    a = tf.matmul(x, w1)
    y = tf.matmul(a, w2)
    #用会话计算结果
    with tf.Session() as sess:
        init_op = tf.global_variables_initializer()
        sess.run(init_op)
        print"y in tf3_4.py is:\n",sess.run(y, feed_dict={ x: [[0.7,0.5]]})
    ''' y in tf3_4.py is: [[3.0904665]] '''

（3）两层简单神经网络（全连接）用placeholder实现输入定义。喂入N组特征

#coding:utf-8
    #两层简单神经网络（全连接）
    import tensorflow as tf
    #定义输入和参数
    #用placeholder定义输入（sess.run喂多组数据）
    x = tf.placeholder(tf.float32, shape=(None, 2))#None表示不知输入的特征数量
    w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
    w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
    #定义前向传播过程
    a = tf.matmul(x, w1)
    y = tf.matmul(a, w2)
    #调用会话计算结果
    with tf.Session() as sess:
        init_op = tf.global_variables_initializer()  
        sess.run(init_op)
        print "the result of tf3_5.py is:\n",sess.run(y, feed_dict={ x: [[0.7,0.5],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})
        print "w1:\n", sess.run(w1)
        print "w2:\n", sess.run(w2)
    ''' the result of tf3_5.py is: [[ 3.0904665 ] [ 1.2236414 ] [ 1.72707319] [ 2.23050475]] w1: [[-0.81131822 1.48459876 0.06532937] [-2.4427042 0.0992484 0.59122431]] w2: [[-0.81131822] [ 1.48459876] [ 0.06532937]] '''

# 相关笔记 #

以下所有源码以及更详细PDF笔记请在github下载  
[TensorFolwNotebook-from-Peking-University][]

1.  [【北京大学】1 TensorFlow1.x中Python基础知识][1 TensorFlow1.x_Python]
2.  [【北京大学】2 TensorFlow1.x的张量、计算图、会话][2 TensorFlow1.x]
3.  [【北京大学】3 TensorFlow1.x的前向传播推导与实现][3 TensorFlow1.x]
4.  [【北京大学】4 TensorFlow1.x的反向传播推导与实现][4 TensorFlow1.x]
5.  [【北京大学】5 TensorFlow1.x的损失函数和交叉熵举例讲解及实现][5 TensorFlow1.x]
6.  [【北京大学】6 TensorFlow1.x的学习率、滑动平均和正则化实例及实现][6 TensorFlow1.x]
7.  [【北京大学】7 TensorFlow1.x的神经网络模块设计思想举例及实现][7 TensorFlow1.x]
8.  [【北京大学】8 TensorFlow1.x的Mnist数据集实例实现][8 TensorFlow1.x_Mnist]
9.  [【北京大学】9 TensorFlow1.x的实现自定义Mnist数据集][9 TensorFlow1.x_Mnist]
10. [【北京大学】10 TensorFlow1.x的卷积神经网络(CNN)相关基础知识][10 TensorFlow1.x_CNN]
11. [【北京大学】11 TensorFlow1.x的卷积神经网络模型Lenet5实现][11 TensorFlow1.x_Lenet5]
12. [【北京大学】12 TensorFlow1.x的卷积神经网络模型VGGNet实现][12 TensorFlow1.x_VGGNet]
13. [【北京大学】13 TensorFlow1.x的项目实战之手写英文体识别OCR技术][13 TensorFlow1.x_OCR]
14. [【北京大学】14 TensorFlow1.x的二值神经网络实现MNIST数据集手写数字识别][14 TensorFlow1.x_MNIST]
15. [【北京大学】15 TensorFlow1.x的项目实战之人脸表情识别][15 TensorFlow1.x]
16. [【北京大学】16 TensorFlow1.x的项目实战之图像风格融合与快速迁移][16 TensorFlow1.x]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/d79e881c17ec4909a8721ed3938f0392.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/2fa13b87086948b18a0373f3bd0ffd89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221120/3968bb0cae0c4f84a320dceb9ded4739.png
[TensorFolwNotebook-from-Peking-University]: https://github.com/823316627bandeng/-TensorFolwNotebook-from-Peking-University
[1 TensorFlow1.x_Python]: https://betterbench.blog.csdn.net/article/details/111400935
[2 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111401620
[3 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111407104
[4 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111407700
[5 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111409255
[6 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111410367
[7 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111410935
[8 TensorFlow1.x_Mnist]: https://betterbench.blog.csdn.net/article/details/111414788
[9 TensorFlow1.x_Mnist]: https://betterbench.blog.csdn.net/article/details/111480327
[10 TensorFlow1.x_CNN]: https://betterbench.blog.csdn.net/article/details/111495960
[11 TensorFlow1.x_Lenet5]: https://betterbench.blog.csdn.net/article/details/111499496
[12 TensorFlow1.x_VGGNet]: https://betterbench.blog.csdn.net/article/details/111516848
[13 TensorFlow1.x_OCR]: https://betterbench.blog.csdn.net/article/details/111567501
[14 TensorFlow1.x_MNIST]: https://betterbench.blog.csdn.net/article/details/111590573
[15 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111594356
[16 TensorFlow1.x]: https://betterbench.blog.csdn.net/article/details/111641487