Python TensorFlow，神经网络，实现简单的单层神经网络

矫情吗；* 2022-03-11 02:48 451阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

针对线性不可分的问题(多分类)，SVM算法是通过建立曲线(升维)来划分，神经网络通过建立多条直线(多个神经元，以及激活函数)来进行划分。 [神经网络演示][Link 1]

神经网络输入层的输入个数与特征个数保持一致，输出层输出个数与目标类别数保持一致，输出通过softmax函数转换成每个目标类别的概率。

**SoftMax公式如下：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2][]

**损失函数--交叉熵损失函数：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3][]

交叉熵损失函数与信息熵公式类似，表示一种不确定性。交叉熵越小说明结果越确定，说明神经网络输出的预测概率越接近真实结果的概率(真实结果的概率由one-hot编码表示)。

--------------------

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 8][]

--------------------

### **demo.py（实现单层神经网络，预测手写数字图片）：** ###

import tensorflow as tf
    from tensorflow.examples.tutorials.mnist import input_data
    import os
    os.environ['TF_CPP_MIN_LOG_LEVEL']='2'  # 设置警告级别
    
    
    # 配置，进行训练还是测试
    IS_TRAIN = 1  # 1：进行训练并保存模型。 0：加载模型并进行测试
    
    # 获取数据
    # TensorFlow自带的数据集(手写数字图片，55000个训练样本，10000个测试样本，图片尺寸28*28=784)
    mnist = input_data.read_data_sets("./data/mnist/", one_hot=True)
    # mnist.train.images  图片数据
    # mnist.train.labels  目标标签(0-9,10个目标类别)
    # mnist.train.next_batch(100)  可以批量获取数据
    
    # 1、准备输入数据的占位符(与输入的真实数据的形状对应) x [None, 784]  y_true [None, 10](one-hot编码)  图片大小28*28=784
    with tf.variable_scope("data"):
        x = tf.placeholder(tf.float32, [None, 784])  # 图片大小28*28=784
        y_true = tf.placeholder(tf.int32, [None, 10])  # 目标类别：0-9,10个类别。 one-hot编码形式表示
    
    # 2、建立一个全连接层的神经网络  权重形状[784, 10]  偏置形状[10]
    with tf.variable_scope("fc_model"):
        # 随机初始化权重，初始化偏置。 权重、偏置的参数需要优化(变化),必须用变量定义
        weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name="w")  # TensorBoard中会显示name
        bias = tf.Variable(tf.constant(0.0, shape=[10]))
    
        # 预测None个样本的输出结果(矩阵乘法)  [None, 784]* [784, 10] + [10] = [None, 10]
        y_predict = tf.matmul(x, weight) + bias  # matmul()表示矩阵乘法
    
    # 3、求出所有样本的交叉熵损失，然后求平均值
    with tf.variable_scope("soft_cross"):
        # 求平均交叉熵损失
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
    
    # 4、梯度下降优化损失(反向传播)
    with tf.variable_scope("optimizer"):
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)  # 0.1表示学习速率(步长)。 学习率并不是一个超参数，它并不会影响优化的结果，只影响优化的快慢(学习率过大容易出现梯度爆炸)
    
    # 5、计算准确率
    with tf.variable_scope("acc"):
        equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))  # y_true和y_predict形状：[None, 10] （one-hot编码）
        # tf.argmax()返回最大值的下标,第二个参数1表示坐标轴(每一行的最大值)
        # tf.equal()判断是否相等，返回0、1组成的张量(1表示相等,0表示不相等)
    
        # tf.reduce_mean()计算平均值。 equal_list：None个样本[1, 0, 1, 0, 1, 1,..........]
        accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
    
    
    # TensorBoard 收集变量进行显示 (标量)
    tf.summary.scalar("losses", loss)
    tf.summary.scalar("acc", accuracy)
    
    # 收集高纬度变量
    tf.summary.histogram("weightes", weight)
    tf.summary.histogram("biases", bias)
    
    # 合并收集的变量的op (合并变量，一次性写入事件文件，通过TensorBoard进行可视化)
    merged = tf.summary.merge_all()
    
    # 初始化变量的op
    init_op = tf.global_variables_initializer()
    
    # 创建一个saver (保存模型)
    saver = tf.train.Saver()
    
    # 开启会话进行训练或测试
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)
    
        # 建立events文件，然后写入。  (TensorBoard根据events文件进行可视化)
        filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    
        # 如果是训练
        if IS_TRAIN == 1:
    
            # 迭代训练，更新参数预测 (迭代2000次)
            for i in range(2000):
    
                # 取出训练集的特征值和目标值 (每次迭代取出50个样本)
                mnist_x, mnist_y = mnist.train.next_batch(50)
    
                # 运行train_op训练优化 (feed_dict：用实时的训练数据填充占位符)
                sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})
    
                # 合并收集的所有变量 (一次性写入事件文件)
                summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})
                filewriter.add_summary(summary, i)  # 将收集的数据写入事件文件。i表示第i次的值。
    
                print("训练第%d步,准确率为:%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))
    
            # 保存模型
            saver.save(sess, "./tmp/ckpt/fc_model")
    
        else:  # 否则进行测试
            # 加载模型
            saver.restore(sess, "./tmp/ckpt/fc_model")
    
            # 预测100张图片的结果
            for i in range(100):
    
                # 每次测试一张图片 y_test的形状[1,10] (one-hot编码)：[0,0,0,0,0,1,0,0,0,0]
                x_test, y_test = mnist.test.next_batch(1)
    
                print("第%d张图片，手写数字图片真实目标是:%d, 预测结果是:%d" % (
                    i,
                    tf.argmax(y_test, 1).eval(),
                    tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
                ))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220311/61e8512b31c14b46b7344d5b663907b8.png
[Link 1]: http://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.88489&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 1]: /images/20220311/524c3b5e16604c2e903dd84a877204f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 2]: /images/20220311/b3e52c8dc64145e0b0dc863d2f5cb5db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 3]: /images/20220311/80cb75d64a404d67ae16ccbba3dd3be9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 4]: /images/20220311/c714232a8b0c42a5bfed1758f3139e1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 5]: /images/20220311/94a0be630e3f424da0c81ea00bc1f754.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 6]: /images/20220311/88cdac147fc5474d8639441654358b45.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 7]: /images/20220311/6fda00bd809c49a2bc1a3741b9ecf36a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70 8]: /images/20220311/4b8167fac61342bab08eebbc000e76bb.png