Tensorflow学习随手记（二）

古城微笑少年丶 2022-05-16 12:17 476阅读 0赞

1,Tensorflow激励方程

activation\_function,

使用激励函数，用于解决现实生活中，不能用线性方程解决的问题。

常见的激励方程如下：

![70][]

（看到这个图片，想起了以前学习电路的是那些个方程，果断机电一家亲）。

一个典型的Tensorflow的结构示意图如下

![70 1][]

以Layer2为例

![70 2][]

图中 relu即为激励函数，即 经过激励函数，小于0的输入，变成0输出；大于0的输入，仍然保持不变。

根据上图所示，首先定义一个添加层的方法

代码示例如下：

#定义添加层，
    def add_layer(inputs,in_size,out_size,activation_function = None):
    #添加层的结构如下：
    #1，定义权重Wegihts，其值为in_size行、out_size列的随机矩阵
        Weights = tf.Variable(tf.random_normal([in_size,out_size]));
    #2，定义偏置biases，其值为1行、out_size列的随机矩阵，避免出现0的情况，加上一个0.1
        biases = tf.Variable(tf.zeros([1,out_size])+0.1);
    #3，定义计算结果 y = w * x + biases;
        Wx_plus_b = tf.matmul(inputs,Weights) + biases;
    #4，计算输出
        if activation_function is None:
            outputs = Wx_plus_b;
        else:
            outputs = activation_function(Wx_plus_b);
    #5，返回输出
        return outputs;

这样添加layer的方法定义完成

定义整个神经网络：

代码示例如下

#使用add_layer
    #创造数据
    x_data = np.linspace(-1,1,300)[:,np.newaxis];
    noise = np.random.normal(0,0.05,x_data.shape);
    y_data = np.square(x_data)-0.5 + noise;
    
    #定义占位符用于不同层之间的数据传递
    xs = tf.placeholder(tf.float32,[None,1]);
    ys = tf.placeholder(tf.float32,[None,1]);
    
    #定义隐藏层,
    #隐藏层假设有10个神经元，x_data目前只有一个属性
    l1 = add_layer(xs,1,10,activation_function=tf.nn.relu);
    product = add_layer(l1,10,1,activation_function=None);
    
    #定义误差
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-product),reduction_indices=[1]));
    
    #定义训练
    train = tf.train.GradientDescentOptimizer(0.1).minimize(loss);
    
    #初始化变量
    init = tf.global_variables_initializer();
    sess = tf.Session();
    sess.run(init);
    
    #定义一个画布
    fig = plt.figure();
    ax = fig.add_subplot(1,1,1);
    ax.scatter(x_data,y_data);
    plt.ion();#防止调show方法后，阻塞程序运行
    plt.show();
    
    #开始实际训练
    for i in range(1000):
        sess.run(train,feed_dict={xs:x_data,ys:y_data});
        if i%50 == 0:
            #print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}));
            try:
                ax.lines.remove(lines[0]);
            except Exception:
                pass;
            prediction_value = sess.run(product,feed_dict={xs:x_data});
            lines = ax.plot(x_data,prediction_value,'r-',lw=5);
            plt.pause(0.5);

整个神经网络编写完成。运行后，出现如下结果

![70 3][]

可以看到，Tensorflow的整个过程，是使红线的走向不断接近散点（蓝色）所展示出来的趋势。

整个代码示例如下：

#导入tensorflow包
    import tensorflow as tf;
    import numpy as np;
    import matplotlib.pyplot as plt;
    
    #定义添加层，
    def add_layer(inputs,in_size,out_size,activation_function = None):
    #添加层的结构如下：
    #1，定义权重Wegihts，其值为in_size行、out_size列的随机矩阵
        Weights = tf.Variable(tf.random_normal([in_size,out_size]));
    #2，定义偏置biases，其值为1行、out_size列的随机矩阵，避免出现0的情况，加上一个0.1
        biases = tf.Variable(tf.zeros([1,out_size])+0.1);
    #3，定义计算结果 y = w * x + biases;
        Wx_plus_b = tf.matmul(inputs,Weights) + biases;
    #4，计算输出
        if activation_function is None:
            outputs = Wx_plus_b;
        else:
            outputs = activation_function(Wx_plus_b);
    #5，返回输出
        return outputs;
    
    #使用add_layer
    #创造数据
    x_data = np.linspace(-1,1,300)[:,np.newaxis];
    noise = np.random.normal(0,0.05,x_data.shape);
    y_data = np.square(x_data)-0.5 + noise;
    
    #定义占位符用于不同层之间的数据传递
    xs = tf.placeholder(tf.float32,[None,1]);
    ys = tf.placeholder(tf.float32,[None,1]);
    
    #定义隐藏层,
    #隐藏层假设有10个神经元，x_data目前只有一个属性
    l1 = add_layer(xs,1,10,activation_function=tf.nn.relu);
    product = add_layer(l1,10,1,activation_function=None);
    
    #定义误差
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-product),reduction_indices=[1]));
    
    #定义训练
    train = tf.train.GradientDescentOptimizer(0.1).minimize(loss);
    
    #初始化变量
    init = tf.global_variables_initializer();
    sess = tf.Session();
    sess.run(init);
    
    #定义一个画布
    fig = plt.figure();
    ax = fig.add_subplot(1,1,1);
    ax.scatter(x_data,y_data);
    plt.ion();#防止调show方法后，阻塞程序运行
    plt.show();
    
    #开始实际训练
    for i in range(1000):
        sess.run(train,feed_dict={xs:x_data,ys:y_data});
        if i%50 == 0:
            #print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}));
            try:
                ax.lines.remove(lines[0]);
            except Exception:
                pass;
            prediction_value = sess.run(product,feed_dict={xs:x_data});
            lines = ax.plot(x_data,prediction_value,'r-',lw=5);
            plt.pause(0.5);

上述图片均截自于莫凡的相关机器学习的视频中。视频地址如下：

[https://v.youku.com/v\_show/id\_XMjc3MzA3OTM0NA==.html?spm=a2hzp.8253876.0.0&f=27327189][https_v.youku.com_v_show_id_XMjc3MzA3OTM0NA_.html_spm_a2hzp.8253876.0.0_f_27327189]

[70]: /images/20220516/c25eda35c7cf4b81b461fb2299f7882f.png
[70 1]: /images/20220516/8e714f9bf09d4220a2020d7b099f229d.png
[70 2]: /images/20220516/267d0e9a2ad7475fbef3d36838f3cc8c.png
[70 3]: /images/20220516/994bfc7daae8443089fc194c64e86d12.png
[https_v.youku.com_v_show_id_XMjc3MzA3OTM0NA_.html_spm_a2hzp.8253876.0.0_f_27327189]: https://v.youku.com/v_show/id_XMjc3MzA3OTM0NA==.html?spm=a2hzp.8253876.0.0&f=27327189