Python实现阶跃函数、sigmoid函数、ReLU函数

你的名字 2022-11-14 11:59 373阅读 0赞

### Python实现阶跃函数、sigmoid函数、ReLU函数 ###

*  神经网络
 *  阶跃函数实现
 *  sigmoid函数的实现
 *  ReLU函数的实现

# 神经网络 #

神经网络有三层，左边的为输入层，中间的是中间层，右边的为输出层。其中中间层也叫隐藏层，第0层为输入层，第1层为中间层，第2层为输出层。

感知机接收x1和x2两个输入信号输出y，其数学公式为：  
 y = \{ 0 b + w1x1 + w2x2 <=0 1 b + w1x1 + w2x2 >0 y= \\begin\{cases\} 0& \\text\{b + w1x1 + w2x2 <=0\}\\\\ 1& \\text\{b + w1x1 + w2x2 >0\} \\end\{cases\} y=\{ 01b + w1x1 + w2x2 <=0b + w1x1 + w2x2 >0  
其中b为偏置，是控制神经元被激活的容易程度，w1与w2为每一个信号的权重，用于控制信号的重要性。

上面的式子还可以简化为一个函数来表示：  
y = h(b + w1x1+ w2x2)  
 h ( x ) = \{ 0 x <=0 1 x >0 h(x)= \\begin\{cases\} 0& \\text\{x <=0\}\\\\ 1& \\text\{x >0\} \\end\{cases\} h(x)=\{ 01x <=0x >0  
函数h(x)在输入超过0时就会输出1，在输入不超过0的时候就会输出0。

# 阶跃函数实现 #

阶跃函数：以某个阈值为界，一旦超出了阈值，就会切换输出。感知机中使用阶跃函数作为激活函数，进入神经网络就是把激活函数从阶跃函数换成其他的函数。当输入超过0时输出1，不超过0时输出0。

函数中的参数x只能接受实数，并不接受数组，为了方便我们使用numpy数组来实现。对NumPy数组进行不等号运算之后会生成一个布尔型的数组，其中的元素大于0则为True，小于等于0则为False。如数组x=np.array\[-1.0, -0.5, 1.2, 2\]，经过y=x>0，输出的y数组将会是\[False, False, True, True\]。但是我们在输出函数图形的时候需要的是int类型的函数，所以我们需要把布尔类型的数组转换为int类型的数组，使用y.astype(np.int)完成。

# 阶跃函数
    import numpy as np
    import matplotlib.pylab as plt  # 绘制图形
    # 设置字体，使可以输入中文
    plt.rcParams['font.sans-serif']=['STSong']
    def stepfun(x):  # 定义函数
        return np.array(x > 0)  # 此时返回的是bool类型的数组
    x = np.arange(-10.0, 10.0, 0.1)  # x轴取-10.0到10.0，单位间隔为0.1
    y = stepfun(x)  # 函数调用
    print(y)  # 打印输出bool类型的数组
    y1 = y.astype(np.int)  # 将数组y的元素从布尔型转化为int型
    print(y1)  # 打印输出int类型的数组
    plt.plot(x, y1)
    plt.ylim(-0.5, 1.5)  # y轴的取值范围
    plt.xlabel('x')  # x轴
    plt.ylabel('y')  # y轴
    plt.title('阶跃函数图形')  # 标题
    plt.show()  # 显示

画出阶跃函数的图形如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center]

# sigmoid函数的实现 #

sigmoid函数的实现，只要把输出的数组函数转换为sigmoid函数就可以实现。其中用到激活函数sigmoid函数式：  
 h ( x ) = 1 1 + e x p ( − x ) h(x) = \\frac\{1\}\{1+exp(-x)\} h(x)=1\+exp(−x)1  
我们在画图形的时候把阶跃函数与sigmoid函数画一起。

步骤：  
（1）首先需要定义一个接收参数x的stepfun函数与sigmoid函数，其中stepfun函数中返回的是布尔类型的数组，sigmoid函数中返回的是浮点类型的数组  
（2）然后对参数x进行赋值，这里取-10到10，其中单位间隔设置为0.1；进行两个函数的调用  
（3）因为stepfun函数中输出的是布尔类型的数组，所以需要将布尔类型的数组转换为int类型的数组  
（4）最后输出结果，画出图形

# 阶跃函数与sigmoid函数实现
    import numpy as np
    import matplotlib.pylab as plt  # 绘制图形
    # 设置字体，使可以输入中文
    plt.rcParams['font.sans-serif']=['STSong']
    
    # 定义函数（阶跃函数）
    def stepfun(x):
        return np.array(x > 0)  # 此时返回的是bool类型的数组
    
    # 定义函数（sigmoid函数）
    def sigmoid(x):
        # sigmoid函数式，返回的是数组
        return 1/(1+np.exp(-x))
    
    x = np.arange(-10.0, 10.0, 0.1)  # x轴取-10.0到10.0，单位间隔为0.1
    y = stepfun(x)  # 函数调用阶跃函数
    print(y)  # 打印输出bool类型的数组
    y1 = y.astype(np.int)  # 将数组y的元素从布尔型转化为int型
    print(y1)  # 打印输出int类型的数组
    f = sigmoid(x)  # 函数调用sigmoid函数
    print(f)  # 打印输出数组
    # 绘制图形
    plt.plot(x, y1, color = 'b', label='阶跃函数')  # label为标签
    plt.plot(x, f, color = 'red', linestyle = '--', label='sigmoid函数')  # label为标签
    plt.ylim(-0.5, 1.5)  # y轴的取值范围
    plt.xlabel('x')  # x轴
    plt.ylabel('y')  # y轴
    plt.title('阶跃函数与sigmoid函数图形')  # 标题
    plt.legend()  # 加上图例
    plt.show()  # 显示

画出两个函数的图形如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center 1]

# ReLU函数的实现 #

ReLU函数在输入大于0的时候，直接输出这个值，在输入小于等于0的时候，输出的为0。ReLU的函数式为：  
 h ( x ) = \{ x x>0 0 x<=0 h(x)= \\begin\{cases\} x& \\text\{x>0\}\\\\ 0& \\text\{x<=0\} \\end\{cases\} h(x)=\{ x0x>0x<=0  
其中使用NumPy函数中的maximum函数，maximum函数会从输入的数值中选出较大的值输出。

# ReLU函数实现
    import numpy as np
    import matplotlib.pylab as plt  # 绘制图形
    # 设置字体，使可以输入中文
    plt.rcParams['font.sans-serif']=['STSong']
    def relufun(x):  # 定义函数
        return np.maximum(0, x)  # 返回数组（比0大则输出x,小于等于0输出0）
    x = np.arange(-10.0, 10.0, 0.1)  # x轴取-10.0到10.0，单位间隔为0.1
    y = relufun(x)  # 函数调用
    print(y)  # 打印输出数组
    # 绘制图形
    plt.plot(x, y)
    plt.ylim(-1, 12)  # y轴的取值范围
    plt.xlabel('x')  # x轴
    plt.ylabel('y')  # y轴
    plt.title('ReLU函数图形')  # 标题
    plt.show()  # 显示

输出的图形如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/2604f6236f924fcb85fb69ae07251273.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221022/efe19f370b024ad38830d4205e65a41d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTI3MjkwOA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221022/b74afd0e71614693b67dd9168aa0429d.png