softmax函数的改进

女爷i 2023-05-29 13:17 8阅读 0赞

softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题”。因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number）计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内。  
故需要对softmax函数进行改进：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70]  
从上述公式推导来看，在分子分母同乘以C常数，结果不变。故在softmax函数的指数运算中，加上或者减去某个常数并不会改变运算的结果（实际上是乘法）。  
所以一般情况下，在指数上减去输入信号中的最大值（即ai的最大值），进行溢出抑制。  
代码实现如下：

import numpy
    import tensorflow as tf
    
    def softmax(x, axis=-1):
        x = x - np.max(x, axis=axis, keepdims=True) # 溢出对策
        return np.exp(x) / np.sum(np.exp(x), axis=axis,keepdims=True)
    
    
    a = np.array([[0.3, 2.9, 4.0],[0.5,0.6,1.2]])
    y = softmax(a, axis=-1)
    print("softmax",y) # softmax函数的形式决定
    # tensorflow2.0直接就可以这样使用了，比tensorflow1.x好用多了
    print("tf.math.sofmax",tf.math.softmax(a,axis=-1))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191106151804438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg==,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 softmax函数的改进

softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题”。因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not

女爷i/ 2023年05月29日 13:17/ 0 赞/ 9 阅读

相关【Pytorch】Softmax激活函数

文章目录 Softmax 激活函数 Softmax 函数的偏导过程代码模拟偏导过程 Softmax 激活函数功能：不同的输入经过 so

迷南。/ 2022年11月05日 03:16/ 0 赞/ 297 阅读

相关 softmax函数的特点和作用

softmax函数定义：假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是 ![这里写图片描述][Image 1] 即某元素的指

- 日理万妓/ 2022年05月26日 13:18/ 0 赞/ 169 阅读

相关 softmax函数

softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组V，Vi表示

桃扇骨/ 2022年05月23日 12:24/ 0 赞/ 277 阅读

相关 mnist softmax函数

-- coding: utf-8 -- 读取数据图片，预处理 import tensorflow as tf impor

快来打我*/ 2022年05月19日 05:08/ 0 赞/ 246 阅读

相关 MNIST softmax函数

使用softmax函数使用[mnist数据集][mnist] -- coding: utf-8 -- 读取数据图片，预处

傷城~/ 2022年05月19日 01:59/ 0 赞/ 196 阅读

相关 Softmax函数与交叉熵

[https://blog.csdn.net/behamcheung/article/details/71911133][https_blog.csdn.net_beha

墨蓝/ 2022年05月16日 02:16/ 0 赞/ 284 阅读

相关 Python实现softmax函数

Python实现softmax函数： ![20190321174014558.png][] PS：为了避免求exp(x)出现溢出的情况，一般需要减去最大值。

旧城等待，/ 2022年03月15日 15:11/ 0 赞/ 411 阅读

相关 Pytorch softmax激活函数

可以用于将多个输出值转换成多个概率值，使每个值都符合概率的定义，范围在\[0, 1\]，且概率相加和为1，非常适合多分类问题。Softmax往往用在最后对输出值y的处理上。它会

小灰灰/ 2021年11月17日 01:24/ 0 赞/ 584 阅读

相关 softmax 函数

机器学习分为两种，一种是做分类，一种是做回归。softmax函数就是用来做分类的。 softmax 函数定义： ![20190813225013710.png][]

我就是我/ 2021年11月02日 13:08/ 0 赞/ 397 阅读