Python实现softmax函数

旧城等待， 2022-03-15 15:11 411阅读 0赞

#  Python实现softmax函数 ： #

![20190321174014558.png][]

PS：为了避免求exp(x)出现溢出的情况，一般需要减去最大值。

# -*-coding: utf-8 -*-
    
    import tensorflow as tf
    import numpy as np
    
    def softmax(x, axis=1):
        # 计算每行的最大值
        row_max = x.max(axis=axis)
    
        # 每行元素都需要减去对应的最大值，否则求exp(x)会溢出，导致inf情况
        row_max=row_max.reshape(-1, 1)
        x = x - row_max
    
        # 计算e的指数次幂
        x_exp = np.exp(x)
        x_sum = np.sum(x_exp, axis=axis, keepdims=True)
        s = x_exp / x_sum
        return s
    
    
    A = [[1, 1, 5, 3],
         [0.2, 0.2, 0.5, 0.1]]
    A= np.array(A)
    axis = 1  # 默认计算最后一维
    
    # [1]使用自定义softmax
    s1 = softmax(A, axis=axis)
    print("s1:{}".format(s1))
    
    
    #[2]使用TF的softmax
    with tf.Session() as sess:
        tf_s2=tf.nn.softmax(A, axis=axis)
        s2=sess.run(tf_s2)
        print("s2:{}".format(s2))

## C++实现Softmax函数 ##

template<typename _Tp>
    int softmax(const _Tp* src, _Tp* dst, int length)
    {
    //    double max = 0.0;
    //    double sum = 0.0;
    //
    //    for (int i = 0; i<k; i++) if (max < x[i]) max = x[i];
    //    for (int i = 0; i<k; i++) {
    //        x[i] = exp(x[i] - max);
    //        sum += x[i];
    //    }
    //    for (int i = 0; i<k; i++) x[i] /= sum;
        //为了避免溢出，需要减去最大值
        const _Tp max_value = *std::max_element(src, src + length);
        _Tp denominator{ 0 };
    
        for (int i = 0; i < length; ++i) {
            dst[i] = std::exp(src[i] - max_value);
            denominator += dst[i];
        }
    
        for (int i = 0; i < length; ++i) {
            dst[i] /= denominator;
        }
        return 0;
    }

std::vector<float> output_vector;
    std::vector<float> preds;
    softmax(output_vector.data(), preds.data(),output_vector.size());

[20190321174014558.png]: /images/20220315/d72399d4a01c4c6f982a5eac32b6f4e7.png