Numpy实现Activation

阳光穿透心脏的1/2处 2022-09-11 11:12 130阅读 0赞

activation_functions = { 
        'relu': ReLU,
        'sigmoid': Sigmoid,
        'selu': SELU,
        'elu': ELU,
        'softmax': Softmax,
        'leaky_relu': LeakyReLU,
        'tanh': TanH,
        'softplus': SoftPlus
    }
    
    class Activation(Layer):
        """A layer that applies an activation operation to the input. Parameters: ----------- name: string The name of the activation function that will be used. """
    
        def __init__(self, name):
            self.activation_name = name
            self.activation_func = activation_functions[name]()
            self.trainable = True
    
        def layer_name(self):
            return "Activation (%s)" % (self.activation_func.__class__.__name__)
    
        def forward_pass(self, X, training=True):
            self.layer_input = X
            return self.activation_func(X)
    
        def backward_pass(self, accum_grad):
            return accum_grad * self.activation_func.gradient(self.layer_input)
    
        def output_shape(self):
            return self.input_shape

发表评论取消回复

表情：

评论列表（有 0 条评论，130人围观）

还没有评论，来说两句吧...

相关阅读

相关 Numpy实现Adaboost

from __future__ import division, print_function import numpy as np import ma

曾经终败给现在/ 2022年09月14日 15:26/ 0 赞/ 152 阅读

相关 Numpy实现accuracy

def accuracy_score(y_true, y_pred): """ Compare y_true to y_pred and return

青旅半醒/ 2022年09月14日 15:26/ 0 赞/ 149 阅读

相关 Numpy实现batch_iterator

def batch_iterator(X, y=None, batch_size=64): """ Simple batch generator """

绝地灬酷狼/ 2022年09月14日 11:21/ 0 赞/ 114 阅读

相关 Numpy实现优化器

import numpy as np from mlfromscratch.utils import make_diagonal, normalize

àì夳堔傛蜴生んèń/ 2022年09月14日 11:21/ 0 赞/ 125 阅读

相关 Numpy实现Activation

activation_functions = { 'relu': ReLU, 'sigmoid': Sigmoid,

阳光穿透心脏的1/2处/ 2022年09月11日 11:12/ 0 赞/ 131 阅读

相关 Numpy实现Dropout

class Dropout(Layer): """A layer that randomly sets a fraction p of the outp

我就是我/ 2022年09月11日 11:11/ 0 赞/ 161 阅读

相关 Numpy实现Flatten

class Flatten(Layer): """ Turns a multidimensional matrix into two-dimension

缺乏、安全感/ 2022年09月11日 11:11/ 0 赞/ 188 阅读

相关 Numpy实现BatchNormalization

class BatchNormalization(Layer): """Batch normalization. """ def __i

心已赠人/ 2022年09月11日 11:10/ 0 赞/ 191 阅读

相关 Numpy实现RNN

class RNN(Layer): """A Vanilla Fully-Connected Recurrent Neural Network laye

阳光穿透心脏的1/2处/ 2022年09月11日 11:09/ 0 赞/ 197 阅读

相关 Numpy实现激活函数

import numpy as np Collection of activation functions Reference:

￡神魔★判官ぃ/ 2022年09月11日 11:08/ 0 赞/ 190 阅读