深度学习实战（四）——TensorFlow卷积层的定义方式

迷南。 2022-01-23 03:53 221阅读 0赞

# 一、最底层的方式：`tf.nn` 模块 #

`tf.get_variable：`声明各种权重和偏置变量，该函数在变量没有定义时会创建变量，如果变量已经定义好了则会获取该变量的值，正可用于变量迭代过程。关于 `tf.get_variable函数及里面参数的介绍见这里。`

conv1_weights = tf.get_variable('conv1_weights', shape=[3, 3, num_channels, 32],dtype=tf.float32) #权重定义
    conv1_biases = tf.get_variable('conv1_biases', shape=[32], dtype=tf.float32) #定义偏置

tf.nn.conv2d：卷积操作

net = tf.nn.conv2d(net, conv2_weights, strides=[1, 1, 1, 1], padding='SAME')

`tf.nn.relu：`激活函数都使用整流线性单元

net = tf.nn.relu(tf.nn.bias_add(net, conv2_biases))

`tf.nn.max_pool`：最大池化

net = tf.nn.max_pool(net, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

`tf.add(tf.matmul(·, ·), ·)：`全连接层

net = tf.add(tf.matmul(net, fc9_weights), fc9_biases)

`tf.nn.softmax` 函数：分类。直接选取最大概率的类标号

def postprocess(self, prediction_dict):
        """Convert predicted output tensors to final forms.
            
        Args:
           prediction_dict: A dictionary holding prediction tensors.
           **params: Additional keyword arguments for specific implementations
               of specified models.
                    
        Returns:
            A dictionary containing the postprocessed results.
        """
        logits = prediction_dict['logits']
        logits = tf.nn.softmax(logits)
        classes = tf.cast(tf.argmax(logits, axis=1), dtype=tf.int32)
        postprecessed_dict = {'classes': classes}
        return postprecessed_dict

使用该方法创建的CNN模型见：[TensorFlow 训练 CNN 分类器][TensorFlow _ CNN]

# 二、tensorflow.contrib.slim模型 #

在 `tf.contrib.slim` 模块中卷积层的定义通过函数：

slim.conv2d(inputs,
                num_outputs, #特征映射个数
                kernel_size, #指定核的大小
                stride=1, #卷积步幅
                padding='SAME', #填充方式，‘SAME’：全零填充；‘’：不填充
                data_format=None,
                rate=1, 
                activation_fn=nn.relu, #激活函数
                normalizer_fn=None, #正则化方式
                normalizer_params=None,
                weights_initializer=initializers.xavier_initializer(), #权重的初始化方式
                weights_regularizer=None,
                biases_initializer=init_ops.zeros_initializer(), #偏置的初始化方式
                biases_regularizer=None,
                reuse=None,
                variables_collections=None,
                outputs_collections=None,
                trainable=True,
                scope=None)

使用 **slim** 模块来定义卷积层不需要事先额外声明权重和偏置变量，也不需要再额外的显式的进行激活和正则化操作，这些都已经在模块里内置了。

实现相应功能对应的函数：

slim.fully\_connected：全连接层

logits = slim.fully_connected(net, num_outputs=self.num_classes,activation_fn=None, scope='Predict')

slim.max\_pool2d：池化

slim.batch\_norm：批标准化

slim.dropout：dropout

slim.flatten：平铺

更便利的是，如果要重复堆叠多个相同的层，则既可以用循环，比如要重复卷积层 3 次：

for i in range(3):
        net = slim.conv2d(net, 256, [3, 3], scope='conv1_{}'.format(i))

来实现，也可以用更简单的函数：

net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3], scope='conv1')