caffe之(四)全连接层

今天药忘吃喽~ 2021-07-16 21:55 460阅读 0赞

在caffe中，网络的结构由prototxt文件中给出，由一些列的Layer（层）组成，常用的层如：数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等；本篇主要介绍全连接层

该层是对元素进行wise to wise的运算

## 1. 全连接层总述 ##

下面首先给出全连接层的结构设置的一个小例子（定义在.prototxt文件中）

layer {
      name: "fc6"
      type: "InnerProduct"
      bottom: "pool5"
      top: "fc6"
      param {
        lr_mult: 1
        decay_mult: 1
      }
      param {
        lr_mult: 2
        decay_mult: 0
      }
      inner_product_param {
        num_output: 4096
        weight_filler {
          type: "gaussian"
          std: 0.005
        }
        bias_filler {
          type: "constant"
          value: 0.1
        }
      }
    }

## 2. 全连接层相关参数  ##

接下来，分别对全连接层的相关参数进行说明

（根据全连接层层的定义，它的学习参数应该为权值和bias，其他的相关参数都为hyper-paramers，在定义模型时是要给出的）

注：全链接层其实也是一种卷积层，只不过卷积核大小与输入图像大小一致

### lr\_mult：学习率系数 ###

放置在param\{\}中

该系数用来控制学习率，在进行训练过程中，该层参数以该系数乘solver.prototxt配置文件中的base\_lr的值为学习率

即学习率=lr\_mult\*base\_lr

如果该层在结构配置文件中有两个lr\_mult，则第一个表示权值学习率系数，第二个表示偏执项的学习率系数（一般情况下，偏执项的学习率系数是权值学习率系数的两倍）

### inner\_product\_param：内积层的其他参数 ###

放置在inner\_product\_param\{\}中

该部分对内积层的其他参数进行设置，有些参数为必须设置，有些参数为可选（因为可以直接使用默认值）

*  #### 必须设置的参数 ####

1.  num\_output：filter个数

*  #### 其他可选的设置参数 ####

1.  1.  weight\_filter：权值初始化方法，使用方法如下  
        weight\_filter\{  
        *      type:"xavier"  //这里的xavier是一冲初始化算法，也可以是“gaussian”；默认值为“constant”，即全部为0*  
        \}
    2.  bias\_filter：偏执项初始化方法  
        bias\_filter\{  
              type:"xavier"  //这里的xavier是一冲初始化算法，也可以是“gaussian”；默认值为“constant”，即全部为0  
        \}
    3.  bias\_term：是否使用偏执项，默认值为Ture

参考：caffe tutorial