神经网络学习小记录11——tf.name_scope和tf.variable_scope

神经网络学习小记录11——tf.name_scope和tf.variable_scope

  • 学习前言
  • 两者区别
  • tf.variable_scope函数
  • 测试代码
    • 1、使用reuse=True共享变量
    • 2、使用AUTO_REUSE共享变量

学习前言

最近在学目标检测……SSD的源码好复杂……看了很多版本的SSD源码,发现他们会使用tf.variable_scope,刚开始我还以为就是tf.name_scope,才发现原来两者是不一样的。
在这里插入图片描述

两者区别

tf.name_scope()和tf.variable_scope()是两个作用域,一般与两个创建/调用变量的函数tf.variable() 和tf.get_variable()搭配使用。

为什么要使用两个不同的作用域方式呢?其主要原因与变量共享相关。

变量共享主要涉及两个函数:tf.Variable() 和tf.get_variable()
在tf.variable_scope的作用域下需要使用tf.get_variable()函数,这是因为tf.get_variable()拥有一个变量检查机制,会检测已经存在的变量是否设置为共享变量,当同名变量存在共享机制时,不会报错,如果并未设置为共享变量,则报错。
如果使用tf.Variable() 的话每次都会新建变量。但是很多时候我们希望重用一些变量,所以我们使用到了get_variable(),它会去搜索变量名,有就直接用,没有再新建。
在进行变量共享的时候需要使用到标志reuse,当reuse = True时是可以共享,False时不可以共享。

tf.variable_scope函数

  1. tf.variable_scope(
  2. name_or_scope,
  3. default_name=None,
  4. values=None,
  5. initializer=None,
  6. regularizer=None,
  7. caching_device=None,
  8. partitioner=None,
  9. custom_getter=None,
  10. reuse=None,
  11. dtype=None,
  12. use_resource=None,
  13. constraint=None,
  14. auxiliary_name_scope=True
  15. )

其中:
1、name_or_scope:范围的名称。
2、default_name:如果name_or_scope参数为None,则使用默认的名称,该名称将是唯一的;如果提供了name_or_scope,它将不会被使用,因此它不是必需的,并且可以是None。
3、values:传递给操作函数的Tensor参数列表。
4、initializer:此范围内变量的默认初始值设定项。
5、regularizer:此范围内变量的默认正规化器。
6、caching_device:此范围内变量的默认缓存设备。
7、partitioner:此范围内变量的默认分区程序。
7、custom_getter:此范围内的变量的默认自定义吸气。
8、reuse:可以是True、None或tf.AUTO_REUSE;如果是True,即可以开始共享变量,变量重构用;如果是tf.AUTO_REUSE,则我们创建变量(如果它们不存在),否则返回它们(用于在第一轮创建变量);如果是None,则我们继承父范围的重用标志。
9、dtype:在此范围中创建的变量类型。

测试代码

1、使用reuse=True共享变量

  1. import tensorflow as tf
  2. # 初始化第一个v1
  3. with tf.variable_scope("scope1"):
  4. v1 = tf.get_variable("v1",[3,3],tf.float32,initializer=tf.constant_initializer(1))
  5. print(v1.name)
  6. # 不同的作用域
  7. with tf.variable_scope("scope2"):
  8. v1 = tf.get_variable("v1",[3,3],tf.float32,initializer=tf.constant_initializer(1))
  9. print(v1.name)
  10. # 开始共享
  11. with tf.variable_scope("scope1",reuse = True):
  12. v1_share = tf.get_variable("v1",[3,3],tf.float32,initializer=tf.constant_initializer(1))
  13. print(v1_share.name)

运行结果为:

  1. scope1/v1:0
  2. scope2/v1:0
  3. scope1/v1:0

如果在下部再加上

  1. with tf.variable_scope("scope2"):
  2. v1_share = tf.get_variable("v1",[3,3],tf.float32,initializer=tf.constant_initializer(1))
  3. print(v1_share.name)

此时没有reuse,不能共享,程序报错。

2、使用AUTO_REUSE共享变量

  1. import tensorflow as tf
  2. # 使用AUTO_REUSE可以直接创建
  3. # 如果reuse = True,初始化第一轮创建的时候会报错
  4. def demo():
  5. with tf.variable_scope("demo", reuse=tf.AUTO_REUSE):
  6. v = tf.get_variable("v", [1])
  7. return v
  8. v1 = demo()
  9. v2 = demo()
  10. print(v1.name)

运行结果为:

  1. demo/v:0
  2. demo/v:0

有不懂的朋友可以评论询问噢。

发表评论

表情:
评论列表 (有 0 条评论,17人围观)

还没有评论,来说两句吧...

相关阅读